一 : 更安全,更省心,腾讯云发布云存储MongoDB服务
近日,著名安全专家兼Shodan搜索引擎的创建者JohnMatherly发现,目前至少有35000个受影响的MongoDB数据库暴露在互联网上,它们所包含的数据暴露在网络攻击风险之中。据估计,将近684.8TB的数据处于风险之中,最令人不安的是,受影响的数据还在一天天增加。
旨在为用户提供更安全、更省心的数据库服务,腾讯云日前发布了云存储MongoDB产品,用户可通过官网申请参与内测。至此,腾讯云数据库产品线已覆盖MySQL,tdSQL,SQLServer三大SQL产品和Redis,MongoDB,Memcached等NoSQL产品,满足用户多种数据库需求。
为什么选择MongoDB数据库
MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是json的超集,即bson格式,因此可以存储比较复杂的数据类型。MongoDB最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能。
相比于传统关系数据库,MongoDB对于大数据,高并发以及高可靠性有强大的支持。相比于其他的NoSQL数据库,MongoDB的基于文档的数据模型及其动态建模的特性使得它更加自由灵活,适用于各种应用场景如CRM,内容管理,事件纪录,商情分析,手机应用,社交等等。
云存储MongoDB如何保证数据安全
腾讯云七层安全体系为云存储MongoDB数据安全保驾护航,享有与云数据库、云存储Redis同样级别的安全级别,包括企业级DDoS防护、内外网隔离、用户之间路由访问隔离和资源隔离、恶意命令安全审计和强密码校验等。通过层层数据安全保障,云存储MongoDB用户不用再为开源MongoDB的安全漏洞而担心。
云存储MongoDB的优势
腾讯云推出的云存储MongoDB服务基于其官方发布的3.0版本。相比2.X版本,MongoDB3.0在性能和伸缩性方面都有非常巨大的提升。通过在存储层的大幅改进实现了写入效率7-10倍的提升,透明的磁盘压缩技术增加80%的数据压缩率,并能减少95%的运维成本。对绝大部分MongoDB需求场景而言,3.0版本都是最佳选择。
相比于自己搭建MongoDB服务,云存储MongoDB提供了一键生产,在线扩容,自动备份和监控告警等功能,旨在帮用户提供更为弹性的云存储服务和更为便捷的运维管理。产品有以下几个主要优势:
1)兼容性。100%完全兼容开源MongoDB协议,可无缝的将原有MongoDB应用迁移到云存储平台。
2)高性能。云存储MongoDB服务底层存储全部使用的是高内存+PCI-eSSD物理机型,读写性能数倍于一般物理机或云服务器。
3)数据安全可靠。实时双机热备,多重备份策略和一键数据恢复;故障无感知自动切换,数据可靠性达99.996%。
4)省心。云存储MongoDB服务整合的备份、扩容和迁移等功能都是对用户透明且不影响服务。同时还提供全面监控,可随时掌控MongoDB服务质量。
5)MongoDB集群服务。提供副本集和分片集群两种集群服务方式供用户选择。
云存储MongoDB进一步完善了腾讯云在数据库产品线上的布局,未来,NoSQL产品线还会进一步丰富支持的数据库类型,并与即将上线的腾讯大数据分析套件共同为用户打造一个数据存储和分析的一站式解决方案。
二 : Yunio:云诺网盘跨平台云存储同步服务
创始人:蒋士揆公司CEO,31岁,美籍台湾人,从大学时代开始创业,先后创建了多家互联网公司。三 : 云存储服务使用八大热点问题
你为什么会考虑至少对你的部分数据和应用程序采用云计算存储服务呢?好吧,除非你在过去的六年时间里都在过着与世隔绝的生活,否则的话你一定会对云计算存储所带来的好处深有体会。
公共云计算存储能够带来显著的经济效益,这是因为你只需为你所需和所使用的资源支付费用,从而节省了新存储系统开支成本以及容纳与运行该系统所需的空间、能源和冷却成本。大多数供应商所提供的无限的虚拟容量可对你的数据存储实现高效成本地扩张,从而满足你不断增长中的业务需求。除了向供应商提供其它的管理任务以外,各种不同的云计算存储服务(虽然Amazon简单存储服务这样的云计算存储商品并不在此之列,但是一些更高级别的服务确实是如此的)还使你能够提供诸如备份和复制等卸载数据保护任务的功能,从而降低与硬件、软件和管理相关的成本。
但是,我们经常会听到IT管理人员所提出的一个更为棘手的问题:当遇到新上线、重要的增长与扩张或定期的技术更新等问题时,我应当如何在云计算和传统数据中心存储之间作出取舍呢?我是应该坚持采用我的组织中已内部部署和正在管理使用的联网的(或者有时候是直接连接的)存储方法,或者还是计划至少把我的部分数据存储在公共云计算中呢?
虽然对于这个问题还没有一个唯一正确的答案,但是在作出决策之前认真考量某些权衡因素是非常必需和有益的。这里有八个主要的决策权衡因素,可供你的组织在决策使用云计算存储服务之前参考使用:
1. 你的主要应用案例是什么?是备份、灾难恢复(DR)、协作还是主存储?这是一个首要的也是最关键的问题,这是因为对这个问题的回答将聚焦你的应用范围从而简化你的决策过程。例如,供应商满足云计算备份应用的需求是远不同于主存储应用的需求的。
2. 我将存储的信息是属于哪一种类型的信息?存储的数据是否是用户和应用程序的数据?我的应用程序是否也会在云计算中运行?如果回答是后者,那么你可能就会更多地考虑基于云计算的存储服务了,如Amazon弹性块存储(EBS),该服务就可用于支持Amazon弹性云计算。
3. 我是会为云计算架构的应用程序选择对象存储服务,还是为传统的应用程序选择基于数据块或文件的存储服务?前者可能更适合于采用REST之类或SOAP API方式访问的公共云计算中的存储服务,而后者则要求通过基于块或文件存储的协议进行访问。
4. 公共云存储服务是否能够满足我的数据可用性需求?这个问题意味着你需要了解相关供应商的服务水平协议(SLA)中的具体条款,同时还需确认你所拥有的哪些资源是不满足条款中的内容。
5. 你的数据安全性和保密性要求是什么样的?你将要审核供应商提供的加密功能,其中涵盖了传输状态的数据和存储状态的数据。采用了何种类型的访问控制和授权方法?
6. 使用公共云计算存储是否能够让我遵守诸如HIPAA或Sarbanes-Oxley这样的相关行业法规?在你的组织中,是否还有着你还必须遵守的内部IT政策吗?
7. 供应商是否能够满足我对恢复时间的要求?如果我正在对备份和恢复应用使用云计算,那么供应商的SLA是否能够支持我满足对恢复时间和恢复点目标的要求呢?
8. 关于主存储是什么样的?如果至少有部分数据是主存储的,那么供应商是否会提供一个网关设备或服务以便于实现类似于对本地存储对象访问的使用体验?在高峰期时间段内,你是否能够满足对IOPS和响应时间的需求?
如果针对特定数据集和用例上述八个问题的答案无法令你感到满意,那么你可能就需要考虑选择内部存储解决方案了。更有可能的是,你将会发现一些用例和数据集非常适合采用云计算数据存储,而另一些则不适合。例如,很多用户已经在他们的备份应用中使用了云计算存储,尤其是那些他们认为是“非关键”的数据集。请记得,云计算存储网关可以作为云计算和内部存储之间的一座“桥梁”,这样做可实现诸如安全访问、本地缓存提升性能、以及对传统协议的支持(例如,针对文件的网络文件系统(NFS)和针对块存储的iSCSI)。一些网关是以特定用例(如备份或灾难恢复应用等)为应用目标的,而另一些网关则是专为适应各种存储需求而定制的。
虽然本文主要侧重于公共云计算,但是你可能还会需要考虑到私有云计算存储。虽然在市场上并没有很多的相关选择对象,但是如果你特别留意的话,你仍然能够找到它们。例如,Nirvanix公司所提供的CloudComplete就是一种具有管理功能的私有云计算存储产品。目前,大多数私有云计算产品都是由供应商进行管理的,其存储节点和功能通常都是位于你自己的设备中。你能够获得可扩展性、公共云计算存储的易于管理与成本效益,其中包括了设备资本支出的节省。但是,你可能需要支付相关的运行成本。
但是,如果你采用了内部存储的解决方案,那么你就能够享有比采用公共云计算解决方案更多的控制权、数据安全性,以及更易于遵守行业法规。通过在其他位置增加存储节点的方式,Nirvanix公司还提供了扩展私有云计算存储服务规模的功能,而所有的节点都在同一个命名空间中。私有云计算存储的一个额外的好处是它是发展至云计算存储混合模式的一个踏脚石,在云计算存储混合模式中我们可以按需实现数据在私有云计算和公共云计算之间的存储、迁移等操作。可通过诸如Caringo、EMC Atmos、Mezeo Software或Scality等公司的软件实施私有云计算存储。虽然使用私有云计算存储访问仍然属于云计算发展的早期阶段,但是如果上述八个问题的回答并不支持你做出一个明确的决策,那么它也可以是你的选择之一。
四 : 阿里云的NoSQL存储服务OTS的应用分析
1. 概要
OTS是构建在阿里云飞天分布式系统上的NoSQL存储服务,提供海量结构化数据的存储和实时访问。OTS以实例和表来组织数据,通过自动的数据分区和负载均衡技术,对应用提供规模(数据和访问)的无缝扩展。应用通过调用OTS API/SDK或者操作管理控制台来使用OTS服务。OTS服务具有以下几个主要的特点:
规模可扩展:OTS具备可扩展的服务能力,随着应用表的数据量和访问量逐渐增大,OTS会自动进行数据分区的调整(partition split/merge)来满足应用业务规模的增长,并且保持稳定的性能。OTS提供预留读写吞吐率的机制来让应用配置表上的资源,应用通过主动配置和调整表上的预留读写吞吐率来应对业务访问量的变化,从而获得更有保障的服务。
高可靠可用:OTS的数据存储在底层的分布式文件系统上,数据有3份拷贝,分别位于不同的容错区(机架或者数据中心),当硬件出现故障导致数据备份的损坏或丢失时,分布式文件系统会自动发现、复制并恢复数据备份,保障数据的安全可靠。OTS系统会自动检测硬件故障(如机器宕机或者网络中断)并进行数据分区的实时迁移,保障服务的高可用性。
性能可预期:OTS服务底层采用全SSD存储数据,单行数据读写请求的延时保持在几个毫秒级别。应用通过配置预留读写吞吐率来预留资源,保障请求并发量和延时的稳定性。
灵活的数据模型:OTS表中的数据无固定格式要求,每行的列数和列名可以不相同,列值支持5种数据类型:Integer、Boolean、Double、String、Binary。每一行的列可以动态增加或者删除,没有额外修改schema的代价。
读写强一致性:相对于最终一致性而言,OTS提供强一致性的读写操作。OTS保证数据写入操作一旦执行完成,返回成功的结果,应用就能立即读到最新的数据。强一致性为应用提供了更好的使用体验。
访问安全:OTS 对应用的每一次请求都进行身份认证和鉴权,以防止数据被非法用户或者未授权的用户访问,确保数据的安全性。通过和阿里云RAM服务的结合,OTS为应用提供帐号之间的授权访问。
全托管服务:OTS对于应用而言是一个全托管的服务,应用程序无需关心表的数据分区的管理工作,集群硬件维护,软件升级,配置更新和调优,集群扩容等繁琐的运维任务,节省了应用开发和维护的成本,让用户能够专心在应用业务层的开发上。
按量付费:OTS 根据应用预留和实际使用的资源进行计费,不需要在业务发展初期就进行过多的投入,对于众多的创业开发人员来说起步门槛低。OTS的收费项包括:1)预留CU费用;2)数据存储费用;3)下行流量的费用。
2. 系统架构
OTS服务的系统架构分为四层,最上层是应用程序,应用通过调用各种语言的SDK来和OTS服务进行交互;第二层是用户服务层,这一层完成的功能是对应用发送的请求进行协议处理、身份权限的校验、资源计量和请求到后端存储引擎节点的路由;第三层是存储引擎层,负责表分区的扩展和管理、负载均衡、存储数据和索引的管理、故障的处理以及高可用容灾等方面的;最下面一层是飞天操作系统,负责管理底层的硬件资源,向上提供统一的分布式存储(盘古)和计算(伏曦)。
其中下面三层运行在阿里云数据中心的物理集群上,对应用程序透明,最上面一层是用户的程序,通常运行在阿里云的ECS服务器以获得更好的访问OTS的性能,当然也可以运行在用户自己的物理服务器或者移动设备上(我们目前正在开发移动端的OTS SDK,包括Android和iOS)。
3. 功能介绍
OTS产品提供以下RESTful API:
1)CreateTable(创建表);
2)DeleteTable(删除表);
3)ListTable(列举表);
4)DescribeTable(获取表信息);
5)UpdateTable(更新表设置);
6)GetRow(读取一行);
7)PutRow(插入一行);
8)UpdateRow(更新一行中的数据);
9)DeleteRow(删除一行);
10)BatchGetRow(批量读取行数据);
11)BatchWriteRow(批量写入行数据);
12)GetRange(读取范围内的数据);
OTS提供了Java/Python/C#/PHP四种语言的SDK,方便应用快速开发基于OTS的应用。更多关于API/SDK的内容请参考:https://docs.aliyun.com/?spm=5176.383723.9.6.BASvKj#/pub/ots
4. 场景案例;
OTS服务目前被广泛的使用在阿里巴巴集团的各个业务中,积累了几个PB的数据,最大的一个应用每天会写入百TB级别的数据,比较典型的几个业务场景如下:
阿里云邮箱的后台存储:邮件的标题、发件人、收件人、时间、状态等等(不包括邮件正文和附件),使用OTS表对用户的邮件按照各种规则排序,分页读取邮件,数据量近百TB,。
来往/钉钉的后台存储:存储来往/钉钉应用的用户通讯录,实时消息推送,电话会议实时通知等等。
阿里云监控的后台存储:存储海量的原始监控metric数据以及汇总数据。
支付宝的微贷风控存储:存储淘宝买卖家的信用风控数据,用于每一笔花呗交易的风险评估
阿里健康药品监管码存储:存储中国药品的监管码,用于查询药品的基本信息和追踪药品的流通情况,目前的存储量已达近千亿条记录,日均访问百亿次。
此外,OTS还作为大规模分布式系统的基础组件被应用在阿里集团的多个产品架构中,例如大规模数据分析服务ODPS的meta存储和管理,大规模日志服务SLS的底层存储等。
PS:关于飞天平台
阿里云计算有限公司(简称“阿里云”)成立于2009年9月10日,致力于打造云计算的基础服务平台,注重为中小企业提供大规模、低成本、高可靠的云计算应用及服务。飞天开放平台(简称“飞天平台”或者“飞天”)是由阿里云自主研发完成的公共云计算平台,该平台所提供的服务于2011年7月28日在http://www.aliyun.com正式上线,推出了第一个云服务——弹性计算服务。
飞天平台内核包含的模块可以分为以下几部分。
分布式系统底层服务:提供分布式环境下所需要的协调服务、远程过程调用、安全管理和资源管理的服务。这些底层服务为上层的分布式文件系统、任务调度等模块提供支持。
分布式文件系统:提供一个海量的、可靠的、可扩展的数据存储服务,将集群中各个节点的存储能力聚集起来,并能够自动屏蔽软硬件故障,为用户提供不间断的数据访问服务;支持增量扩容和数据的自动平衡,提供类似于POSIX的用户空间文件访问API,支持随机读写和追加写的操作。
任务调度:为集群系统中的任务提供调度服务,同时支持强调响应速度的在线服务(Online Service)和强调处理数据吞吐量的离线任务(Batch Processing Job);自动检测系统中故障和热点,通过错误重试、针对长尾作业并发备份作业等方式,保证作业稳定可靠地完成。
集群监控和部署:对集群的状态和上层应用服务的运行状态和性能指标进行监控,对异常事件产生警报和记录;为运维人员提供整个飞天平台以及上层应用的部署和配置管理,支持在线集群扩容、缩容和应用服务的在线升级。
61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1