一 : 基于云计算的电子商务平台搭建方案与分析
Systems & Solutions系统与方案
基于云计算的电子商务平台搭建方案与分析马宝军
联通信息导航有限公司 北京 100032
摘 要 基于联通信息导航电子商务平台搭建需求,以云计算、移动互联网等新技术为手段,提出平台体系一级架构的演进方案。[www.61k.com)方案充分吸收了“门户经营、平台共享、开放合作”的总体现代电子商务平台建设思想,并对信息导航云平台的IaaS层、PaaS层、SaaS层以及统一门户做出具体分析。基于云计算的电子商务平台搭建,实现管理支撑能力集中和一点建设全网共享,能够有效整合现有网络资源、完善平台支撑能力、集中建设业务系统、推进业务集约化健康快速发展。
关键词 云计算;虚拟化;基础设施即服务;平台即服务;软件即服务;电子商务;信息导航
个社会的经济运行与结构[5]。随着电子商务发展环境
引言
后电信时代,电信市场竞争进一步加剧,传统运营
商如何在变革中拓展生存空间、创新业务模式并获得合
理投资回报,成为一项重大课题[1]。
近些年,新型技术快速发展,包括宽带通信与互
联网技术发展,虚拟化和分布式处理技术发展等,为云
计算提供了技术驱动。各大运营商纷纷运用云计算技术
构建业务系统,实现计算服务的高效能,提供业务创新
性、低成本的竞争优势[2-3]。云计算的核心思想是将海
量的计算、存储、网络资源集中进行统一管理和调度,
构成一个资源池,通过互联网向用户提供IT基础设施、
数据和应用的租用服务,这个提供资源的网络就称为
“云”。云计算具有五个基本特征:资源池、虚拟化、
弹性、自动化、度量计费。云计算提供三种服务模式:
基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服
务(SaaS)[4]。
与此同时互联网本身所具有的开放性、全球性、
低成本、高效率的特点,成为电子商务(Electronic
Commerce)的内在特征,并使得电子商务大大超越了
作为一种新的贸易形式所具有的价值,它不仅会改变
企业本身的生产、经营、管理活动,而且将影响到整的日益成熟,电子商务对于企业业务增长的作用日趋明显,在全国范围内提供基础电信业务的运营商,天然具备成为价值链核心力量的优势,因此成为主要的“价值实现者”和“价值分配者”。电信运营商具有得天独厚的网络优势和电信产品的无配送特征,使其不仅应成为电子商务产业链的整合者,更应该成为电子商务应用的领军者[6]。信息服务是全业务运营环境下运营商向综合信息服务提供商转型的关键业务,中国联通116114信息导航是面向生活、消费服务的信息服务主体,传承了传统114的优良品牌和服务理念,整合了丰富的信息内容和应用,是中国联通由通信服务向社会公众服务领域渗透的有效载体,当前业务主要包括信息经营、在线交易、行业信息、通信助理、声讯、传媒和BPO等七大类子业务,各业务发展迅速。电信运营商如何利用云计算技术实现电子商务平台的搭建是本文研究的重点。1 电子商务业务对云平台的需求云计算的兴起对各行各业带来了无数的机遇,目前云计算已在医药、就业、教育等多个领域得到广泛应用,其中电子商务更是风起“云”涌,成为云计算的先
55
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
系统与方案 Systems & Solutions锋应用军团。(www.61k.com)国内有专家曾表示, 电子商务应用是中国云计算产业的 突破口,以云计算为代表的互联网 技术在电子商务方面提供了更多的 想象空间。 传统电信运营商业务平台一般 采用一事一议的工程模式,根据具 体业务需求构建平台业务及技术规 范,由某一系统集成商按要求搭建 业务平台,随着业务发展生命周期 结束,硬件投资折旧报废,软件系 统下线。这种平台搭建形式无法满 足电子商务短周期、大容量的硬件 资源弹性要求,也无法满足业务发 展对软件功能的快速更新要求。同 时现代电子商务平台还需要与大量 周边配套平台对接互联,如第三方 支付系统、外部物流系统及外部合 作伙伴平台等。传统的以服务器、 关系数据库加上层应用为基础的工 程建设业务平台的模式已无法满足 现代电子商务业务开展需求,电信 运营商业务需要重新梳理自有业务平台的架构方式及方法。置、语音调度等业务服务,实现信 息导航全业务、全区域、跨网络的2 电子商务云平台的架构 思路基于联通信息导航云平台演 进的目标架构如图 1 所示 , 左侧为 前端接入的统一门户系统,中间部 分是联通信息导航云平台的核心部 分,右侧为集团和省分的业务支撑 系统和业务能力系统 。 IaaS 层对 底层的存储、服务器、网络等硬件 资源进行虚拟化 , 向 PaaS 层提供 统一管理、灵活调度、动态分配的 云存储和云计算资源 ; PaaS 层调 用IaaS层提供的基础设施资源,将 管理支撑能力以服务的形式集中提 供给信息导航各类业务系统使用; SaaS 层包括全国和省分的业务系 统和呼叫中心,面向最终用户提供 各类信息导航服务。 联通信息导航云平台通过 PaaS 层提供的综合支撑 、 地理位集中管理支撑;通过中央数据库, 集中提供信息导航全业务的管理支 撑数据和集约化运营数据。省内业 务系统通过调用综合支撑、地理位 置、语音调度等业务服务,实现由 省内服务面向全网服务平滑升级, 省级业务系统与全国业务系统不再 以平台能力划分,而是以服务内容 进行划分。3IaaS层建设思路3.1 总体架构如图 2 所示 , IaaS 层基于云计 算技术,对底层的存储、服务器、 网络等硬件资源进行虚拟化,向 PaaS层提供统一管理、灵活调度、 动态分配的云存储和云计算资源。 信息导航云平台可以通过新建或利 旧的方式,逐步构建IaaS层,实现 对计算、存储及网络资源的统一管 理和在线调配,降低扩容难度。???????????)VJODQ*???? ???? ?????? ?????? ???? ? ? ???? ???? ?? TbbT )??* )2710279* ? )??*?? ? ??? ? ???? ? ???? ???? ???? ?? ???? ???? )??* )MFE0MDE* )??0??0?* )???* )???* )227:* ?????? ?? ?????????????? ?????????????? ???????????????????????? HJT???? QPJ???? ???? )??* ????? ???? ?????? ???? ???? ?????? CTT WBD ???? ?????? QSN PDT FTT FDT3.2 实施策略信息导航云平台以虚拟化为基 础 , 逐步构建 IaaS 平台 , 提供基 础设施建设,实现简单业务平台的???? ???? ???? ? ? ??? ? ? ??????????????? ???????????????? ? ? ? ? ? ????? ???? TNH NNH ? ??迁移,为下一步的工作提供基础保 障 , 如图 3 所示 。 具体实现步骤如 下。1)新建一定规模的资源池(包括 存储、计算及网络),整合迁移部分 业务平台;2)将可以利旧的资源(主 要是存储资源和计算资源 ) 纳入到???? ???? XFC????? BHQT?? ??? KBWB / OFU QbbT?? ??? ??? ??? ??? ?? ?? ?? ?? ?? ?? ?? ?? ???? ??? ???? ??????CQP ???? ?????? QbbT ???? ??????????XBQ?? ????? ????? ????????? MDE0MFE JbbT ???? PSBDMFJCN Hpphmf ?????? ???? ???? ?????? ???????????? ??0 ???? CTT WBD???????TNH NNH图1 联通信息导航平台演进目标架构统一的资源池中; 3)滚动资源池建56
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
Systems & Solutions系统与方案
JQ??????JOUSBOFUJOUFSOFU
4 PaaS层建设思路
?
???????????????????????????????
4.1 总体架构
信息导航云平台PaaS层的整体架构如图4所示。(www.61k.com]基于IaaS层提供的统一硬件资源,为信息导航各个业
?
??????
?
?
Y97??????????????????????
务应用提供标准化的共享云服务,其中包含了中央数据库(提供信息导航全网管理支撑能力的核心共享数据)。SaaS层的业务应用采用相对独立的构建方式,通过调用PaaS层提供的服务能力,以及给予自己中间件和数据库平台开发的服务,形成完整的业务逻辑。
1) 数据库。PaaS层通过屏蔽数据库架构细节,将数据库进行封装,形成一个独立的服务形式提供给上层使用,实现统一的数据库即服务。PaaS层将统一规划各应用系统的数据模型和数据分布,形成统一数据库和
JCN????????????
?
??????
?
?????????????????????????????????????????????????????????????)??????????*
?
图2 信息导航云平台IaaS层总体技术架构
????????????
????
BOWM
JQ????BOWM
WM
BO
各应用系统的私有数据库。
2) 中间件。中间件为上层应用部署、运营和测试提供必要支撑。针对应用程序和服务组件的运行环境需求,PaaS层管理中间件服务器所需的资源动态供应以及环境的高可用性,并对应用程序和服务组件对中间件资源的使用进行必要的监控。
3) 技术服务。PaaS层统一规划信息导航各业务系统共同的基础技术能力,形成统一提供的技术标准和规格一致的技术服务。技术服务以通用的、标准的方式向业务服务和应用系统提供支撑。
4) 业务服务。PaaS层统一规划信息导航各业务系统共通的基础业务逻辑,形成技术规格一致的业务服务。业务服务对业务能力进行抽象,对外提供统一的调用接口。第三方业务系统接口通过包装服务方式整合,实现第三方业务系统的灵活接入。
5) PaaS管理平台。PaaS管理平台提供对平台接入、成本计量、监控调度等的管理能力。
6) ESB。PaaS层提供面向软件的服务总线架构,实现高性能和高效率。SOA以ESB为具体实现,作为统一的总线向应用层提供服务接口。业务逻辑层中可标准化、可共享的功能服务下沉到PaaS层,上层应用通
Y97??????
TVO0IQ????????????
图3 IaaS层计算资源池实施策略
设,逐步实现业务平台迁移到IaaS平台。
信息导航云平台IaaS层的计算资源池、存储资源池以及存储管理应按照以下技术策略进行构建。
1) 计算资源池。①分别新建X86资源池、IBM小型机资源池和SUN/HP小型机资源池;②计算资源池通过公共管理域进行统一的资源调度,实现计算资源的全局全省共享;③三大资源池通过展现层整合来实现统一管理维护门户。
2) 存储资源池。①主要应用于关键系统控制域和应用层中对性能要求较高的系统中,可采用同构(替换)或异构(利旧+扩容)方案;②新建存储资源池,优先选择同厂商存储设备;③后续利旧,通过虚拟化技术,将原有分散于各系统内的存储,从逻辑上集中整合于一处,作为整体对外提供服务;④构建基于X86服务器本地硬盘的分布式存储技术,主要应用于日志等非结构化数据的存储,成本低。
3) 资源管理。①实现IaaS资源池统一管理(包括物理和虚拟资源);②管理平台需要满足统一企标要求。
57
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
系统与方案Systems & Solutions
省分数据库主要存储省分集约化业务系统运营数据、省分本地业务数据、用户行为动态实时数据。[www.61k.com]4.2.2 综合支撑
信息导航云平台PaaS层提供的综合支撑服务是信息导航全网业务管理支撑中心,实现认证计费(异网)、支付结算(在线交易)、业务调度、统计分析、客户服务、合作管理、信息管理等管理支撑能力的一点集中。综合支撑服务作为PaaS层的核心应用服务引擎,如图6所示,通过调用数据库资源池、应用中间件、分布式存储和计算等服务能力,基于SOA组件化架构,对业务管理和服务能力进行组件化,形成可视化和智能化的云组件,并通过统一标准化接口提供给信息导航各个业务平台使用。 4.2.3 语音调度
信息导航云平台PaaS层提供
图4 信息导航云平台PaaS层总体技术架构
过调用SOA服务的方式获取。
HTML、报表、音频、视频等)存储在非关系型数据库中,中央数据库可以动态、智能、高效地同时读写结构化数据和非结构化数据。
中央数据库主要存储信息导航全业务管理支撑数据、总部集约化业务系统运营数据、码号基础信息数据、省分本地业务备份数据;
4.2 技术选择
4.2.1 中央数据库
中央数据库基于云计算技术,借助IaaS层提供的统一管理、灵活调度、动态分配的数据存储和计算能力,建立成扩展简单、读写快速、安全可靠的数据服务支撑架构,同时利用数据建模、数据挖掘技术,对海量业务数据进行处理,以数据驱动运营。中央数据库可以将用户通话记录和企业商家信息结合,实现用户行为的统计分析,提供给信息导航业务平台和联通其它业务平台使用。
中央数据库采用的技术架构如图5所示,支持传统关系型商用数据库和基于Hadoop的非关系型数据库。对于结构化数据(可以用二维表结构逻辑表达实现的数据)存储在关系型数据库中,对于非结构化数据(文本、图片、XML、
图5 PaaS层中央数据库技术架构
????????????????????????????????????????
????
??????????????
????????????????????????????????
??????????????????????????????????????????
JbbT
??????????????
???????????????????????????????????????????????????????????????????????????
????
????????
??????????????????????
FUM????????FTC????????????
??????????
?????????????????BQJ????????????????????
PJPJ??PJQPJ????????????????????????????????????BBB??????QbbT????????????????
????
??????????????????????????????????????????????????????????????????????????
??????????????????????????????????????????????????????????
??????????????????
????????????????????????????????????????
)IEGT*)Nbq0Sfevdf*
????
????????????
????????
????
????????
????
??????????????
????????
???????
图6 PaaS层综合支撑服务技术架构
58
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
Systems & Solutions系统与方案
的语音调度服务基于语音业务IP化,将各类呼叫中心和全国集中坐席基地的资源进行有效整合,实现信息导航全网话务和坐席的统一调度。(www.61k.com]省分坐席面向信息经营语音业务,集中坐席面向在线交易等全国集约化业务。各呼叫中心枢纽互为容灾备份系统,如图7所示,形成稳定架构,可通过远端模块下沉、外部呼叫中心接入等多种方式实现接入资源和坐席的灵活部署。另外,语音调度服务还将实现对语音、视频、Web、WAP、客户端、短彩信、传真、Email等多种媒体接入方式的全面支撑。
通过中央数据库来进行搜索。各省分的运维人员按照分配到的管理权限,直接访问中央数据库上进行数据采编运维操作,各省分新产生的用户数据需要按照规定的格式,通过专有的数据通道上传到中央数据库。总部的信息经营业务系统将提供统一的互联网门户入口。
中央数据库还可以将用户通话记录和企业商家信息结合,实现用户行为的统计分析,提供给信息导航业务平台和联通其它业务平台使用。呼叫中心和相应的业务逻辑继续部署在各个省分,以保证语音接入的服务能力,同时支持各省开展基于语音的本地特色化业务。
???????????
??????????
????????QTUO????????
????????????
??????????????????
QMNO????????
??????????????B??C??
图7 PaaS层语音调度服务总体架构图8 联通信息导航信息经营业务系统目标架构
????????
5 SaaS层
5.1 信息经营
以码号查询服务为基础的信息经营业务是116114最核心的业务,需要大力推进从低附加值的查号服务向高附加值深度信息互动及订单落地服务的升级,同时将116114由封闭的内网平台升级为开放的互联网平台。
信息经营业务系统将在数据层面采用一级架构的方式,如图8、图9所示,来实现统一数据格式、统一搜索引擎、统一查询界面的业务需求,同时支持全网查询业务快速部署。具体来说,各省本地数据库将统一集中到信息导航中央数据库,由中央数据库提供码号信息的统一搜索能力,各省分的坐席人员根据用户需求,都将
???
??????????
??????????????
????????
B??????????
????????
C??
图9 联通信息导航信息经营业务系统过渡架构
5.2 电子商务
信息导航电子商务业务将坚持门户经营,由现行的频道外包、独家合作向平台共享、开放合作的运营模式
59
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
系统与方案Systems & Solutions
转变,形成中国联通门户管理、第三方平台开放运营、社会商户广泛进驻、发挥专长、分工明确、合作共赢的良性发展模式。(www.61k.com)
信息导航电子商务业务系统将采用一级架构,如图10所示,省分原有特色业务系统通过调用信息导航PaaS平台提供的综合支撑服务,可以由省内服务向全网服务进行平滑升级,实现一点建设全网共享的目标。同时支持语音和互联网多种方式接入,语音接入由信息导航PaaS平台提供的语音调度服务进行统一调度,互联网接入由总部电子商务统一门户系统进行统一支撑
。
??????????
PaaS平台和总部或省分的BSS/VAC对接完成。行业信息省分业务系统可以向全网服务进行平滑升级。
????
???
??????
????????????
????
????????
????????????????????????????
???????????????
????????
图11 联通信息导航行业信息业务系统目标架构
向目标架构演进的过渡期间,可以采用全国和省分的两级架构,实现对行业信息业务的订购和认证鉴权。
????????
全国行业信息业务由综合支撑系统进行认证鉴权,本地行业信息业务由部署在各省相应的支撑模块进行认证鉴权。全国行业信息业务通过语音调度系统呼转到全国行业信息业务系统,本地行业信息业务通过省分呼叫中心呼转到本地行业信息业务系统。
????????????????????
????????????
图10 联通信息导航电子商务业务系统目标架构
机票、酒店、订餐、电话商城业务系统实现一级架构,在向目标架构演进的过渡期间,省内可以存在用于支撑本地个性化业务的在线交易业务系统,同时需具备升级为全国级业务系统的能力。全国级业务的话务由信息导航语音调度系统统一调度,省内个性化业务由本地呼叫中心承载。
6 结束语
云计算的发展和电子商务增值业务平台之间相互促进、互为动力,而业务平台向云平台演进策略的根本在于通过云计算的弹性可扩展技术,满足电子商务类业务快速发展需求。因此,对于原有的业务平台,可以在满足业务发展的前提下,通过将业务平台基于IaaS、PaaS、SaaS分层,实现各层平行发展、应用并存。基于云计算的电子商务平台搭建,能够有效地整合现有网络资源、升级IT系统支撑能力、推进电子商务类业务集约化健康快速地发展。
5.3 行业信息
信息导航行业信息业务将对法律顾问、金融理财、健康顾问等拳头产品进行优化开发和规模推广;对航旅出行、教育服务、就业服务、交通顾问、景区景点服务等潜力产品进行重点拓展;同时开发116114统一会员服务,开展以客户为中心的综合行业信息服务业务。
信息导航行业信息业务通过调用信息导航PaaS平台提供的综合支撑服务实现本网和异网用户的认证、鉴权、计费等功能,如图11所示,本网用户将由信息导航
参考文献
[1] 童晓渝,吴钢,张云勇,等.后电信时代[M].北京:人民邮电出版
社,2010
[2] 童晓渝,张云勇,房秉毅,等.电信运营商实施云计算的策略建
60
云计算平台搭建方案 基于云计算的电子商务平台搭建方案与分析
Systems & Solutions系统与方案
议[J].北京:信息通信技术,2012,6(1):34-38
[3] 徐雷,张云勇,房秉毅,等.电信运营商的云计算发展研究[J].北
京:电信科学,2010,(S1):53-56
[4] Rajkumar B,Chee S Y.Cloud Computing and Emerging
IT Platforms:Vision,hype,and reality for Delivering
Computing as the 5th Utility [J].Future Generation Computer Systems,2009(25):599-616[5] 云电子商务[EB/OL].[2013-12-15].[6] 吴伟,吴先锋.电信运营商电子商务应用与发展策略[J].价值工程,2006,(1):75-76
作者简历
马宝军
硕士,现任联通信息导航有限公司业务支撑中心技术总监,主要研究领域为IT信息支撑系统、新一代呼叫中
心、复杂网络拓扑等领域。[www.61k.com]
Program and Analysis of Building Cloud-based E-commerce Platform Ma BaojunUnicom Information Navigation Co.,Ltd., Beijing 100032, China
Abstract Based on the needs of information navigation of China Unicom to build e-commerce platform, this article puts forward a platform for system-level architecture evolution program using technologies such as cloud computing and mobile Internet. The main idea of this program is to run the business through portal, to share with platform and to corporate. And this paper makes a specific analysis of information navigation cloud platform’s IaaS layer, PaaS layer, SaaS layer and the unified portal. E-commerce platform based on cloud computing realizes centralized management support ability and entire network sharing through one spot construction, which effectively integrates existing network resources, improves the supporting ability, focuses on building a business system, and promotes the development of rapid and intensive healthy business.Keywords Cloud Computing; Virtualization; IaaS; PaaS; SaaS; E-commerce; Information Navigation(上接54页)
陆 璐
教授,主要研究方向为软件工程、自动化测试、云计算与异构计算
。
Study on Cloud-based Software Automatic Continuous Integration
Yan Yuping1
Wang Xuewen2
Lu Lu21 Guangdong Power Grid Corporation, Guangzhou 510006, China2 South China University of Technology, Guangzhou 510006, China
Abstract Most of the information projects are still based on the traditional software integration method, and problems about management and integration are increasingly seriously. This paper brings out the new theory of continuous integration (CI) and puts forward a method to provide an implementation of CI in grid system, and proves its feasibility. It helps to reduce the deployment cost, ensure the quality and improve the efficiency of information construction by providing the cloud-based solution.
Keywords Continuous Integration (CI); Cloud Computing; Automated Build; Version Control
61
二 : 剖析网易运用OpenStack部署云计算平台的案例
背景:远在天边近在眼前的OpenStack用户
OpenStack开源的特性,使其普及的速度比想象中要快得多。尤其受到电商的欢迎。其中携程是目前国内典型的OpenStack用户,从2012年开始搭建私有云,该公司目前基于OpenStack部署了超过1000个虚拟桌面,未来计划部署130000个。除此之外,爱奇艺也是涉足OpenStack的用户,在2012年爱奇艺加入中国开源云联盟,与英特尔、新浪等企业进行OpenStack项目的开发。目前爱奇艺也成为中国视频行业规模最大的OpenStack技术应用商,该技术已被运用到内容生产、广告投放、账号管理、用户付费和大数据分析等方面。
不仅如此,京东商城已经利用OpenStack平台接入了大量线上业务,实现了自动部署、OpenStack HA、桌面云(Call Center)以及Elastic Scaling ELB等功能。其中线上业务和Call Center都属于需要保持高度稳定的服务,京东已经在OpenStack应用部署方面下了相当的功夫,克服了目前OpenStack版本迭代过快和bug问题,已经使其达到了商业化运营的效果。
除了京东,网易使用OpenStack构建了自己的私有云web服务提供云主机支持,并把网易相册,博客等访问量较大的服务迁移到云平台中,目前已稳定运行近1年,中间经历了在线平滑升级和10多个新产品上线,并且网易还针对其产品自身的业务特点在监控、报警、运维自动化方面开发了新功能。
OpenStack 简介
OpenStack 是一个开源的 IaaS 实现,它由一些相互关联的子项目组成,主要包括计算、存储、网络。由于以 Apache 协议发布,自 2010 年项目成立以来,超过 200 个公司加入了 OpenStack 项目,其中包括 AT&T、AMD、Cisco、Dell、IBM、Intel、Red Hat 等。目前参与 OpenStack 项目的开发人员有 17,000+,来自 139 个国家,这一数字还在不断增长中。
OpenStack 兼容一部分 AWS 接口,同时为了提供更强大的功能,也提供 OpenStack 风格的接口(RESTFul API)。和其他开源 IaaS 相比,架构上松耦合、高可扩展、分布式、纯 Python 实现,以及友好活跃的社区使其大受欢迎,每半年一次的开发峰会也吸引了来自全世界的开发者、供应商和客户。
OpenStack 的主要子项目有:
网易私有云使用了 Nova、Glance、Keystone、Neutron 这 4 个组件。
Compute(Nova)提供计算虚拟化服务,是 OpenStack 的核心,负责管理和创建虚拟机。它被设计成方便扩展,支持多种虚拟化技术,并且可以部署在标准硬件上。
Object Storage(Swift)提供对象存储服务,是一个分布式,可扩展,多副本的存储系统。
Block Storage(Cinder),提供块存储服务,为 OpenStack 的虚拟机提供持久的块级存储设备。支持多种存储后端,包括 Ceph,EMC 等。
Networking(Neutron)提供网络虚拟化服务,是一个可拔插,可扩展,API 驱动的服务。
Dashboard 提供了一个图形控制台服务,让用户方便地访问,使用和维护 OpenStack 中的资源。
Image(glance)提供镜像服务,它旨在发现,注册和交付虚拟机磁盘和镜像。支持多种后端。
Telemetry(Ceilometer)提供用量统计服务,通过它可以方便地实现 OpenStack 计费功能。
Orchestration(Heat)整合了 OpenStack 中的众多组件,类似 AWS 的 CloudFormation,让用户能够通过模板来管理资源。
Database(Trove)基于 OpenStack 构建的 database-as-a-service。
网易私有云平台概况
图 1.网易私有云架构
网易私有云平台由网易杭州研究院负责研发,主要提供基础设施资源、数据存储处理、应用开发部署、运维管理等功能以满足公司产品测试/上线的需求。
图 1 展示了网易私有云平台的整体架构。整个私有云平台可分为三大类服务:核心基础设施服务(IaaS)、基础平台服务(PaaS)以及运维管理支撑服务,目前一共包括了:云主机(虚拟机)、云网络、云硬盘、对象存储、对象缓存、关系型数据库、分布式数据库、全文检索、消息队列、视频转码、负载均衡、容器引擎、云计费、云监控、管理平台等 15 个服务。网易私有云平台充分利用云计算开源的最新成果,我们基于 OpenStack 社区的 keystone、glance、nova、neutron 组件研发部署了云主机和云网络服务。
为了与网易私有云平台其他服务(云硬盘、云监控、云计费等)深度整合以及满足公司产品使用和运维管理的特定需求,我们团队在社区 OpenStack 版本的基础上独立研发了包括:云主机资源质量保障(计算、存储、网络 QoS)、镜像分块存储、云主机心跳上报、flat-dhcp 模式下租户内网隔离等 20 多个新功能。同时,我们团队在日常运维 OpenStack 以及升级社区新版本中,也总结了一些部署、运维规范以及升级经验。两年多来,网易私有云平台 OpenStack 团队的研发秉承开源、开放的理念,始终遵循"来源社区,回馈社区"的原则。在免费享受 OpenStack 社区不断研发新功能以及修复 bug 的同时,我们团队也积极向社区做自己的贡献,从而帮助 OpenStack 社区的发展壮大。两年来,我们团队一共向社区提交新功能开发/bug 修复的 commits 近 100 个,修复社区 bug 50 多个,这些社区贡献涉及 OpenStack 的 Essex、Folsom、Havana、Icehouse、Juno 等版本。
得益于 OpenStack 的日益稳定成熟,私有云平台目前已经稳定运行了 2 年多时间,为网易公司多达 30 个互联网和游戏产品提供服务。从应用的效果来看,基于 OpenStack 研发的网易私有云平台已经达到了以下目标:
提高了公司基础设施资源利用率,从而降低了硬件成本。以物理服务器 CPU 利用率为例,私有云平台将 CPU 平均利用率从不到 10% 提升到 50%。
提高了基础设施资源管理与运维自动化水平,从而降低了运维成本。借助于 Web 自助式的资源申请和分配方式以及云平台自动部署服务,系统运维人员减少了 50%。
提高了基础设施资源使用弹性,从而增强了产品业务波动的适应能力。利用虚拟化技术将物理基础设施做成虚拟资源池,通过有效的容量规划以及按需使用,私有云平台可以很好适应产品突发业务。
网易 OpenStack 部署参考方案介绍
在具体的生产环境中,我们为了兼顾性能和可靠性,keystone 后端使用 Mysql 存储用户信息,使用 memcache 存放 token。为了减少对 keystone 的访问压力,所有服务(nova,glance,neutron)的 keystoneclient 均配置使用 memcache 作为 token 的缓存。
由于网易私有云需要部署在多个机房之中,每个机房之间在地理位置上自然隔离,这对上层的应用来说是天然的容灾方法。另外,为了满足私有云的功能和运维需求,网易私有云需要同时支持两种网络模式:nova-network 和 neutron。针对这些需求,我们提出了一个面向企业级的多区域部署方案,如图 2 所示。从整体上看,多个区域之间的部署相对独立,但可通过内网实现互通,每个区域中包括了一个完整的 OpenStack 部署,所以可以使用独立的镜像服务和独立的网络模式,例如区域 A 使用 nova-network,区域 B 使用 neutron,互不影响,另外为了实现用户的单点登录,区域之间共享了 keystone,区域的划分依据主要是网络模式和地理位置。
图 2.多区域部署方法
和典型 OpenStack 部署将硬件划分为计算节点和控制节点不同的是,为了充分利用硬件资源,我们努力把部署设计成对称的,即任意一个节点下线对整体服务不会照成影响。因此我们将硬件分为两类:计算节点,控制计算节点。计算节点部署 nova-network,nova-compute,nova-api-metadata,nova-api-os-compute。控制计算节点除了计算节点的服务外还部署了 nova-scheduler,nova-novncproxy,nova-consoleauth,glance-api,glance-registry 和 keystone,如图 3 所示。
对外提供 API 的服务有 nova-api-os-compute,nova-novncproxy ,glance-api,keystone。这类服务的特点是无状态,可以方便地横向扩展,故此类服务均部署在负载均衡 HAProxy 之后,并且使用 Keepalived 做高可用。为了保证服务质量和便于维护,我们没有使用 nova-api,而是分为 nova-api-os-compute 和 nova-api-metadata 分别管理。外部依赖方面,网易私有云部署了高可用 RabbitMQ 集群和主备 MySQL,以及 memcache 集群。
图 3.计算节点,控制计算节点
网络规划方面,网易私有云主要使用 nova-network 的 FlatDHCPManager+multi-host 网络模式,并划分了多个 Vlan,分别用于虚拟机 fixed-ip 网络、内网浮动 IP 网络、外网网络。
运维上使用网易自主研发的运维平台做监控和报警,功能类似 Nagios,但是更加强大。其中较重要的监控报警包括日志监控和进程监控。日志监控保证服务发生异常时第一时间发现,进程监控保证服务正常运行。另外网易私有云使用 Puppet 做自动部署,以及使用 StackTach 帮助定位 bug。
OpenStack 各组件配置
OpenStack Havana 的配置项成百上千,大部分配置项都是可以使用默认值的,否则光是理解这么多的配置项的含义就足以让运维人员崩溃,尤其是对那些并不熟悉源码的运维人员来说更是如此。下文将列举若干网易私有云中较关键的配置项,并解释它们如何影响到服务的功能,安全性,以及性能等问题。
Nova 关键配置
my_ip = 内网地址
此项是用来生成宿主机上的 nova metadata api 请求转发 iptables 规则,如果配置不当,会导致虚拟机内部无法通过 169.254.169.254 这个 IP 获取 ec2/OpenStack metadata 信息;生成的 iptable 规则形如:
-A nova-network-PREROUTING -d 169.254.169.254/32 -p tcp -m tcp --dport 80 -j DNAT
--to-destination ${my_ip}:8775
它另外的用途是虚拟机在 resize、cold migrate 等操作时,与目的端宿主机进行数据通信。该项的默认值为宿主机的外网 IP 地址,建议改为内网地址以避免潜在的安全风险。
metadata_listen = 内网地址
此项是 nova-api-metadata 服务监听的 IP 地址,可以从上面的 iptables 规则里面看出它与 my_ip 的配置项有一定的关联,保持一致是最明智的选择。
novncproxy_base_url = vncserver_proxyclient_address = ${private_ip_of_compute_host}
vncserver_listen = ${private_ip_of_compute_host}
novncproxy_host = ${private_ip_of_host}
我们仅在部分节点上部署 novncproxy 进程,并把这些进程加入到 HAProxy 服务中实现 novnc 代理进程的高可用,多个 HAProxy 进程使用 Keepalived 实施 HAProxy 的高可用,对外只需要暴露 Keepalived 管理的虚拟 IP 地址即可:
这种部署方式好处是:
1)实现 novnc 代理服务的高可用
2)不会暴露云平台相关节点的外网地址
3)易于 novnc 代理服务的扩容
但也有不足:
1)虚拟机都监听在其所在的计算节点的内网 IP 地址,一旦虚拟机与宿主机的网络隔离出现问题,会导致所有虚拟机的 VNC 地址接口暴露出去
2)在线迁移时会遇到问题,因为 VNC 监听的内网 IP 在目的端计算节点是不存在的,不过这个问题 nova 社区已经在解决了,相信很快就会合入 J 版本。
resume_guests_state_onwww.61k.comboot = true
在 nova-compute 进程启动时,启动应该处于运行状态的虚拟机,应该处于运行状态的意思是 nova 数据库中的虚拟机记录是运行状态,但在 Hypervisor 上该虚拟机没有运行,在计算节点重启时,该配置项具有很大的用处,它可以让节点上所有虚拟机都自动运行起来,节省运维人员手工处理的时间。
api_rate_limit = false
不限制 API 访问频率,打开之后 API 的并发访问数量会受到限制,可以根据云平台的访问量及 API 进程的数量和承受能力来判断是否需要打开,如果关闭该选项,则大并发情况下 API 请求处理时间会比较久。
osapi_max_limit = 5000
nova-api-os-compute api 的最大返回数据长度限制,如果设置过短,会导致部分响应数据被截断。
scheduler_default_filters = RetryFilter, AvailabilityZoneFilter, RamFilter, ComputeFilter, ImagePropertiesFilter, JsonFilter, EcuFilter, CoreFilter
nova-scheduler 可用的过滤器,Retry 是用来跳过已经尝试创建但是失败的计算节点,防止重调度死循环;AvailabilityZone 是过滤那些用户指定的 AZ 的,防止用户的虚拟机创建到未指定的 AZ 里面;Ram 是过滤掉内存不足的计算节点;Core 是过滤掉 VCPU 数量不足的计算节点;Ecu 是我们自己开发的过滤器,配合我们的 CPU QoS 功能开发的,用来过滤掉 ecu 数量不足的计算节点;ImageProperties 是过滤掉不符合镜像要求的计算节点,比如 QEMU 虚拟机所用的镜像不能在 LXC 计算节点上使用;Json 是匹配自定义的节点选择规则,比如不可以创建到某些 AZ,要与那些虚拟机创建到相同 AZ 等。其他还有一些过滤器可以根据需求进行选择。
running_deleted_instance_action = reap
nova-compute 定时任务发现在数据库中已经删除,但计算节点的 Hypervisor 中还存在的虚拟机(也即野虚拟机审计操作方式)后的处理动作,建议是选择 log 或者 reap。log 方式需要运维人员根据日志记录找到那些野虚拟机并手工执行后续的动作,这种方式比较保险,防止由于 nova 服务出现未知异常或者 bug 时导致用户虚拟机被清理掉等问题,而 reap 方式则可以节省运维人员的人工介入时间。
until_refresh = 5
用户配额与 instances 表中实际使用量的同步阈值,也即用户的配额被修改多少次后强制同步一次使用量到配额量记录
max_age = 86400
用户配额与实际使用量的同步时间间隔,也即距上次配额记录更新多少秒后,再次更新时会自动与实际使用量同步。
众所周知,开源的 nova 项目目前仍然有很多配额方面的 bug 没有解决,上面两个配置项可以在很大程度上解决用户配额使用情况与实际使用量不匹配的问题,但也会带来一定的数据库性能开销,需要根据实际部署情况进行合理设置。
### 计算节点资源预留 ###
vcpu_pin_set = 4-$
虚拟机 vCPU 的绑定范围,可以防止虚拟机争抢宿主机进程的 CPU 资源,建议值是预留前几个物理 CPU,把后面的所有 CPU 分配给虚拟机使用,可以配合 cgroup 或者内核启动参数来实现宿主机进程不占用虚拟机使用的那些 CPU 资源。
cpu_allocation_ratio = 4.0
物理 CPU 超售比例,默认是 16 倍,超线程也算作一个物理 CPU,需要根据具体负载和物理 CPU 能力进行综合判断后确定具体的配置。
ram_allocation_ratio = 1.0
内存分配超售比例,默认是 1.5 倍,生产环境不建议开启超售。
reservedwww.61k.commemory_mb = 4096
内存预留量,这部分内存不能被虚拟机使用
reservedwww.61k.comdisk_mb = 10240
磁盘预留空间,这部分空间不能被虚拟机使用
service_down_time = 120
服务下线时间阈值,如果一个节点上的 nova 服务超过这个时间没有上报心跳到数据库,api 服务会认为该服务已经下线,如果配置过短或过长,都会导致误判。
rpc_response_timeout = 300
RPC 调用超时时间,由于 Python 的单进程不能真正的并发,所以 RPC 请求可能不能及时响应,尤其是目标节点在执行耗时较长的定时任务时,所以需要综合考虑超时时间和等待容忍时间。
multi_host = True
是否开启 nova-network 的多节点模式,如果需要多节点部署,则该项需要设置为 True。
Keystone
配置项较少,主要是要权衡配置什么样的后端驱动,来存储 token,一般是 SQL 数据库,也可以是 memcache。sql 可以持久化存储,而 memcache 则速度更快,尤其是当用户要更新密码的时候,需要删除所有过期的 token,这种情况下 SQL 的速度与 memcache 相差很大很大。
glance
包括两个部分,glance-api 和 glance-registry,:
workers = 2
glance-api 处理请求的子进程数量,如果配置成 0,则只有一个主进程,相应的配置成 2,则有一个主进程加 2 个子进程来并发处理请求。建议根据进程所在的物理节点计算能力和云平台请求量来综合确定。
api_limit_max = 1000
与 nova 中的配置 osapi_max_limit 意义相同
limit_param_default = 1000
一个响应中最大返回项数,可以在请求参数中指定,默认是 25,如果设置过短,可能导致响应数据被截断。
OpenStack 底层依赖软件版本、配置以及性能调优
虚拟化技术选型
在私有云平台的体系架构中, OpenStack 依赖一些底层软件,如虚拟化软件,虚拟化管理软件和 Linux 内核。这些软件的稳定性以及性能关系着整个云平台的稳定性和性能。因此,这些软件的版本选择和配置调优也是网易私有云开发中的一个重要因素。
在网易私有云平台中,我们选用的是 Linux 内核兼容最好的 KVM 虚拟化技术。相对于 Xen 虚拟化技术,KVM 虚拟化技术与 Linux 内核联系更为紧密,更容易维护。选择 KVM 虚拟化技术后,虚拟化管理驱动采用了 OpenStack 社区为 KVM 配置的计算驱动 libvirt,这也是一套使用非常广泛,社区活跃度很高的一套开源虚拟化管理软件,支持 KVM 在内的各种虚拟化管理。
另一方面,网易采用开源的 Debian 作为自己的宿主机内核,源使用的是 Debian 的 wheezy 稳定分支,KVM 和 libvirt 采用的也是 Debian 社区 wheezy 源里面的包版本:
qemu-kvm 1.1.2+dfsg-6+deb7u3
libvirt-bin 0.9.12
内核选型
在内核的选型方面,我们主要考虑如下两方面的因素:
稳定性:在开发私有云平台的一开始,稳定性就是网易私有云开发的一大基本原则。我们采用 Debian Linux 版本,相对来说,Debian 的原生内核无疑更为稳定。这也是我们最开始的一个选择。
功能需求:在网易的定制开发中,为了保证虚拟机的服务性能,我们开发了 CPU QoS 技术和磁盘 QoS,它依赖底层的 CPU 和 blkio cgroup 支持。因此,我们需要打开内核中的 cgroup 配置选项。另一方面,网易私有云综合各方面考虑,将支持 LXC 这种容器级别的虚拟化,除了 cgroup 外,LXC 还依赖 Linux 内核中的 namespace 特性。
综合上述因素的考虑,我们选择了 Debian 社区的 Linux 3.10.40 内核源代码,并且打开了 CPU/mem/blkio 等 cgroup 配置选项以及 user namespace 等 namespace 选项,自己编译了一个适配网易私有云的 Linux 内核。从使用情况来看,选择上述版本的 OpenStack 底层依赖软件后,网易私有云运行还比较稳定,我们后续还会适时的对这些软件进行更新。
配置优化
在网易私有云的稳定性得到了保障之后,我们开始了性能方面的调优工作。这一方面,我们参考了 IBM 公司的一些 优秀实践,在 CPU、内存、I/O 等方面做了一些配置方面的优化。整体而言,网易私有云在注重稳定性的基础上,也会积极借鉴业界优秀实践来优化私有云平台的整体性能。
CPU 配置优化
为了保障云主机的计算能力,网易私有云开发了 CPU QoS 技术,具体来说就是采用 cfs 的时间片均匀调度,外加 process pinning 的绑定技术。
参考 IBM 的分析,我们了解到了 process pinning 技术的优缺点,并且经过测试也验证了不同绑定方式的云主机间的性能存在较大的差异。比如,2 个 VCPU 分别绑定到不同 numa 节点的非超线程核上和分配到一对相邻的超线程核上的性能相差有 30%~40%(通过 SPEC CPU2006 工具测试)。另一方面,CPU0 由于处理中断请求,本身负荷就较重,不宜再用于云主机。因此,综合上面的因素考虑以及多轮的测试验证,我们最终决定将 0-3 号 CPU 预留出来,然后让云主机在剩余的 CPU 资源中由宿主机内核去调度。最终的 CPU 配置如下所示(libvirt xml 配置):
XML/HTML Code复制内容到剪贴板
内存配置优化
内存配置方面,网易私有云的实践是关闭 KVM 内存共享,打开透明大页:
echo 0 > /sys/kernel/mm/ksm/pages_shared
echo 0 > /sys/kernel/mm/ksm/pages_sharing
echo always > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 0 > /sys/kernel/mm/transparent_hugepage/khugepaged/defrag</p> <p>
I/O 配置优化.
1)磁盘 I/O 的配置优化主要包含如下方面:
KVM 的 disk cache 方式:借鉴 IBM 的分析,网易私有云采用 none 这种 cache 方式。
disk io scheduler:目前网易私有云的宿主机磁盘调度策略选用的是 cfq。在实际使用过程中,我们发现 cfq 的调度策略,对那些地低配置磁盘很容易出现 I/O 调度队列过长,utils 100% 的问题。后续网易私有云也会借鉴 IBM 的实践,对 cfq 进行参数调优,以及测试 deadline 调度策略。
磁盘 I/O QoS:面对日渐突出的磁盘 I/O 资源紧缺问题,网易私有云开发了磁盘 I/O QoS,主要是基于 blkio cgroup 来设置其 throttle 参数来实现。由于 libvirt-0.9.12 版本是在 QEMU 中限制磁盘 I/O,并且存在波动问题,所以我们的实现是通过 Nova 执行命令方式写入到 cgroup 中。同时我们也开发并向 libvirt 社区提交了 blkiotune 的 throttle 接口设置 patch(已在 libvirt-1.2.2 版本中合入)来彻底解决这个问题。
2)网络 I/O 的配置优化
我们主要是开启了 vhost_net 模式,来减少网络延时和增加吞吐量。
运维经验
使用经验
开源软件 bug 在所难免,但是新版本比旧版本会好用很多,尤其是对于 OpenStack 这种正在迅速成长壮大的开源软件来说更是如此,这一点在我们使用过 Essex、Folsom 和 Havana 版本后深有体会,所以建议各种 OpenStack 用户能及时的跟进社区版本,与社区保持同步。
不要轻易的对社区版本进行各类所谓的功能性能方面的"优化",尤其是在没有与社区专家交换意见之前,千万不要轻易下手,否则此类"优化"极有可能演变成故障点或者性能瓶颈点,最终可能导致无法与社区同步,毕竟一个公司或团队(尤其是小公司、小团队)的能力和知识储备,是很难与社区成百上千的各类专家相提并论的。
多参考各类大型公司分享的部署架构方案,尽量不要自己闭门造车,尤其是对于开源软件来说,各类公司、团队的使用场景千差万别,各种周边组件也是应有尽有,多参考业界实践是最好的方式。
一些细节实现可能有很多途径,但每种方式都有优缺点,需要经过充分的论证、分析、测试验证后,才能考虑部署到生产环境使用。
所有的部署方案、功能设计都要考虑到平滑升级问题,即使你得到的信息是升级时可以停服,仍然要尽量避免这种情况,因为停服的影响范围很难界定。
运维准则
OpenStack 也是一个后端系统服务,所有系统运维相关的基本准则都适用,这里简单的提几点实际运维过程中根据遇到的问题总结的一些经验:
配置项默认值与实际环境不匹配可能导致各种问题,尤其是网络相关配置与硬件有很强的关联性,生产环境和开发环境硬件异构,导致部分默认值在生产环境不适用。应对准则:每个版本都必须在与线上硬件相同的环境测试过才能上线。
做好容量规划,已分配的配额量要小于云平台总容量,否则会出现各种问题,导致运维开发耗费很多不必要的精力去定位分析问题。
配置项过多容易出错,需要与开发人员一起仔细核对,上线时首先要通过 puppet 的 noop 功能验证改动是否正确后,才能真正上线。
网络规划要提前做好,如固定 IP、浮动 IP、VLAN 数量等,网络扩容难度和风险都比较大,所以提前规划好是最保险的,一个原则是大比小好,多比少好。
网络隔离要做好,否则用户网络安全没办法保证。
信息安全问题要重视,这个是老生常谈的问题了,每个平台都有相同问题,但还是要重视再重视,一旦出现安全漏洞,所有虚拟机都面临严重威胁。
三 : 为什么选择OpenStack?OpenStack云计算搭建方案解析
为什么选择OpenStack
为什么厂商喜欢OpenStack?
虽然诞生时间不长,但如今人们经常会将OpenStack与VMware相提并论,这其实已经在一定程度上证明了OpenStack的成功。而OpenStack之所以能够快速崛起,与众多硬件供应商和SI系统集成商的积极推动可谓密不可分。
为什么这些厂商要力推OpenStack?俗话说:“天下熙熙,皆为利来;天下攘攘,皆为利往。”简而言之一句话,为了利益。因为借助OpenStack的云计算解决方案,他们可以卖出更多的产品和服务,何乐而不为?
这就好比你是某家CPU、主板、显卡、内存、硬盘、机箱电源、散热器厂商或者电脑城里的攒机商,那么对于DIY市场的快速崛起,你是高兴还是沮丧?答案显而易见。
为什么程序猿青睐OpenStack?
可能有很多读者都想象不到,目前在全球拥有OpenStack开发者数量最多的城市并不在美国,而是中国的北京。另外上海的OpenStack开发者数量,也位居全球前十之列。
这就是中国程序猿的“后发优势”。虽然中国的IT科技起步相对发达国家较晚,但是因为没有传统包袱,所以在新技术的学习和掌握方面反而要比国外更快。另外OpenStack虽然能够为企业构建出极其丰富的应用和服务,而且具有开源、低成本、高扩展等优势,但是往往对技术人员的知识水平和经验也有着更高要求。不过对于许多程序猿和码农来说,这正是能够充分体现其自身价值的好机会。
想想读大学的时候,精通电脑的男生往往也比其他人有更多接触漂亮妹纸的机会,你就顿悟了。
为什么企业会选择OpenStack?
说到OpenStack在企业的应用,就不能不提到PayPal。2013年,初次涉足OpenStack的PayPal就将一万台服务器上的VMware迁移到了OpenStack平台,此举甚至导致了VMware的股价下跌。除了在生产中大量使用OpenStack之外,如今PayPal又要把100%的Web/API流量以及中间层服务转移到OpenStack私有云上。据PayPal透露,他们之所以这么做,就是因为其快速的业务发展需要重构核心基础设施,而OpenStack所提供的大规模的敏捷性以及便捷、可管理的服务,都是以往VMware平台难以实现的。
2014年8月,沃尔玛也将旗下所有的电商业务迁移到了OpenStack,包括100000个核心数据和数拍字节的存储数据。一直到2014年年底,Walmart.com整个美国的流量都由该平台提供支撑。
OpenStack的企业用户,并不只有美国的大企业。事实上,大家都非常熟悉的中国本土企业去哪儿网,早在2012年就开始使用OpenStack了。如今中国一些大型金融企业在红帽、英特尔等厂商的技术和渠道支持下,也开始使用OpenStack来搭建云基础架构。
OpenStack,模块化架构的一种开源云平台,已经在很多公司,包括Disney、Walmat和PayPal完成了部署。但是虽然Openstack云平台能够给用户更大的灵活性,并且降低锁定供应商的风险,但是它的实施可能会遇到很多问题。 在部署OpenStack之前,企业必须明确所需要的服务,避免安全威胁,解决集成问题。如下是一些常见的OpenStack问题,能够帮助企业在该领域起步。
如何选择OpenStack方案
如何为云选择合适的OpenStack服务?
决定哪种OpenStack服务能够满足你的云需求很困难,因为有大量的可用工具和功能。Project Navigator,一种新的OpenStack工具,帮助你评估哪种OpenStack服务能够支持你的云需求。该工具还包括显示不同 OpenStack项目或者模块成熟度的仪表盘,包括用于计算的Nova,和网络的Neutron。另外,它将OpenStack服务分为两组:核心组和可选组。 不幸的是,该工具更适用于私有云,而不是混合云。使用OpenStack服务构建混合云更为困难,因为它要求能够在公有云和私有云间通信的网络。
OpenStack版本如何选择?
当部署OpenStack时,可以选择预打包版本或者自己从头构建。一些企业选择预打包的方案,因为通常来说这样部署更为容易——但是选择哪种版本可能很困难。 要对此深入地学习,并且评估不同OpenStack版本的技术能力的不同,比如,API可用性,以及供应商支持程度。当选择了某个版本时,企业还可以选择是否使用 纯软件供应商,比如Red Hat和VMware,或者硬件和系统供应商,比如Hewlett Packard Enterprise,Dell和IBM。不管选择是什么,都要确保有自己的拥有OpenStack集成技能的员工。
私有云是使用OpenStack还是VMware?
在私有云实现领域,OpenStack和VMware都是流行的选择。OpenStack根植于云,因此很难和VMware的技术进行比较,后者起始于数据中心的虚拟化套件。但是很多业界领秀公司都支持OpenStack,而VMware在云的领域还需要努力跟上。 另一方面,VMware更为成熟,能够达到更好的质量标准,而部署OpenStack则需要很陡峭的企业学习曲线。OpenStack的特性仍然在成长,还在持续添加新模块。从费用角度,OpenStack可能需要高额的支持费用,而VMware需要购买许可证。
OpenStack的安全挑战是什么?
安全一直是企业需要考虑的事情,OpenStack的安全也不例外。云是信息的海洋,如果不加强防护,很有可能会十分脆弱而受到攻击。但是,制定OpenStack安全计划很困难,因为这里的技术还刚刚起步,正在逐步完善之中。 需要克服的最大问题是OpenStack的开源模式。它是由开源社区,包括供应商构造的很多特性和模块组成的。 有这么多同时在开发的部分,保证操作的安全性和合规性需要很大的工作量。当部署OpenStack时,安全方面的最佳实践包括使用协议管理工具,加密数据并且缩短认证的生命周期。
部署OpenStack用于混合云时集成挑战是什么?
混合云并非全新的理念,但是它很流行。一些企业同时使用OpenStack私有云和Amazon Web Services,Azure或者Google的公有云来实现混合云。主要的劣势是OpenStack仍然还在开发,因此混合云所必需的工具和接口还不是十分完善。 使用OpenStack实现混合云还有很多问题,特别是在需要处理OpenStack和主流云供应商之间的集成时。比如,将OpenStack的Nova计算模块和AWS连接就很困难,因为API不一样。另外,要保证AWS和OpenStack混合云的性能,特别是当企业的网络速度不快时——就需要高度的数据重复。
四 : IT企业利用云计算平台Hadoop的10种方式
如果你是世界上广大Hadoop用户的一员,你肯定知道Google曾经靠着分布式计算技术(Hadoop),在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二Yahoo的专用产品了,从Hadoop长长的用户名单中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP…。
国内的公司有淘宝、百度等等。而今天我们要探讨的是,Hadoop 作为基础云计算平台,除了广告,IT公司还用哪些方式在利用Hadoop。
1. 在线旅游
云计算供应商Cloudera COO Kirk Dunn 表示,目前上80%的世界在线旅游使用了Cloudera 的Hadoop服务。他没有透露具体的名单,但著名的Orbitz Worldwide是我知道的客户之一。
2. 移动数据
目前Cloudera为美国70%的智能手机提供Hadoop支持,我们可以确定Dunn讲的是无限供应商支持的移动数据储存和处理。
3. 电子商务
Dunn 表示Cloudia为美国超过1000万在线商家提供Hadoop服务,eBay是他们的一个大客户, 因为其要管理一个庞大的个人卖家市场,卖家数量达到1000万以上。而Ebay在用Hadoop服务90天后,纯利润增加了3%。
4. 能源发现
雪佛龙代表解释了他们公司利用Hadoop的实例:通过分类和处理海洋地震数据可以预测石油储备状况。
5. 节能
雪佛龙代表同时还表示Hadoop还用在节能上,雪佛龙利用Hadoop来支持其节能系统,顾客们按照系统提示节能的同时也节省了不少钱。而相关人士甚至表示这个理念可以用到精确和长期的基金预测上。
6. 基础架构管理
越来越多的IT公司在收集和分析他们的服务器数据,在Cloudera讨论会上, NetApp代表表示他们公司利用Hadoop技术从全部的安装点上收集设备logs(超过千万亿的logs数量)。
7. 图片处理
创业公司“Skybox图片”正是利用Hadoop来储存和处理图片的,这些图片是卫星根据地理变化的模式有规律地抓取的高清图片。Skybox最近获得了7000万美元的融资。
8. 欺诈识别
这是个经典实用的话题,这在财政机构和情报机构非常有市场。Cloudera客户之一Zions Bancorporation表示他们利用Hadoop储存一切可能预示欺骗性的用户交易和异常情况数据。
9. IT安全
除了基础架构管理,IT公司们也开始用Hadoop来处理恶意软件和网络攻击数据。去年Trust
就用hadoop为各种IP评定分数,然后各大公司就可以决定是否接受那些恶意IP的来访。
10. 医疗健康
目前Apixio正使用Hadoop来帮助他们对病人的回答做语义分析,从而帮助医生,护士更好的掌控病情。
Hadoop定义:
1. 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
2. Hadoop是一套开源的、基础是Java的、目前能够让数千台普通、廉价的服务器组成一个稳定的、强大的集群,使其能够对pb级别的大数据进行存储、计 算。已经具有了强大稳定的生态系统,也具有很多使用的延伸产品。比如做查询的Pig, 做分布式命名服务的ZooKeeper, 做数据库的Hive等等。
Via gigaom
(济慈 供雷锋网专稿,转载请注明!)
五 : CC视频宣布推出基于云计算的第三方服务平台
新浪科技讯 9月15日午间消息,在视频行业低调运作五年的幕后技术公司CC视频,今日通过其官方网站和微博(http://t.sina.com.cn/bokecc)宣布其基于视频云计算的第三方服务平台即将上线。
据悉,CC视频从05年成立起,一直致力于互联网视频的解决方案研发。从2010年初,CC视频启动了内部产品研发代号为“SPARK”的研发计划,通过统一第三方托管运营,自定义的播放器和视频广告管理平台等方案,希望使得视频同文字、图片一样,成为网站的基础内容元素。
CC视频截图
从目前曝光的截图中可以看出,站长通过简单的设置就可以根据自己网站,DIY一个完全属于自己网站的播放器。据CC视频介绍,播放器皮肤的自定义还只是其中一小部分功能,随后还会加入自定义和版权设置及保护机制。
CC视频副总裁任远此前曾表示:“CC视频一直希望能够为合作网站提供高品质的技术保障,综合的视频门户在过去5年做了大量的市场教育,让网民都来上网看视频。”
据了解,该视频平台目前开始逐步邀请合作伙伴开始测试,将于不久后全面商用开放。
本文标题:云计算平台搭建方案-基于云计算的电子商务平台搭建方案与分析61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1