一 : 2012,大数据五大预测
更加强大且富有表现力的分析工具
在过去的一年中,围绕着NoSQL和Hadoop,基本的存储与数据处理引擎方面的改进工作得到了加强并且日趋工程化。毫无疑问,这种态势将会持续下去,因为我们看到了Hadoop世界中有越来越多形态各异的产品融入到了各种发布包、设备和按需的云服务当中。我衷心希望在不远的将来Hadoop能够 成为必要的基础设施。
现在,已经出现了一些面向程序员与数据科学家的工具(例如Karmasphere和Datameer),此外,还有面向已经建立起来的分析工具的Hadoop连接器(例如Tableau和R)。但还有一种方式可以让大数据变得更为强大,那就是降低实验的成本。
下面两种方式可以使大数据变得更为强大。
更好的编程语言支持。因为我们将数据而非业务逻辑作为程序中的主要实体,所以必须要创建或再去探索一些方言,使我们能够将精力放在数据而非底层 Hadoop设施所透露出来的抽象上面。换句话说,编写更简短的程序,能够更清晰地表达出我们对数据所做的处理。这些抽象将有助于为非程序员创建更好的工具。
需要提供更好的交互支持。如果说Hadoop有缺点,那么其缺点也在于它所孕育的批量化处理的计算本质。数据科学的敏捷本质决定了它钟爱于能够提供更好交互性的工具。
流线化的数据处理
Hadoop批量化的处理对于很多场合都足够用了,特别是数据报告的频率不需要达到分钟级别的场合。然而,批量化处理并非总能满足我们的要求,特别是对于移动和Web客户端等在线需求,或是财务和广告等需要实时变化的市场。
在未来几年中,用于处理流线化或接近实时的分析与处理的可伸缩框架和平台将会得到采用。Hadoop将会支持大规模的Web应用,这些平台将会由大规模位置感知的移动、社交和传感器应用所推动。
对于某些应用来说,已经没有足够的空间来存储业务接收到的所有数据:在某一时刻,你需要扔掉一些东西。凭借流线化的计算能力,你可以对数据进行分析 并决定扔掉哪些数据而不必查看map/reduce的“存储—计算”循环。在实时框架领域中,新涌现的竞争者有来自Twitter的Storm和 Yahoo!的S4。
数据市场的兴起
当与其他数据集混合到一起时,你自己的数据会变得更有说服力。比如说,将天气状况添加到客户的数据中,检查是否有与客户购买模式相关的天气模式。获 取这些数据集是个让人头疼的问题,特别是在IT部门之外做这件事,并且要求一定的精度时更是如此。数据市场的价值在于为这种数据提供了一个目录,以及流线 化、标准化的交付方法。微软将其Azure市场集成到分析工具中的做法预示了我们今后能更加方便地访问数据了。
数据科学工作流与工具的开发
随着数据科学团队不断为各个公司所认可和接受,其角色和流程将会变得更加正规化。成功的数据科学团队的驱动力之一就是其与公司经营活动的集成程度,这与成为边缘的分析团队截然相反。
软件开发者已经拥有了大量富于逻辑与社交性质的基础设施,这包括wiki与源代码控制,以及用于将其流程和需求公开给企业主的各种工具。集成的数据 科学团队需要自己的一套工具才能高效协作。其中之一就是EMC Greenplum的Chorus,它提供了针对数据科学的一个社交软件平台。使用这些工具有助于组织中数据科学处理的不断涌现。
数据科学团队将会逐渐开始一些重复的流程,我们希望这是敏捷的。相比诸如The Guardian和NewYork Times之类的新闻组织的新闻数据团队所做的开创性工作:只要给定一个不长的时间表,这些团队就可以将原生格式的数据转换为成品,这需要与记者携手来完 成。
对可视化的理解和需求的提升
可视化在数据工作流中能够实现两个目的:解释与探索。虽然业务人员可能将可视化看作是最终结果,但数据科学家还会将可视化作为寻求问题以及探索数据集新特性的一种方式。
如果说成为数据驱动的组织需要培养所有员工拥有更好的数据感觉的话,那么可视化在将数据操纵能力传递给那些不会编程或缺乏统计分析技巧的员工的过程中就扮演着重要角色。
过去的整整一年,业务对数据科学家的需求一直都是如此。我不断地听到数据科学家说,他们最想要的是:懂得创建可视化的人才。
Via Programmer
(sarah_long 供雷锋网专稿,转载请注明!)
二 : 2015年5个大数据技术预测
在短短几年里,大数据技术从炒作的概念变为新数字时代的核心破坏者。2014年,公司里越来越多的大数据举措从测试步入生产。2015年,大数据将在企业里进一步推进,使用更多的用例(特别是实时用例),Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。
Schroeder说:“今年,机构将覆盖之前的初次批量实现,进行大数据实时部署。现有的行业领导者和那些后起之秀已经付出了巨大努力,它们通过将新的大数据平台合并到‘动态’数据分析中来影响业务,这些实现将驱动行业的发展。”
Schroeder说五大发展将会主导2015。
1.数据敏捷性成为焦点
对于许多需求来说,遗留的数据库和数据仓库的处理过程过于缓慢和僵化,因此数据敏捷性是大数据技术发展的驱动力之一。在2015年,Schroeder认为,随着机构将他们的注意力从捕获和管理数据转换到使用它们,数据敏捷性将会更加集中。
他说:“遗留的数据库和数据仓库如此昂贵,以至于需要DBA对数据进行全面综合和结构化。前期的DBA成本推迟了对新数据源的访问,而随着时间的推移,这刚性的结构也很难改变。最终的结果就是,遗留数据库不够敏捷,不能满足今天多数组织的需要。”
他补充说:“最初的数据项目集中在目标数据源的存储。机构将会把自己的注意力转移到数据敏捷性上,而不是关心正在管理着多少数据。执行和分析数据的能力又是如何影响操作的?当用户偏好、市场条件、竞争行为和操作状态发生变化时,如何才能快速适应和响应?这些问题将会在2015年指引大数据的投资和规模。”
2.机构从数据湖泊转移到数据处理平台
从某种程度上来说,2014年是数据湖泊(或者数据中心)的一年。基于对象的存储仓库以其原生格式(无论是结构化的、非机构化的或半结构化的)保存着原始数据,直到可以使用。数据湖泊有着强烈的价值主张,它们代表着一个可伸缩的基础结构,这样的结构经济(降低了成本)又敏捷。
Schroeder认为,随着处理数据的多计算和执行引擎就位,数据湖泊将会在2015年继续发展。它不仅会更有效,它还会创建一个单点管理和一个单点安全。
“在2015年,随着机构从批处理转移到实时处理,将Hadoop、数据库和基于文件的引擎集成到他们的大规模处理平台,数据湖泊将会有所发展”,他说。 “换句话说,它并不是关于数据湖泊中支持大量查询和报告的大规模存储。2015年的大趋势是,围绕事件和数据的实时持续访问和处理,以此来获取稳定的状态和及时采取行动。”
3.自助服务大数据成为主流
大数据工具和服务的进步意味着,在2015年,商业用户和数据科学家访问数据的瓶颈将逐渐缓解,Schroeder说。
2015年,IT将会拥抱自助服务大数据,允许商业用户使用大数据自助服务,他说。“自助服务授权开发者、数据科学家和数据分析师直接控制对数据的探索。”
“之前,需要IT技术来建立集中的数据结构”,他补充道。“这是一种耗时和昂贵的做法。对于一些用例,Hadoop已经使得企业适应了‘结构准备好’。高级一点的机构将会转移到执行上的数据绑定,远离中心结构,以此来满足持续的需求。自助服务加快机构利用新数据源以及回应机会和威胁。”
4.Hadoop供应商整合:新商业模式的发展
早在2013年,因特尔引入了它自己的Hadoop版本,声称这个版本将会与原版有所不同,它采用一种增强的方法,将Hadoop直接置入到因特尔的机器中。但是一年后,因特尔放弃了它自己的版本,然后重磅推出Hadoop发行版供应商Cloudera。
当时,因特尔注意到,客户们都在观望Hadoop市场如何打开。Hadoop的选择实在是太多了。Schroeder相信,Hadoop供应商的整合在2015年将会继续,而失败者将会停止它们的发行版,将注意力转移到其它地方。
“现在,我们已经贡献开源代码20年了,它为市场提供了巨大的价值”,Schroeder说。“技术处于成熟阶段。技术生命周期始于创新和高度差异化产品的创造,止于产品最终商业化。[Edgar F.] Codd于1969年使用创新而建立了关系数据库概念,1986年也导致了Oracle IPO,而起始于1995年的第一个MySQL版本。所以历史上,数据库平台技术成熟之前,为了看到商业化,它花了26年时间的创新。”
“在技术成熟周期中,Hadoop是比较早的,自Google发布萌芽的MapReduce白皮书起,仅仅只有十年的时间”,他补充道。“在初级概念发布仅10年后,Hadoop在全球被采用,超越以往任何其它数据平台。Hadoop正在创新阶段,所以供应商误采用‘Red Hat for Hadoop’策略已经在市场上出现了,尤其是因特尔和最近的EMC。”
Schroeder相信,2015将会见到一个崭新的、更微妙的开源软件的发展,它们会结合深度创新和社区开发。
“开源社区对于建立标准和共识是至关重要的”,他说。“竞争是催化剂,它将Hadoop从最初的批分析处理器转换成一个全功能数据平台。”
5.企业架构师不再炒作大数据
2015年将会看到,企业架构师会成为焦点,因他们对Hadoop技术的深入理解,得到定义更好和更成熟的大数据应用需求说明,包括像高可用性和业务连续性等元素。
“在数据中心中,随着机构快速从试验转移到实际应用,企业架构师将前台和中心转移到实际应用”,Schroeder说。“IT领导在决定适应SLA的基础架构、提供高可用性、业务连续性和适应关键业务需求上就很重要了。在2014年,围绕Hadoop蓬勃发展的生态系统,拥有大量的应用、工具和组件。在 2015年,市场将集中在将Hadoop集成到数据中心,并交付业务结果所需的跨平台差异和架构上。”
三 : 建站杂谈 2010年web领域的预测
国外作者对2010年web上的30个预测,包含的web领域十分全面,包括 社会媒体、商务、移动、营销、搜索、Web设计、博客、软件 这九个方面。
社会媒体
商务
移动
营销
搜索
SEO
Web Design & Development
博客
软件
四 : 比拼数据不是个儿 ofo力压摩拜获市场全面领先
ofo和摩拜不断展开的“数据比拼”,吸引着行业的关注。近日,苹果App Store数据显示,“ofo共享单车”用户数量明显增加,力压一众热门应用,并超越国民游戏王者荣耀,在中国区免费应用总榜、旅游榜双双登顶。两大应用市场大数据也共同显示,ofo市场份额早以绝对优势领先摩拜。
苹果安卓两大市场ofo双超摩拜
近日,ofo共享单车在app store旅游榜、免费榜双登榜首,在百度手机助手、360手机助手两大超级安卓应用市场,ofo的下载量也遥遥领先于摩拜。数据显示,360手机助手中,ofo共享单车APP下载量超过摩拜单车24%,而百度手机助手下载量方面,ofo同样领先摩拜单车89万。
360手机助手下载量对比
百度手机助手下载量对比
从百度手机助手和360手机助手等第三方安卓市场下载量和评价中可以看出,ofo无疑更胜一筹,9.9分的用户评价充分体现了用户对ofo的信任,显然ofo更能够解决用户的出行痛点。
真正的竞争最终回归用户 ofo为何占据上风
市场份额之争不能靠“刷量”来实现“虚假繁荣”,产品的口碑最终还是要回归用户,谁在共享单车领域能够全面解决用户出行痛点,用户将倾向于谁。据了解,截止目前,ofo已经覆盖全国35座城市,以1500万用户规模成为全球最大的共享单车平台,累计为用户提供2.5亿次骑行服务,真正解决城市短途出行“最后一公里”的问题。
比达报告显示:在影响用户决策方面“好骑”成为最主要因素。近日,包括网购综合平台“什么值得买”、智能硬件知名平台“智东西”在内的一系列第三方平台密集发声,对ofo、摩拜单车产品进行对比评测并对ofo单车骑行舒适度给予肯定。多方观点认为:更加优秀的骑行体验,是ofo在共享单车之战中占据上风的主因。
整理各方面数据信息进行分析可以看到,共享单车之争进行到现在,ofo显然更胜一筹,依托“虚假繁荣”终究会破灭,而真正的优势总能通过各个方面显露出来。在“不掺水”的用户竞争中,ofo已经走在前沿。
本文标题:大数据领域33个预测-2012,大数据五大预测61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1