云计算领域的演化日新月异

新用户注册 | 用户登陆 | 回复 | 刷新

Omni


发表文章数: 30
内力值: 101/101
贡献度: 343
人气: 38

云计算领域的演化日新月异 [文章类型: 原创]

不知客栈新旧网友中有多少人对云计算(cloud computing)和数据科学(data science)感兴趣,若有一定人数则可以展开一些讨论话题。

基因组学领域一直比较关注MapReduce框架(主要基于开源的Hadoop系统)的应用前景,我前不久刚通过Python编程得以透彻了解MapReduce核心思想的细节,觉得它还是有不少局限性(主要是对于真正的庞大数据,其运行速度明显不如以Vertica和Teradata为代表的并行数据库系统),业界对它的广泛实用性有些高估了。这一想法已被上个月的一则新闻报道所印证:

http://www.datanami.com/2014/06/25/google-re-imagines-mapreduce-launches-dataflow/

MapReduce的发明者Google公司内部近年来也已经开始摆脱这一红极一时的框架,而代之以DataFlow这一全新的云计算系统。目前有关DataFlow系统的细节还没有公开,但我对Google研发人员的创新能力很有信心,希望能尽快看到DataFlow在基因组学得到成功应用的实例。如果DataFlow系统确实明显优于MapReduce/Hadoop,那么云计算领域现在的老二(distant second)Google将很快有能力挑战老大Amazon的地位,这对广大用户而言绝对是好消息。

发表时间: 2014-07-30, 15:17:57 个人资料

王连涛


发表文章数: 133
内力值: 265/265
贡献度: 1291
人气: 352

Re: 云计算领域的演化日新月异 [文章类型: 原创]

Cloud computing现在总体形势怎么样。听说Amazon这方面一直在亏损,是这样吗?

发表时间: 2014-07-30, 16:29:44 个人资料

Omni


发表文章数: 30
内力值: 101/101
贡献度: 343
人气: 38

Re: 云计算领域的演化日新月异 [文章类型: 原创]

Amazon整个公司的业绩在2014年第二季度确实意外地报出1亿2千多万美元的亏损(a wider-than-expected loss of $126 million),但究其原因是研发费用支出过多,比如我认为他们介入智能手机这一竞争空前激烈的市场纯属多此一举(堪称以卵击石):收入增长了23%,但支出却增长了24% ---

http://online.wsj.com/articles/amazon-reports-another-loss-despite-strong-sales-growth-1406233529

《华尔街日报》这篇报道同时指出:Amazon的云计算部门只是因为Google等竞争对手挑起的"价格战"而导致其利润增长速度减缓(suffered a slowdown in growth)。我个人预测云计算将在不久的将来成为Amazon最赚钱的部门,其前途非常光明。从技术层面讲,Amazon云计算平台的优越性目前远远领先于其它对手,包括我们在内的许多中小制药公司都已开始或在考虑采用AWS(Amazon Web Service)。但我对AWS的唯一批评是他们呆板的收费模式,任何一个用户,不论是个人还是公司,哪怕在试用期间都要提供信用卡号码,而不接受以公司帐号为基础的寄账单收费。我非常希望Google的云计算部门能在商业竞争力上尽快追上Amazon,让广大用户从他们的竞争中渔翁得利。

发表时间: 2014-07-30, 20:51:21 个人资料

XXFF


发表文章数: 26
内力值: 196/196
贡献度: 624
人气: 116

Re: 云计算领域的演化日新月异 [文章类型: 混合]

::不知客栈新旧网友中有多少人对云计算(cloud computing)和数据科学(data science)感兴趣,
==================================
有点兴趣。
Google公司2010年就开始放弃MapReduce了,可能主要还是因为无法处理实时数据,它整合了许多Google公司的内部技术Flume和MillWhell,当然看好它了。

发表时间: 2014-08-04, 04:30:38 个人资料

Omni


发表文章数: 30
内力值: 101/101
贡献度: 343
人气: 38

Re: 云计算领域的演化日新月异 [文章类型: 原创]

》它整合了许多Google公司的内部技术Flume和MillWhell,当然看好它了。

你是说DataFlow框架整合了Flume和MillWheel? 若是,更加令人期待。

Flume和Hadoop一样是开源的平台,由Apache社区负责开发,而非Google的内部技术。

MillWheel则确实是Google的内部技术,主要用来处理实时的streaming数据。这一领域和我的工作关系不大,不过等我有空时会泛读一下这篇概述:

http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive/41378.pdf

发表时间: 2014-08-04, 15:46:37 个人资料

XXFF


发表文章数: 26
内力值: 196/196
贡献度: 624
人气: 116

Re: 云计算领域的演化日新月异 [文章类型: 混合]

::Flume和Hadoop一样是开源的平台,由Apache社区负责开发,而非Google的内部技术。
====================================================================
哦,我提到的Google内部的Flume技术指“FlumeJava”,Jeff Dean的校友兼同事Chambers第一作者发了FlumeJava,后来FlumeJava也被开源成Apache Crunch。

发表时间: 2014-08-05, 02:56:58 个人资料

元江


发表文章数: 7
内力值: 76/76
贡献度: 17
人气: 0

Re: 云计算领域的演化日新月异 [文章类型: 原创]

omni在做数据分析工作么?有空可以介绍一点这方面知识。
我在公司里看到越来越多的Hadoop簇群,似乎很热门。

元江

发表时间: 2014-08-11, 04:06:11 个人资料
您尚未登陆 | 用户登陆