行业报告 AI展会 数据标注 标注供求
数据标注数据集
主页 > 数据挖掘 > 正文

属于 Hadoop 的大数据时代已结束

在11天内,13个与大数据相关的 Apache 项目(包括 Sentry、Tajo 和 Falcon)宣布取消。 和大数据的理想主义时代似乎正式结束了。
 
Apache Hadoop 曾经是大数据的代言人,而今已经过了它的鼎盛时期,这已经不是什么秘密了。自4月1日以来,Apache Software Foundation (apache 软件基金会,简称 ASF)就宣布,至少有19个开源项目将退出其“Attic”项目,其中13个项目与大数据相关,10个项目属于 Hadoop 生态系统。
 
项目清单
虽然个别项目的取消公告似乎无关紧要,但从整体上看,它们构成了一个分水岭事件。为了帮助从业者和行业观察人士理解大数据开源重组的全部影响,我们列出了一个清单,以下是一些与大数据相关的 Apache 取消项目:
 
Apex:基于 Hadoop YARN 的大数据流和批处理统一平台。
 
Chukwa:一个用于监控大型的数据收集系统,构建在 Hadoop 分布式文件系统(HDFS)上。
 
Crunch:提供了一个编写、测试和运行 MapReduce(包括 Hadoop MapReduce)管道的框架。
 
Eagle:在大数据平台(包括 Hadoop)上即时识别安全和性能问题的分析解决方案。
 
Falcon:为 Hadoop 设计的数据处理和管理解决方案,用于数据移动、数据管道协调、生命周期管理和数据发现。
 
Hama:一个大数据分析框架,运行在 Hadoop 上,基于批量同步并行范式。
 
Lens:提供了一个统一的分析界面,将 Hadoop 与传统数据仓库集成在一起,看起来就像一个数据仓库。
 
Marmotta:一个链接数据的开放平台。
 
Metron:专注于实时大数据安全。
 
PredictionIO:服务器,用于管理和部署可用于生产的预测服务。
 
Sentry:在 Apache Hadoop 中对数据和元数据执行细粒度授权的系统。
 
Tajo:Hadoop 上的大数据仓库系统。
 
Twill:使用 Hadoop YARN 的分布式功能和运行线程的编程模型。
 
不容忽略的事实
全部的列表很长,上面只是包括大数据项目的一部分。此外,由于 Cloudera、Hortonworks 的合并,Sentry 和 Metron 项目实质上已经分别被类似的 Ranger 和 Spot 项目取代。
 
那次合并本身就根植于大数据市场的整合,而且这种非常大的数据整合也解释了上述所有项目取消的原因。至少可以说,在不到两周的时间内宣布所有这些项目的取消是值得注意的。
 
官方评价
我向 ASF 询问了大数据项目平台的清理事宜。ASF 负责营销和宣传的副总裁 Sally Khudairi 通过电子邮件回复道:“Apache 项目活动在其生命周期中有起有落,这取决于社区的参与程度。我们从项目管理委员会(pmc)内部到董事会,对几个 Apache 项目的审查和评估活动有所增加,他们投票决定是否让项目退出。” Khudairi 还表示,最近 ASF 负责 Apache 的副总裁 Hervé Boutemy 非常高效地进行了“春季大扫除”,为准备取消的几十个项目做了一些收尾工作。
 
尽管 ASF 断言这次大数据整合只是常规项目取缔所引发的一个高潮,但很明显,大数据领域的情况已经发生了变化。Hadoop 在开源分析技术上的主导地位已经让位于 Spark,Hortonworks 和 Cloudera 之前毫无意义的重复项目已经停止,这就像达尔文进化论的自然选择过程一样。
 
我们需要谨慎
很明显在大数据领域,投资 Apache Sentry 的大量供应商和客户现在不得不考虑他们的损失。伴随着这个残酷的现实,我们得到了深刻的教训,这个教训几乎适用于每一个技术类别的炒作周期:一开始社区会变得兴奋起来,然后开源技术会激增,生态系统也会建立起来;但这些生态系统并不是永恒的,几乎任何新平台都存在固有的风险,无论是商业平台还是开源平台。
 
用 ASF 的 Khudairi 的话来说:“是每个项目背后的社区使其代码保持活力(代码不会自己写),所以社区在项目中改变步调并不罕见。”换句话说,前沿技术是令人兴奋的,但早期采用者需要谨慎:它也是不稳定的。注意形势的变化,并管理你的风险。
 
原文链接:https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/
 
声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!
 
 

微信公众号

声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
SEM推广服务

Copyright©2005-2026 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

扫码入群
扫码关注

微信公众号

返回顶部