Hadoop已死？ASF 已“淘汰”10个 Hadoop 相关的开源项目 作者 | 田晓旭Hadoop 真的该“谢幕”了吗？自 4 月 1 日起，Apache 软件基金会（ASF）宣布将其至少 19 个开源项目撤回到 Apache Attic，其中有 13 个项目与大数据相关，10 个项目属于 Hadoop 生态系统。 与 Hadoop 相关的十个“淘汰”开源项目： Apex：基于 Hadoop YARN 的流处理和批处理平台； Chukwa：基于 HDFS 构建的开源数据收集系统，用于监控和分析大型分布式系统的数据； Crunch ：基于 Google 的 FlumeJava 库编写的 Java 库，提供了一个用于编写、测试和运行 MapReduce 管道的框架； Eagle：eBay 开源的一个解决方案，可立即识别包括 Hadoop 在内的大数据平台上的安全和性能问题； Falcon ：一个面向 Hadoop 的、新的数据处理和管理平台，用于数据移动、数据管道协调、生命周期管理和数据发现； Hama：一个建立在 Hadoop 上基于 BSP(Bulk Synchronous Parallel) 的计算框架； Lens：提供统一的分析界面，将 Hadoop 与传统数据仓库集成在一起； Sentry ：一个高度模块化的系统，为存储在 Apache Hadoop 集群中的数据和元数据提供了细粒度的、基于角色的认证功能； Tajo：Hadoop 大数据关系型和分布式数据仓库系统； Twill ：Apache Hadoop YARN 的抽象层，减少了开发分布式应用程序的复杂度，允许开发者把精力放在应用逻辑上。 1Apache Attic 是什么？Apache Attic 是 ASF 在 2018 年 11 月建立的一种机制，主要是提供一个流程，让 ASF 中的开源项目在结束生命之前，能够被广大开发者知晓。 据了解，开源项目进入 Apache Attic 之后不会影响用户，ASF 会对代码库提供受限制的监督，同时会在没有项目管理委员会（PMC）的情况下对活动用户列表进行监督。但是该开源项目不会再重建社区、修正 bug 以及发布新版本。 那么，什么样的项目会进入到 Apache Attic？进入 Apache Attic 的路径是什么？首先，当一个项目的 PMC 无法召集 3 票进行版本发布、没有积极的提交者或无法履行其向董事会报告时，那么，该项目就会成为进入 Apache Attic 的候选项目。 开源项目进入 Apache Attic 之后，能否离开呢？当然可以，ASF 提供了开源项目离开 Attic 的多种方法：fork 该项目；在 Apache 孵化器中重新启动社区；为项目重新创建 PMC；转移到现有的 PMC。 如果要转移开源项目，那么接收方的 PMC 要愿意承担项目运行所伴随的责任，例如维护代码、回答问题、修复 bug 与发布版本等，董事会同意之后，PMC Attic 会将转移项目的资产给接收方的 PMC，包括 code-base、TLP 网站与 Maven 组标识等。 2为什么这么多 Hadoop 相关项目会进入到 Apache Attic？为什么这么多 Hadoop 相关项目会进入到 Apache Attic 呢？ASF 市场营销与宣传副总裁 Sally Khudairi 通过电子邮件回复说：“ Apache 中开源项目整个生命周期的发展是起伏不定的，这与社区的参与程度息息相关。关于这次进入 Apache Attic 项目的选取，PMC 和董事会内部对多个 Apache 项目进行了审查和评估，并通过投票的方式决定哪些项目进入 Apache Attic。” 尽管 ASF 表示此次进入 Apache Attic 的大数据项目只占整体的一小部分，但是我们也可以看到，大数据领域已经发生了变化，Hadoop 在开源分析领域的主导地位已经逐渐让渡给了 Spark，Hortonworks 和旧的 Cloudera 之间的项目无意义的复制已被终止。 “Hadoop 已死”这句话在业内已经喊了好几年了，大数据领域依然如日中天，但是 Hadoop 领域三家领头羊公司 Cloudera、Hortonworks 和 MapR 却过得不是那么顺利，Cloudera 和 Hortonworks 合并了，MapR 因为业绩缩水，最终出售给了 HPE。 商业路径走得艰难，如今在开源路径上似乎也遇到了坎坷，曾经是大数据代名词的“Hadoop”似乎真的要“谢幕”了。 你也「在看」吗？??