hadoop徽标 阿帕奇Hadoop

Apache™Hadoop®项目开发了用于可靠,可扩展的分布式计算的开源软件.

Apache Hadoop软件库是一个框架,该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理. 它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储. 库本身不用于依靠硬件来提供高可用性,而是设计用于检测和处理应用程序层的故障,因此可以在计算机集群的顶部提供高可用性服务,而每台计算机都容易出现故障.

Learn more » Download » Getting started »

Latest news

Release 3.3.0 available 2020年7月14日

这是Apache Hadoop 3.3系列的第一个版本. 自3.2以来,它包含2148个错误修复,改进和增强.

鼓励用户阅读主要更改概述 . 有关详细信息,请检查发行说明changelog .

具有GDPR删除权,网络拓扑意识,O3FS和改进的可伸缩性/稳定性的Apache Hadoop Ozone的第一个beta版本.

有关更多信息,请检查臭氧站点 .

这是Apache Hadoop 2.10系列的第一个稳定版本. 自2.9.0起,它包含362个错误修复,改进和增强.

鼓励用户阅读自2.9.0起的主要更改概述 . 有关自先前的2.9.0版本以来的362个错误修复,改进和其他增强的详细信息,请查看发行说明,更改日志详细说明自2.9.0起的更改.

Release 3.1.3 available 2019年10月21日

这是Apache Hadoop 3.1系列的第三个稳定版本. 自3.1.2起,它包含246个错误修复,改进和增强.

Users are encouraged to read the overview of major changes since 3.1.2. For details of the bug fixes, improvements, and other enhancements since the previous 3.1.2 release, please check release notes and changelog

Apache Hadoop Ozone的下一版本发布了本机ACL,K8支持并提高了稳定性.

有关更多信息,请检查臭氧站点 .

Modules

该项目包括以下模块:

  • Hadoop Common :支持其他Hadoop模块的通用实用程序.
  • Hadoop分布式文件系统(HDFS™) :一种分布式文件系统,可提供对应用程序数据的高吞吐量访问.
  • Hadoop YARN :用于作业调度和群集资源管理的框架.
  • Hadoop MapReduce :基于YARN的系统,用于并行处理大数据集.
  • Hadoop OzoneHadoop的对象存储.

Who Uses Hadoop?

各种各样的公司和组织都将Hadoop用于研究和生产. 鼓励用户将自己添加到Hadoop PoweredBy Wiki页面 .

Related projects

Apache的其他与Hadoop相关的项目包括:

  • Ambari™ :一种基于Web的工具,用于配置,管理和监视Apache Hadoop集群,其中包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持. Ambari还提供了一个仪表板,用于查看集群健康状况(例如热图)以及以可视方式查看MapReduce,Pig和Hive应用程序的功能,以及以用户友好的方式诊断其性能特征的功能.
  • Avro™ :数据序列化系统.
  • Cassandra™ :可扩展的多主数据库,没有单点故障.
  • Chukwa™ :一种用于管理大型分布式系统的数据收集系统.
  • HBase™ :可扩展的分布式数据库,支持大型表的结构化数据存储.
  • Hive™ :一种数据仓库基础结构,可提供数据汇总和即席查询.
  • Mahout™ :可扩展的机器学习和数据挖掘库.
  • Pig™ :用于并行计算的高级数据流语言和执行框架.
  • Spark™ :一种用于Hadoop数据的快速通用计算引擎. Spark提供了一种简单而富有表现力的编程模型,该模型支持广泛的应用程序,包括ETL,机器学习,流处理和图形计算.
  • Submarine :一个统一的AI平台,允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载.
  • Tez™ :基于Hadoop YARN的通用数据流编程框架,它提供了强大而灵活的引擎来执行任意DAG任务,以处理批处理和交互用例的数据. Hadoop生态系统中的Hive™,Pig™和其他框架以及其他商业软件(例如ETL工具)都采用了Tez,以取代Hadoop™MapReduce作为基础执行引擎.
  • ZooKeeper™ :面向分布式应用程序的高性能协调服务.

by  ICOPY.SITE