认识达内从这里开始

大数据技术正在渗透到各行各业。Hadoop作为分布式数据处理系统的典型代表，已经成为该领域事实上的标准。但是Hadoop不等于大数据，它只是一个成功的处理离线数据的分布式系统，大数据领域还有很多其他类型的处理系统。

随着大数据技术的普及，Hadoop以其开源的特性和优异的性能成为了一段时间的新宠。甚至有人认为大数据就是Hadoop，这其实是一种误解。Hadoop只是一个离线数据的分布式存储和处理系统。除了Hadoop，还有用于处理流数据的Storm、用于处理关系数据的Oracle和用于处理实时机器数据的Splunk…….目前主流的大数据系统有很多，Hadoop只是其中之一。

2.1 Hadoop  Common，Hadoop的核心模块：Hadoop的公共应用模块是整个Hadoop项目的核心，为Hadoop子项目提供各种工具，如配置文件、日志操作等。其他Hadoop子项目都是在此基础上开发的。Hadoop分布式文件系统(HDFS): Hadoop分布式文件系统，提供高吞吐量的应用数据访问，具有高容错性。

对于外部客户端，HDFS就像一个传统的分层文件系统，可以执行常规文件操作，如添加、删除、检查或重命名。但实际上，HDFS的文件是分块的，然后拷贝到多台电脑上，和传统的RAID架构有很大的区别。HDFS特别适用于需要一次写入多次读取的大型数据集的应用程序。Hadoop  YARN:作业调度和集群资源管理框架。Hadoop  MapReduce:面向大规模数据的基于YARN的分布式并行编程模式和程序执行框架，是Google的MapReduce的开源实现。

它帮助用户编写处理大型数据集的并行运行程序。MapReduce隐藏了分布式并行编程的底层细节。开发人员只需编写业务逻辑代码，无需考虑程序并行执行的细节，大大提高了开发效率。Apache还有很多其他Hadoop相关的项目。

2.2 Hadoop的特点作为分布式计算的典型代表，Hadoop比其他分布式框架更具优势。可扩展性：Hadoop可以在不停止集群服务的情况下，在可用的计算机集群之间分发数据和完成计算。这些集群可以轻松扩展到数千个节点。

简单：Hadoop实现了简单的并行编程模式。用户可以在不了解分布式存储和计算底层细节的情况下编写和运行分布式应用，并在集群上处理大规模数据集，因此使用Hadoop的用户可以轻松构建自己的分布式平台。

效率：Hadoop的分布式文件系统具有高效的数据交互设计，通过并行处理可以加快处理速度。Hadoop还具有可扩展性，可以在节点间动态移动数据，保证各个节点的动态平衡，所以处理速度非常快。

可靠性：Hadoop的分布式文件系统分块存储数据，每个数据块按照一定的策略冗余存储在集群节点上，保证了失效节点可以重新分配和处理，从而保证了数据的可靠性。

成本低：要靠便宜的服务器，成本低，谁都可以用。在大数据时代，Hadoop以其优越的性能受到业界广泛关注，成为大数据处理领域事实上的标准。如今，Hadoop已经在多个领域大显身手。

在开源社区和众多国际技术厂商的积极支持和持续投入下，相信Hadoop技术在不久的将来会扩展到更多的应用领域。

【免责声明】本文部分系转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与联系我们，我们会予以更改或删除相关文章，以保证您的权益！