028-86763871

精品课程

Hadoop术语:20个最重要的Hadoop术语

  • 来源:
  • 2020-10-16 17:04
  • 阅读()
  • 分享
如今,数据科学,大数据,Hadoop等不再是流行语。随着生成的数据量的增加,处理和分析大数据的需求不断增长。Hadoop已被广泛用于无处不在的大数据处理,并且它已成为大数据技术的核心。随着时间的流逝,它已经与许多其他技术集成在一起。因此,Hadoop术语是其生态系统和相关工具的广泛领域,并且每天都在扩展。更不用说,各地对Hadoop专业人士的需求都在增长。
因此,无论是市场需求还是个人职业升级,都知道Hadoop已成为“时刻需求”的代名词。但是,如果你想浏览Hadoop词汇表,则必须以Hadoop专业人士的身份了解一些特定的Hadoop术语。
 
 
1、Apache Hadoop
这是要理解的最主要和最基本的Hadoop术语。Apache Hadoop是一个用Java编写的开源框架,可以处理大量非结构化数据。Hadoop是众所周知的可扩展、健壮和容错率高的平台。Apache设计Hadoop的方式是可以将其从单个服务器扩展到网络中的多台(数百台)计算机中。

2、Apache Hive
Apache Hive是Hadoop数据仓库的基础架构。它使用称为Hive查询语言(HQL)的SQL查询来管理数据汇总。这些查询在内部进行转换以映射归约作业以进行处理。

3、Apache Oozie
Apache Oozie是Java中的Web应用程序,负责调度Hadoop作业。它与分布式生态系统中的数据存储和处理层一起使用。它通过Oozie Workflow和Oozie Coordinator作业的管理提供了Hadoop作业的集成机制。

4、Apache Pig
Apache Pig是Hadoop术语的重要组成部分。它是一个数据流平台,负责执行Map Reduce作业。它是一个可扩展的高级平台,可简化编程并有助于优化执行。Pig脚本将转换为Map Reduce作业,然后对HDFS数据执行。

5、 Apache Spark
Apache Spark是一个开源的集群计算框架。它具有针对分布式集群计算(如Hadoop)的内存中数据处理功能。因此,它比Map Reduce更快。它在Hadoop集群上运行。Spark没有其文件系统,并且使用Hadoop数据存储(HDFS)。

6、Apache Tez
Apache Tez是一个框架,用于创建用于批处理和数据处理的高性能应用程序。Apache Hadoop的YARN与之协作以提供用于编写批处理工作负载的应用程序的开发人员框架和API。

7、Apache Zookeeper
Apache Zookeeper是一种开放源代码集中式服务,用于实现大量主机的分布式协调。Zookeeper具有简单的API和体系结构,可帮助同步Hadoop集群。它具有一个客户端-服务器体系结构,可将公共对象保留在环境中。

8、Big Data
没有大数据,Hadoop词汇表仍未完成。它是大型数据集的集合,大小最大为PetaBytes(10 ^ 15 Bytes)。这些数据可以由社交网站,股票市场,电子商务站点等的用户生成。Hadoop通过对其分发系统进行适当的处理,存储和分析来管理此大数据。

9、Flume
Apache Flume是一种开源聚合服务,负责数据收集并将数据从源传输到目标。它是Web服务器,Twitter,Facebook,云等数据源与HBase和HDFS等数据存储之间的接口。这是一个高度可配置且可靠的工具。

10、 Hadoop Common
它是Hadoop的通用库,其中包含支持Hadoop环境中其他模块代码的通用实用工具罐。这些库和jar提供了文件系统所需的Java脚本和文件,以便在Hadoop中工作。

11、 HBase
Apache HBase是Hadoop的面向列的数据库,以可扩展的方式存储大数据。它是一个开放源数据模型,可提供对大量数据的随机访问。它类似于Google的Big table,并且建立在HDFS之上。
12、HCatalog
HCatalog是Hadoop层,用于管理表中的数据存储。它通过使用MapReduce,Pig等帮助用户轻松写入数据,并将Hive与此类Hadoop应用程序链接。它允许用户通过其分析平台轻松地跨不同工具共享数据。

13、 HDFS
Hadoop分布式文件系统是Hadoop的存储层。它是一个分布式文件系统,以分布式方式处理数据存储。在此体系结构系统中,具有守护程序名称节点的主节点和具有守护程序数据节点的从属节点用于文件系统。HDFS是用于数据管理的可扩展且可靠的文件系统。

14、Hue
Hue或Hadoop用户体验是一个Web图形用户界面,支持Apache Hadoop生态系统。Hue是一个开源平台,用于查询,创建和运行各种Hadoop作业。它包括与Hadoop各个部分(例如Oozie,Search App,Beeswax等)交互的不同应用程序。

15、Job Tracker
这是Hadoop中的一项服务,可帮助将MapReduce任务分发到群集中的特定节点。

16、 Mahout
Apache Mahout是用于数据挖掘的开源代数框架,可与具有简单编程模型的分布式环境一起使用。它主要用于创建机器学习算法,并实现其分类,聚类和推荐技术。

17、Map Reduce
Map Reduce是Hadoop术语中功能最强大的术语之一。它是一个并行编程模型,充当Hadoop中数据处理的一层。它将工作分为独立的任务集,并为Hadoop执行计算。该框架负责使用节点集群管理大量数据集。

18、NameNode
它是HDFS文件系统的核心。NameNode的任务是维护Hadoop集群上存储的所有处理文件的记录。

19、Sqoop
Sqoop是用于通过命令在Hadoop与关系数据库之间传输数据的接口应用程序。命令行界面有助于支持SQL查询并通过数据库保存作业。Sqoop帮助将数据从MySQL,Oracle或SQL Server传输到Hive或HDFS。

20、YARN
另一个资源协商器(YARN)是Hadoop资源管理层。Hadoop YARN负责通过有效分配,管理或释放资源来管理多节点集群中的资源。这些资源可以是磁盘,内存或处理器等,这些资源由为YARN中的主节点运行的Resource Manager守护程序管理。



总结
仅知道Hadoop术语是远远不够的,大数据行业正在迅速发展,工作机会与你的技术水平正相关,你还应该继续努力深造。

课程好礼申请领取
您的姓名
您的电话
意向课程
 

优越学院

官方QQ

扫描上方二维码或点击一键加群,免费领取价值599元网课,加群暗号:599。 一键加群

推荐阅读

优越学院:youyue-college

关注优越学院官方微信

  • 关注微信回复关键词“大礼包”,领80G学习资料
QQ交流群
领取免费网课
(加群备注“网站”)
IT培训交流群 加入群聊 +
软件测试 加入群聊 +
全链路UI/UE设计 加入群聊 +
Python+人工智能 加入群聊 +
Java开发 加入群聊 +
大前端 加入群聊 +
大数据 加入群聊 +
Linux云计算 加入群聊 +
优越学院官方微信
扫码回复关键词“大礼包”
领取80G学习资料