认识达内从这里开始

随着互联网的不断发展，越来越多的人都在学习大数据等互联网新兴技术，而本文我们就简单来了解一下，大数据入门基础知识分享。

1、解释“大数据”，大数据的五个V是什么?

“大数据”是大量复杂数据集的术语，这使得使用关系数据库管理工具或传统数据处理应用程序难以处理。捕获、管理、存储、搜索、共享、传输、分析和可视化大数据很困难。大数据已成为企业的机遇。现在，他们可以成功地从数据中获取价值，并且凭借增强的业务决策能力，将比竞争对手具有明显的优势。

卷：卷表示以指数速率增长的数据量，即以PB和Exabytes为单位。

速度：速度是指数据增长的速度，非常快。今天，昨天的数据被认为是旧数据。如今，社交媒体是数据增长速度的主要贡献者。

多样性：多样性是指数据类型的异质性。换句话说，收集到的数据有多种格式，如视频、音频、csv等。因此，这些不同的格式代表了数据的多样性。

真实性：真实性是指由于数据的不一致和不完整而对可用数据存疑或不确定的数据。可用数据有时会变得混乱并且可能难以信任。大数据形式多样，质量和准确性难以控制。数量往往是数据缺乏质量和准确性的原因。

价值：获得大数据固然很好，但除非我们能将其转化为价值，否则它毫无用处。通过将其转化为价值，我的意思是，它是否增加了组织的利益?致力于大数据的组织是否实现了高ROI(投资回报率)?除非它通过处理大数据来增加他们的利润，否则它是没有用的。

2、什么是Hadoop及其组件。

当“大数据”成为一个问题时，ApacheHadoop演变为它的解决方案。ApacheHadoop是一个框架，它为我们提供各种服务或工具来存储和处理大数据。它有助于分析大数据并从中做出业务决策，这是使用传统系统无法高效和有效地完成的。

存储单元——HDFS(NameNode、DataNode)

处理框架——YARN(ResourceManager、NodeManager)

3、什么是HDFS和YARN?

HDFS(Hadoop分布式文件系统)是Hadoop的存储单元。它负责在分布式环境中将不同类型的数据存储为块。它遵循主从拓扑。

NameNode：NameNode是分布式环境中的主节点，它维护存储在HDFS中的数据块的元数据信息，如块位置、复制因子等。

DataNode：DataNode是从节点，负责在HDFS中存储数据。NameNode管理所有的DataNode。

YARN(YetAnotherResourceNegotiator)是Hadoop中的处理框架，它管理资源并为进程提供执行环境。

ResourceManager：它接收处理请求，然后相应地将请求的部分传递给相应的NodeManager，在那里进行实际处理。它根据需要为应用程序分配资源。

NodeManager：NodeManager安装在每个DataNode上，负责在每个DataNode上执行任务。

4、告诉我各种Hadoop守护进程及其在Hadoop集群中的作用。

通常通过先解释HDFS守护程序，即NameNode、DataNode和辅助NameNode，然后转到YARN守护程序，即ResorceManager和NodeManager，后解释JobHistoryServer来解决这个问题。

NameNode：它是主节点，负责存储所有文件和目录的元数据。它有关于块的信息，它创建一个文件，以及这些块在集群中的位置。

Datanode：它是包含实际数据的从节点。

辅助NameNode：它会定期将更改(编辑日志)与NameNode中存在的FsImage(文件系统映像)合并。它将修改后的FsImage存储到持久化存储中，可以在NameNode失败的情况下使用。

ResourceManager：它是管理资源和调度运行在YARN之上的应用程序的中央机构。

NodeManager：它运行在从机上，负责启动应用程序的容器(应用程序在其中执行它们的部分)，监控它们的资源使用情况(CPU、内存、磁盘、网络)并将这些报告给ResourceManager。

JobHistoryServer：它在ApplicationMaster终止后维护有关MapReduce作业的信息。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。