尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【基础-配置文件】:hadoop配置文件作用概述ing
通过了解hadoop各配置文件的含义帮助理解job提交到yarn集群失败时的相关排查、以及job提交时相关配置参考。文章目录一、只读默认配置文件二、可配置文件1. core-site.xml2. hdfs-site.xml3. yarn-site.xml4. mapred-site.xmlHadoop 配置文件分两类默认配置文件和可配置文件一般可配置文件生效的优先级大于默认的配置文件。一、只读默认配置文件默认的配置文件存放在 Hadoop 的 jar 包中的位置[core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml [mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml二、可配置文件hadoop-env.sh 、 core-site.xml、hdfs-site.xml 、yarn-site.xml、mapred-site.xml主要的五个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上用户可以根据项目需求重新进行修改配置。配置说明hadoop-env.sh定义hadoop运行环境的相关配置比如JAVA_HOME环境变量、hadoop的JVM指定特定的选项、指定日志文件所在的目录路径、master和slave文件的位置等.core-site.xml定义系统级别的参数如HDFS URL、Hadoop的临时目录、用于rack-aware集群中的配置文件的配置等。优先级高于core-default.xml。hdfs-site.xmlHDFS的相关设定如文件副本的个数、块大小及是否使用强制权限等。优先级高于hdfs-default.xml。yarn-site.xmlYarn的相关配置mapred-site.xml如reduce任务的默认个数、任务所能够使用内存的默认上下限等;优先级高于mapred-default.xml注意Hadoop2.x和Hadoop3.x的自定义配置文件有一些改变Hadoop2.xcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slavesHadoop3.xcore-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers1. core-site.xml核心全局配置文件配置说明hadoop.tmp.dir其他临时目录的父目录属性会影响nn/snn中的元数据与datanode中的数据文件存放位置。见下面hdfs-site.xml中的描述。例子/usr/local/data/hadoop/tmpfs.defaultFS默认文件系统的名称。通常指定namenode的URI地址包括主机和端口例子hdfs://hadoop-alone:9000io.file.buffer.size在序列文件中使用的缓冲区大小是页大小例子4096ha.zookeeper.quorumzk集群数量是奇数且不少于三个节点hadoop1:2181,hadoop2:2181,hadoop3:21812. hdfs-site.xml配置说明dfs.replication副本数量。例子3dfs.blocksize块大小。例子268435456dfs.namenode.name.dir存放nn元数据fsimage目录如果是目录列表则用于冗余;例子file://${hadoop.tmp.dir}/dfs/namedfs.datanode.data.dirdn块目录如果是目录列表则数据将存储在所有命名的目录中通常存储在不同的设备上例子file://${hadoop.tmp.dir}/dfs/datadfs.namenode.http-addressnn服务器server0.0.0.0:50070dfs.namenode.secondary.http-addresssnn服务器server0.0.0.0:50090dfs.permissionsfalsedfs.permissions.enabledfalsedfs.nameserviceshdfs集群名字例子hadoop-cluster13. yarn-site.xml配置说明yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.addressRM对客户端暴露的地址客户端通过该地址向RM提交应用程序等${yarn.resourcemanager.hostname}:8032yarn.resourcemanager.scheduler.addressRM对AM暴露的地址AM通过地址向RM申请资源释放资源等${yarn.resourcemanager.hostname}:8030yarn.resourcemanager.webapp.addressRM对外暴露的web http地址用户可通过该地址在浏览器中查看集群信息${yarn.resourcemanager.hostname}:8088yarn.resourcemanager.webapp.https.addressweb https 地址${yarn.resourcemanager.hostname}:8090yarn.resourcemanager.resource-tracker.addressRM对NM暴露地址NM通过该地址向RM汇报心跳领取任务等${yarn.resourcemanager.hostname}:8031yarn.scheduler.minimum-allocation-mb可申请的最少内存资源以MB为单位例子1024yarn.scheduler.maximum-allocation-mb可申请的最大内存资源以MB为单位例子8192yarn.nodemanager.resource.memory-mbNM总的可用物理内存以MB为单位。一旦设置不可动态修改;例子8192yarn.nodemanager.resource.cpu-vcores可分配的CPU个数;例子8yarn.nodemanager.aux-servicesNodeManager上运行的附属服务。需配置成mapreduce_shuffle才可运行MapReduce程序。YARN 集群为 MapReduce 程序提供的 shuffle 服务例子mapreduce_shuffle4. mapred-site.xml配置说明mapreduce.framework.name配置资源调度框架;例子yarn
RELATED

相关推荐

【运维与安装】Hadoop 3.3.1 :Setting up a Single Node Cluster.

【运维与安装】Hadoop 3.3.1 :Setting up a Single Node Cluster.

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 18:15:37
工业SPI隔离实战:用数字隔离器MAX14431与PIC24HJ设计稳定通信链路

工业SPI隔离实战:用数字隔离器MAX14431与PIC24HJ设计稳定通信链路

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 18:10:36
基于MAX14431BAEE+与PIC18LF45K40的工业级隔离SPI通信链路设计与实现

基于MAX14431BAEE+与PIC18LF45K40的工业级隔离SPI通信链路设计与实现

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📅 2026/11/3 18:10:36
MORE NEWS

更多资讯

📰

如何抽取实体间的关系?GLiFormer Large v1 联合关系抽取实战教程

如何抽取实体间的关系?GLiFormer Large v1 联合关系抽取实战教程 【免费下载链接】gliformer-large-v1 项目地址: https://ai.gitcode.com/hf_mirrors/knowledgator/gliformer-large-v1 GLiFormer Large v1 是面向信息抽取的多任务大模型,支持联…

📰

OpenWhispr 语音转文字听写指南:如何用全局热键把说话直接变成文字

OpenWhispr 语音转文字听写指南:如何用全局热键把说话直接变成文字 【免费下载链接】openwhispr Voice-to-text dictation app with local (Nvidia Parakeet/Whisper) and cloud models (BYOK). Privacy-first and available cross-platform. 项目地址: https://g…

📰

26个数据集、91%的F1:GLiFormer Large v1基准评测数据全解读

人工智能NLP大模型 【免费下载链接】gliformer-large-v1 项目地址: https://ai.gitcode.com/hf_mirrors/knowledgator/gliformer-large-v1 点击查看 免费下载 GLiFormer Large v1 是一个 5.756 亿参数的开源多任务信息抽取模型:一个 DeBERTa 编码器同时…

📰

BiliBiliToolPro 部署教程:从本地一键命令到零维护云函数,5 种方式完整指南

BiliBiliToolPro 部署教程:从本地一键命令到零维护云函数,5 种方式完整指南 【免费下载链接】BiliBiliToolPro B 站(bilibili)自动任务工具,支持docker、青龙、k8s等多种部署方式。全面拥抱AI。敏感肌也能用。 项目地…

📰

Whisky:免费在Mac运行Windows程序的完整指南

Whisky:免费在Mac运行Windows程序的完整指南 【免费下载链接】Whisky A modern Wine wrapper for macOS built with SwiftUI 项目地址: https://gitcode.com/gh_mirrors/wh/Whisky Whisky 是一个用 SwiftUI 写的 macOS 原生 Wine 封装器,让你不碰…

📰

《经典机器学习实战》第 1 课:导论——是什么、简史、负责任 AI 与标准流程

本文收录于专栏 《经典机器学习实战》 摘要:从规则引擎的破产到机器学习的定义,一趟走完 AI 七十年简史、负责任 AI 六原则与七步标准流程。你将看到 13 维特征让手写规则彻底失效而逻辑回归拿到 98.1%,以及一个整体准确率 85% 的模型如何对少…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬