Apache DolphinScheduler MapReduce 任务节点实战指南：从 WordCount 到生产环境配置-北京尧图网络

Apache DolphinScheduler MapReduce 任务节点实战指南从 WordCount 到生产环境配置【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/GitHub_Trending/dol/dolphinscheduler导读MapReduceMR任务节点是 Apache DolphinScheduler 内置的批处理任务类型之一用于在调度工作流Workflow中直接执行 Hadoop MapReduce 程序。本指南围绕官方文档 map-reduce.md 展开完整介绍 MR 节点的创建方式、JAVA/SCALA 与 Python 三种程序类型的全部参数并给出 WordCount 从环境配置、Jar 上传到节点配置的完整实操流程。读完本文你将掌握 MR 节点的参数语义、底层命令组装原理并能在生产环境中正确配置 Hadoop 环境与资源中心跑通第一个 MapReduce 调度任务。1. MR 节点概述worker 如何提交一个 MapReduce 程序MapReduce 任务是 DolphinScheduler 中的一种批处理任务类型用于执行 MapReduce 程序。其执行机制非常直接worker 节点通过 Hadoop 命令hadoop jar提交任务最终在 YARN 上以 MapReduce 作业的形式运行。这一行为在源码中有明确体现。在 MapReduceTask.java 中任务脚本的组装命令为MAPREDUCE_COMMAND即 Hadoop 命令最终生成的命令格式为hadoop jar jar [mainClass] [GENERIC_OPTIONS] args...其中hadoop jar是 Hadoop 官方的 Jar 执行命令其完整语义可参考 Hadoop 命令手册Commands Manual中的jar一节jar是主程序包在 worker 本地或资源中心的绝对路径[mainClass]是 Main 类的全限定名[GENERIC_OPTIONS]包括-D、-files、-libjars、-archives等通用选项args...是传给程序 Main 方法的命令行参数。MR 任务以插件形式注册进任务引擎MapReduceTaskChannelFactory通过AutoService(TaskChannelFactory.class)注册其getName()返回MR见 MapReduceTaskChannelFactory.javaUI 侧的任务类型别名同样为MapReduce见 task-type.ts。提示MR 节点依赖 Hadoop 客户端环境。在使用前需要确保 worker 节点上已正确安装并配置 Hadoop且环境变量能被 DolphinScheduler 识别。2. 创建 MapReduce 任务节点在 DolphinScheduler 前端页面中创建 MR 节点的步骤如下进入项目管理Project Management→ 项目名称 → 工作流定义Workflow Definition点击创建工作流Create Workflow按钮进入 DAG 编辑页面从左侧工具栏中拖拽 MapReduceMR图标到画布上。工具栏中的 MR 图标对应仓库图片docs/img/tasks/icons/mr.png该图标资源被 DAG 编辑页与工作流树状视图引用参见 dag.module.scss 与 tree/index.tsx 中taskType: MR的映射。拖入画布后即可在右侧面板配置任务参数。3. 任务参数详解MR 节点的参数分为通用默认参数与MR 专属参数两部分。通用部分任务名称、运行标志、任务优先级、Worker 分组、失败重试、超时告警、前置任务等请参考 DolphinScheduler 任务参数附录中的Default Task Parameters默认任务参数一节。MR 专属参数中Custom parameters / 自定义参数的作用是作为 MR 任务的局部用户自定义参数会将脚本中以${variable}形式出现的占位内容替换为对应值。3.1 JAVA 或 SCALA 程序参数参数说明程序类型Program type选择 JAVA 或 SCALA 程序。主函数的类The class of the main functionMain Class 的全路径全限定名即 MapReduce 程序的入口类。主 Jar 包Main jar packageMapReduce 程序的主 Jar 包。任务名称Task nameMapReduce 任务名称。Yarn 队列Yarn queue用于设置 YARN 队列默认使用default队列。命令行参数Command line parameters设置传入 MapReduce 程序的输入参数支持自定义参数变量的替换。其他参数Other parameters支持-D、-files、-libjars、-archives格式。自定义参数User-defined parameterMR 任务局部自定义参数将替换脚本中${variable}的内容。参数对应的 Java 模型定义在 MapReduceParameters.java 中字段与表单一一对应mainJar主 Jar、mainClass主类、mainArgs命令行参数、others其他参数、appName任务名称、yarnQueueYARN 队列、programType程序类型。其参数校验规则为主 Jar 包与程序类型两者都必须非空否则任务初始化会直接失败Override public boolean checkParameters() { return this.mainJar ! null this.programType ! null; }程序类型是一个三值枚举JAVA、SCALA、PYTHON见 ProgramType.java。UI 表单创建节点时的默认程序类型为SCALA见 use-mr.ts。3.2 Python 程序参数参数说明程序类型Program type选择 Python 语言。主 Jar 包Main jar package用于运行 MapReduce 的 Python Jar 包即 Hadoop Streaming 使用的 Hadoop Streaming Jar。其他参数Other parameters支持-D、-mapper、-reducer、-input、-output等格式并可引用自定义参数变量。例如-mapper mapper.py 1-file mapper.py-reducer reducer.py-file reducer.py–input /journey/words.txt-output /journey/out/mr/${currentTimeMillis}-mapper后面的mapper.py 1是两个参数第一个参数是mapper.pyMapper 脚本第二个参数是1传给脚本的普通参数。自定义参数User-defined parameterMR 任务局部自定义参数将替换脚本中${variable}的内容。3.3 参数替换与命令组装源码视角了解参数如何被消费能帮助你更准确地填写表单。在 MapReduceTask.java 的init()阶段任务会完成两件事将任务参数 JSON 反序列化为MapReduceParameters并执行checkParameters()校验调用ParameterUtils.convertParameterPlaceholders对mainArgs所有程序类型以及others仅 Python 类型做参数占位符替换将${variable}替换为本地/全局自定义参数的实际值。命令的最终组装发生在MapReduceArgsUtils.buildArgs()见 MapReduceArgsUtils.java其组装顺序为-jar 主 Jar 包在 worker 本地的绝对路径通过资源上下文ResourceContext解析若程序类型非 Python 且主类非空追加主类全限定名若填写了任务名称appName追加-D mapreduce.job.name任务名称若others为空或不包含mapreduce.job.queuename则追加-D mapreduce.job.queuenameyarnQueue队列默认值为default追加others中用户填写的-conf、-archives、-files、-libjars、-D等内容最后追加mainArgs命令行参数。其中mapreduce.job.name与mapreduce.job.queuename两个常量定义在 MapReduceTaskConstants.java 中。理解这一点后你会发现表单中的“Yarn 队列”最终就是通过-D mapreduce.job.queuenamexxx注入 Hadoop 命令的而“任务名称”则对应mapreduce.job.name。4. 实战示例执行 WordCount 程序WordCount词频统计是 MapReduce 最经典的入门程序用于统计输入文本中相同单词的出现次数。下面以它为例走通 MR 节点从环境配置到任务运行的完整链路。4.1 在 DolphinScheduler 中配置 MapReduce 环境如果在生产环境中使用 MR 任务类型必须先配置运行所需的 Hadoop 环境。配置文件为bin/env/dolphinscheduler_env.sh对应仓库中的dolphinscheduler-dist发行包内环境脚本需要确保HADOOP_HOME与HADOOP_CONF_DIR指向 worker 节点上正确的 Hadoop 安装目录与配置目录PATH中包含$HADOOP_HOME/bin使hadoop命令可被直接执行因为 MR 节点最终调用的是hadoop jar若 HDFS/YARN 为 HA 或 Kerberos 环境还需在配置中同步补齐对应的安全与高可用设置。配置完成且 Worker 重启生效后MR 节点才能正确拉起 Hadoop 客户端提交作业。4.2 上传主程序包Jar使用 MR 任务节点时需要借助 DolphinScheduler 的**资源中心Resource Centre**上传用于执行的 Jar 包具体操作参考资源中心配置。资源中心配置完成后可直接将目标文件如wordcount.jar拖拽到资源中心完成上传。上传后资源中心会生成对应的资源 ID 与资源路径稍后在 MR 节点的“主 Jar 包”参数中选择该资源即可。4.3 配置 MapReduce 节点并运行参照上文“任务参数详解”中的说明在 DAG 画布上配置 WordCount 节点关键配置示例如下程序类型JAVA或 SCALA主函数的类org.apache.hadoop.examples.WordCountWordCount 的 Main 类全限定名请以你的实际 Jar 为准主 Jar 包选择 4.2 步骤中上传的wordcount.jar资源任务名称如WordCount-DemoYarn 队列保持默认default或填写你环境中实际存在的队列名命令行参数填写-input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}输入为 HDFS 上的文本文件输出目录建议使用${currentTimeMillis}这类动态参数避免多次运行冲突同时验证自定义参数替换能力其他参数如无特殊需要可留空或按需填写-D、-files、-libjars、-archives格式的附加项。保存工作流并上线后即可手动运行或按调度周期触发。任务运行时worker 会组装出类似下面的命令并提交到 YARNhadoop jar /path/to/wordcount.jar org.apache.hadoop.examples.WordCount -D mapreduce.job.nameWordCount-Demo -D mapreduce.job.queuenamedefault -input /journey/words.txt -output /journey/out/mr/1699999999999运行结果可以在任务实例的日志中查看包括 Map/Reduce 进度、计数器以及最终输出文件。4.4 运行失败的常见排查点hadoop: command not foundworker 节点的dolphinscheduler_env.sh未正确配置 Hadoop 环境变量ClassNotFoundException 或找不到主类主函数的类填写了不带包名的类名或主 Jar 未包含该 Main 类输出目录已存在HDFS 上目标输出路径已存在导致任务失败可通过动态参数如${currentTimeMillis}或每次更换输出路径解决YARN 队列不存在填写的Yarn 队列与集群实际队列不一致资源找不到主 Jar 包未通过资源中心上传或在任务执行前被删除/变更。5. 扩展阅读与相关资源默认任务参数说明任务参数附录资源中心使用资源中心配置MR 任务插件实现源码dolphinscheduler-task-mrMR 节点前端表单实现use-mr.ts发行包环境脚本dolphinscheduler-dist/src/main目录下的环境配置对应部署后的bin/env/dolphinscheduler_env.sh小结MapReduce 节点让 DolphinScheduler 能够以可视化、可编排、可调度、可告警的方式运行传统 Hadoop MapReduce 作业JAVA/SCALA 程序通过hadoop jar jar [mainClass] ...直接提交Python 程序则借助-mapper、-reducer、-input、-output等 Hadoop Streaming 参数运行-D mapreduce.job.name与-D mapreduce.job.queuename分别承载任务名称与 YARN 队列${variable}自定义参数则由任务引擎在初始化阶段完成替换。掌握参数语义与底层命令组装规则后你便可以在生产环境的地中海调度平台中稳定地托管各类 MapReduce 批处理任务。【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/GitHub_Trending/dol/dolphinscheduler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

Apache DolphinScheduler MapReduce 任务节点实战指南：从 WordCount 到生产环境配置

相关推荐

猫抓：免费浏览器资源嗅探插件从入门到实战

LifeOS 健康现状建模实战：用 status 行声明 CURRENT_STATE/HEALTH.md 并驱动真实覆盖率与差距分析

Syft 缓存机制深度指南：从全局 Manager 到类型安全 Resolver 的完整实践

更多资讯

BLE蓝牙胎压监测方案：从选型到广播数据解析实战

DataHub Rest Emitter 深度指南：通过 REST 协议向 DataHub 推送元数据的完整实战

Tabby 终端工具完整指南：本地 Shell、SSH 与串口调试一站搞定

企业级大模型应用：核心价值与落地实践

Encore 中如何接收常规 HTTP 请求：Raw Endpoints 完整实战指南

用 jemalloc mallctl 看进程内存的真相

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？