尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Flume1.11.0配置与简单使用(Java17环境)
Flume1.11.0默认Java8,如果系统环境为Java17,则额外需要配置Java8前置条件系统已经部署Java8和Java17,位置如下/usr/local/soft/jdk-17.0.1//usr/local/soft/jdk1.8.0_381/一、上传解压将apache-flume-1.11.0-bin.tar.gz软件包上传至/usr/local/soft文件夹下cd /usr/local/soft tar -zxvf apache-flume-1.11.0-bin.tar.gz二、添加系统环境变量编辑环境变量vi /etc/profile添加如下内容export FLUME_HOME/usr/local/soft/apache-flume-1.11.0-bin export PATH$PATH:$FLUME_HOME/bin使环境变量生效source /etc/profile三、修改Flume环境变量拷贝环境变量文件cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ cp flume-env.sh.template flume-env.sh添加内容export JAVA_HOME/usr/local/soft/jdk1.8.0_381编辑 flume-ng文件vi /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng前面添加一下内容JAVA_HOME/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS-Xms512m -Xmx2048m四、配置文件客户端(Source)收集信息拷贝配置文件cp flume-conf.properties.template flume-client.properties配置文件内容#分别指定agent的sourcessinks, channels的名称 名称可以自定义#分别指定agent的sourcessinks, channels的名称 名称可以自定义 a1.sources s1 a1.sinks k1 a1.channels c1 #配置目录scource a1.sources.s1.type spooldir a1.sources.s1.spoolDir /usr/local/data/logs/ a1.sources.s1.fileHeader true a1.sources.s1.channels c1 #配置sink a1.sinks.k1.type logger a1.sinks.k1.channel c1 #配置channel(内存做缓存) a1.channels.c1.type memory五、启动cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.loggerDEBUG,console其中-n:agent名称-c:配置文件路径conf-f:配置文件名称如果还是有错则直接指定JAVA_HOMEcd /usr/local/soft/apache-flume-1.11.0-bin/conf/ JAVA_HOME/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS-Xms512m -Xmx2048m /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.loggerINFO,console五、执行验证将一个文本文件放入到/usr/local/data/logs/文件夹下查看shell页面变化附集群拷贝scp -r /usr/local/soft/apache-flume-1.11.0-bin roothadoop101:/usr/local/soft scp -r /usr/local/soft/apache-flume-1.11.0-bin roothadoop102:/usr/local/soft scp /etc/profile roothadoop101:/etc/profile scp /etc/profile roothadoop102:/etc/profile
RELATED

相关推荐

如何5分钟快速激活Windows和Office:KMS智能激活完整指南

如何5分钟快速激活Windows和Office:KMS智能激活完整指南

如何5分钟快速激活Windows和Office:KMS智能激活完整指南 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为Windows系统激活烦恼吗?Office突然变成只读模式让你无法正…

📅 2026/8/23 17:22:03
基于SpringBoot与Vue框架的招聘系统及数据分析平台

基于SpringBoot与Vue框架的招聘系统及数据分析平台

课题背景 随着互联网技术的快速发展,企业招聘方式逐渐从传统的线下模式转向线上化、智能化。招聘系统作为连接求职者与企业的核心平台,需要具备高效、便捷、智能的特点。传统的招聘系统往往功能单一,仅提供简单的信息发布与简历投递功能&…

📅 2026/8/23 17:22:03
Cookiecutter Data Science:标准化数据科学项目骨架实战指南

Cookiecutter Data Science:标准化数据科学项目骨架实战指南

1. 项目概述:为什么一个模板能改变整个数据科学工作流?“Cookiecutter Data Science”这个名字乍一听像某种烘焙食谱——饼干数据科学?但如果你已经经历过三次以上从零搭建项目结构的痛苦,就会明白这五个单词背后藏着多少血泪。我…

📅 2026/8/23 17:22:03
MORE NEWS

更多资讯

📰

MATLAB判决反馈均衡器仿真:从LMS自适应到CMA盲均衡的原理与实现

简介:面向数字通信与信号处理方向的 MATLAB 判决反馈均衡(DFE)仿真程序,适合通信工程学生、算法工程师及对高速信道均衡技术感兴趣的开发者,用于理解前向均衡与反馈均衡协同消除码间干扰的过程。压缩包共75个文件&…

📰

基于Apriori关联规则的中医证型挖掘与ECharts可视化系统设计

简介:这套乳腺癌中医证型关联分析与可视化系统毕业设计源码包,面向计算机相关专业的在校学生、教师及企业开发者,尤其适合作为毕业设计、课程设计或项目立项演示的基础,也便于基础较好的开发者在此基础上扩展新功能。资源整体约1.…

📰

D2 v0.7.1 更新全解析:ASCII 渲染、cross 箭头与 CLI 字体定制实战指南

D2 v0.7.1 更新全解析:ASCII 渲染、cross 箭头与 CLI 字体定制实战指南 【免费下载链接】d2 D2 is a modern diagram scripting language that turns text to diagrams. 项目地址: https://gitcode.com/GitHub_Trending/d2/d2 本文基于 v0.7.1 变更日志&…

📰

K8s如何让CodeX真正7×24小时稳定运行

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

FastAPI 依赖注入进阶:使用 yield 编写带清理逻辑的依赖(Dependencies with yield)

FastAPI 依赖注入进阶:使用 yield 编写带清理逻辑的依赖(Dependencies with yield) 【免费下载链接】fastapi FastAPI framework, high performance, easy to learn, fast to code, ready for production 项目地址: https://gitcode.com/Gi…

📰

tldraw Sync 深度指南:用 @tldraw/sync-core 构建实时协作画布应用

tldraw Sync 深度指南:用 tldraw/sync-core 构建实时协作画布应用 【免费下载链接】tldraw Build infinite canvas apps in React with the tldraw SDK. Worlds best, top-most agent recommended #1 five star SDK. 项目地址: https://gitcode.com/GitHub_Trendi…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬