尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Flume1.11.0配置与简单使用(Java17环境)
Flume1.11.0默认Java8,如果系统环境为Java17,则额外需要配置Java8前置条件系统已经部署Java8和Java17,位置如下/usr/local/soft/jdk-17.0.1//usr/local/soft/jdk1.8.0_381/一、上传解压将apache-flume-1.11.0-bin.tar.gz软件包上传至/usr/local/soft文件夹下cd /usr/local/soft tar -zxvf apache-flume-1.11.0-bin.tar.gz二、添加系统环境变量编辑环境变量vi /etc/profile添加如下内容export FLUME_HOME/usr/local/soft/apache-flume-1.11.0-bin export PATH$PATH:$FLUME_HOME/bin使环境变量生效source /etc/profile三、修改Flume环境变量拷贝环境变量文件cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ cp flume-env.sh.template flume-env.sh添加内容export JAVA_HOME/usr/local/soft/jdk1.8.0_381编辑 flume-ng文件vi /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng前面添加一下内容JAVA_HOME/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS-Xms512m -Xmx2048m四、配置文件客户端(Source)收集信息拷贝配置文件cp flume-conf.properties.template flume-client.properties配置文件内容#分别指定agent的sourcessinks, channels的名称 名称可以自定义#分别指定agent的sourcessinks, channels的名称 名称可以自定义 a1.sources s1 a1.sinks k1 a1.channels c1 #配置目录scource a1.sources.s1.type spooldir a1.sources.s1.spoolDir /usr/local/data/logs/ a1.sources.s1.fileHeader true a1.sources.s1.channels c1 #配置sink a1.sinks.k1.type logger a1.sinks.k1.channel c1 #配置channel(内存做缓存) a1.channels.c1.type memory五、启动cd /usr/local/soft/apache-flume-1.11.0-bin/conf/ flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.loggerDEBUG,console其中-n:agent名称-c:配置文件路径conf-f:配置文件名称如果还是有错则直接指定JAVA_HOMEcd /usr/local/soft/apache-flume-1.11.0-bin/conf/ JAVA_HOME/usr/local/soft/jdk1.8.0_381 FLUME_JAVA_OPTS-Xms512m -Xmx2048m /usr/local/soft/apache-flume-1.11.0-bin/bin/flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.loggerINFO,console五、执行验证将一个文本文件放入到/usr/local/data/logs/文件夹下查看shell页面变化附集群拷贝scp -r /usr/local/soft/apache-flume-1.11.0-bin roothadoop101:/usr/local/soft scp -r /usr/local/soft/apache-flume-1.11.0-bin roothadoop102:/usr/local/soft scp /etc/profile roothadoop101:/etc/profile scp /etc/profile roothadoop102:/etc/profile
RELATED

相关推荐

如何5分钟快速激活Windows和Office:KMS智能激活完整指南

如何5分钟快速激活Windows和Office:KMS智能激活完整指南

如何5分钟快速激活Windows和Office:KMS智能激活完整指南 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为Windows系统激活烦恼吗?Office突然变成只读模式让你无法正…

📅 2026/10/9 0:31:03
基于SpringBoot与Vue框架的招聘系统及数据分析平台

基于SpringBoot与Vue框架的招聘系统及数据分析平台

课题背景 随着互联网技术的快速发展,企业招聘方式逐渐从传统的线下模式转向线上化、智能化。招聘系统作为连接求职者与企业的核心平台,需要具备高效、便捷、智能的特点。传统的招聘系统往往功能单一,仅提供简单的信息发布与简历投递功能&…

📅 2026/10/9 2:37:56
Cookiecutter Data Science:标准化数据科学项目骨架实战指南

Cookiecutter Data Science:标准化数据科学项目骨架实战指南

1. 项目概述:为什么一个模板能改变整个数据科学工作流?“Cookiecutter Data Science”这个名字乍一听像某种烘焙食谱——饼干数据科学?但如果你已经经历过三次以上从零搭建项目结构的痛苦,就会明白这五个单词背后藏着多少血泪。我…

📅 2026/10/8 6:35:03
MORE NEWS

更多资讯

📰

高县低压电工证千万别踩坑,考不过白交培训费怎么破?

高县低压电工证千万别踩坑,考不过白交培训费怎么破? 你是不是也担心,花了钱去考高县低压电工证,结果还是考不过,白白浪费了培训费?别急,这篇文章就帮你把坑踩得明明白白。 一、高县低压电工证到底能干啥?别被忽悠了…

📰

电工证安全注意事项:真实经历告诉你考证路上有哪些坑

电工证安全注意事项:真实经历告诉你考证路上有哪些坑 我上周刚帮一个洛阳涧西区的公路工程朋友考完低压电工证,他之前一直觉得“电工证安全注意事项”这些内容没什么用,直到真正上岗时被项目负责人拦下,说没有特种作业证不能操作。那一刻他才意识到,电工…

📰

西安哪里能办理电工证官方回应来了 外省证能转过来吗

西安哪里能办理电工证官方回应来了 外省证能转过来吗 之前考的证在外省能不能转过来?这是不少在西安打工的朋友最关心的问题。最近就有朋友问:“我在河南驻马店考的低压电工证,现在来西安打工,能不能直接用?”官方回应来了,答案是——…

📰

广丰区办理电工证复审多少钱?证书过期了不知道怎么复审延期

广丰区办理电工证复审多少钱?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?别慌,广丰区办理电工证复审其实并不难,但如果你不了解流程和标准,就可能白白浪费时间和金钱。尤其是复审费用和具体要求,很多学员都搞不清楚,导致复审失败或重…

📰

保定复审电工证去哪里 怎么报名才能少走弯路

保定复审电工证去哪里 怎么报名才能少走弯路 怕考不过白交培训费,你不是一个人。特别是像保定这种地方,电工证复审和报名流程复杂,很多人都踩过坑。今天就从 焦作项目现场管理员 的角度,聊聊 保定复审电工证去哪里 ,以及 怎么报名…

📰

沈阳建筑行业电工证多久拿证?工地太忙根本没时间复习考试怎么办?

沈阳建筑行业电工证多久拿证?工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,是不是你的真实写照?尤其是在沈阳建筑行业,电工证几乎是每个项目必不可少的“入场券”,但很多电工因为工作节奏快、时间紧张,根本抽不出空来备考,甚至不知…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬