Hadoop分布式平台搭建（2）-北京尧图网络

1、JDK安装对克隆的每一台机器都要安装JDK。1上传JDK安装包到hdp-01上。点击绿色小按钮将jdk的压缩包直接拖动到屏幕进行上传。注意我在这个过程当中遇到拖动不了的情况最终重启了下XShell解决。确认上传成功可以采用ls命令进行显示。2在hdp-01上安装JDK。首先对刚刚上传的压缩包进行命令解压。tar -zxvf ./jdk-8u211-linux-x64.tar -C /usr/local/src验证是否压缩成功可以使用ls命令显示。为了后续命令书写的方便使用mv命令对jdk1.8.0_211进行重命名重命名为jdk。3修改配置文件使用vi编辑器对/etc/profile文件进行修改。添加以下命令到配置文件尾部。export JAVA_HOME/usr/local/src/jdkexport PATH$PATH:$JAVA_HOME/bin每次修改完配置文件一定要记得source不然不会生效这步非常重要。source /etc/profile4使用scp拷贝整个JDK到hdp-02和hdp-03或者是其他机器。scp -r /usr/local/src/jdk roothdp-02:/usr/local/srcscp -r /usr/local/src/jdk roothdp-03:/usr/local/src这种只适合少数的节点的情况但是假如有成千上百个节点的时候我们又该怎么处理呢——采用脚本的形式。接下来编写shell进行分发编写脚本copy.sh内容如下大家可以发现在上述脚本中所拷贝的脚本并没有写死方便后续多种类型文件的复制。接下来进行分发执行sh ./copy.sh /usr/local/src /usr/local/src执行完成之后可以在hdp-02上进行验证查找是否复制成功。显示jdk表示复制成功。hdp-03同理进行验证。5使用scp拷贝整个配置文件到hdp-02和hdp-03或者是其他机器执行sh ./copy.sh /etc/profile /etc/profile这步操作很快就可以完成同样需要在其他机器上进行验证。强调一定要注意source重启配置文件让其生效。至此每个机器JDK安装完成。2、Hadoop全分布式安装1上传hadoop至hdp-01上同上面上传方式一致新建文件传输然后进行拖拽。2在hdp-01上进行hadoop的安装。解压。tar -zxvf ./hadoop-3.1.3.tar.gz -C /usr/local/src重命名。mv /usr/local/src/hadoop-3.1.3 /usr/local/src/hadoop方便后续命令的编写。3修改配置文件。vi /etc/profile在配置文件的末尾加上如下代码export HADOOP_HOME/usr/local/src/hadoopexport PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH修改完成以后一定要记得source /etc/profile保证配置文件能够生效。4查看hdp-01的hadoop是否安装成功。出现版本号即为成功。5接下来完成Hadoop分布式配置。hdp-02和hdp-03的hadoop安装进入到下面的目录里。接着对hadoop-env.sh进行修改。在vi编辑器里面使用:?JAVA_HOME查找要改动的位置接着进行编辑前面的#删除后面进行补充export JAVA_HOME/usr/local/src/jdk修改core-site.xml(全局参数) vi core-site.xml在尾部加上如下代码考虑在记事本中进行tab自动补齐不然粘贴到编辑器里面会有问题configurationpropertynamefs.defaultFS/namevaluehdfs://hdp-01:8020/value/property修改hdfs-site.xmlhdfs参数 vi hdfs-site.xmlconfigurationpropertynamedfs.namenode.name.dir/namevalue/usr/local/src/hadoop/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevalue/usr/local/src/hadoop/dfs/data/value/propertypropertynamedfs.namenode.secondary.http-address/namevaluehdp-02:9868/value/property/configuration继续修改workersvi workers添加hdp-02hdp-03以上配置文件都修改过以后进行拷贝将hadoop拷贝到其他机器。scp -r /usr/local/src/hadoop roothdp-02:/usr/local/srcscp -r /usr/local/src/hadoop roothdp-03:/usr/local/srcscp /etc/profile roothdp-02:/etc/profilescp /etc/profile roothdp-03:/etc/profile在每个机器上都执行下sourcesource /etc/profile确保hadoop安装成功。02、03上都可进行验证。至此Hadoop全分布式安装完成。3、Hadoop集群启动1在hdp-01上节点格式化。hdfs namenode -format注意只用在hdp-01上执行也就是在NameNode所在的节点上执行格式化成功的截图如下所示2在hdp-01上自动启动整个集群。编辑start-dfs.sh和stop-dfs.sh文件添加下列参数放在文件最前面。先使用cd切换到对应的目录下cd /usr/local/src/hadoop/sbin/再使用vi编辑器进行编辑。HDFS_DATANODE_USERrootHADOOP_SECURE_DN_USERhdfsHDFS_NAMENODE_USERrootHDFS_SECONDARYNAMENODE_USERroot分别对start-dfs.sh和stop-dfs.sh文件进行编辑修改。3编辑完成之后开始启动。使用start-dfs.sh启动启动之后使用jps查看节点。出现namenode和datanode节点说明启动成功要在dhp-02和dhp-03上同步进行查看。4访问与之对应的Web页面。Hadoop2.X版本http://hdp-01:50070Hadoop3.X版本http://hdp-01:9870注意将hdp-01改为自己的网络地址出现页面即为成功。提示如果jps查到节点存在但是对应的web界面访问不了常见的问题是防火墙没关或者浏览器不支持换成谷歌浏览器、360浏览器试试。关闭Linux操作系统防火墙否则与之对应的web界面不能正常访问systemctl stop firewalld3个节点都关闭防火墙

Hadoop分布式平台搭建（2）

相关推荐

GPT-5.6在Amazon Bedrock的部署优化与多模型选型策略

基于Multisim的低频信号发生与处理系统电路设计实战

C++工程师简历撰写指南：从技术栈到项目经历的全方位优化

更多资讯

PyTorch Static Runtime 静态运行时：面向 CPU 推理的 TorchScript 优化执行引擎

Matlab实现CNN-LSTM组合模型用于时间序列回归预测的完整流程

Ente Paste 一次性加密文本分享实战指南：从创建、分享到打开完整流程

【口算王｜12】HarmonyOS ArkTS 启动页实战：处理 Splash 到训练首页的稳定切换

Repomix 使用指南：从目录打包到远程仓库与 Token 优化的一站式实战

GPT-Image2 实战：用模板变量一次跑出一百张电商主图

今日更新

Linux 内核 ARM 虚拟内存布局全解析：从 4GB 地址空间划分到源码级验证

AIGC降重工具测评与教育应用指南

数据容灾核心指标与实战方案解析

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？