1、JDK安装对克隆的每一台机器都要安装JDK。1上传JDK安装包到hdp-01上。点击绿色小按钮将jdk的压缩包直接拖动到屏幕进行上传。注意我在这个过程当中遇到拖动不了的情况最终重启了下XShell解决。确认上传成功可以采用ls命令进行显示。2在hdp-01上安装JDK。首先对刚刚上传的压缩包进行命令解压。tar -zxvf ./jdk-8u211-linux-x64.tar -C /usr/local/src验证是否压缩成功可以使用ls命令显示。为了后续命令书写的方便使用mv命令对jdk1.8.0_211进行重命名重命名为jdk。3修改配置文件使用vi编辑器对/etc/profile文件进行修改。添加以下命令到配置文件尾部。export JAVA_HOME/usr/local/src/jdkexport PATH$PATH:$JAVA_HOME/bin每次修改完配置文件一定要记得source不然不会生效这步非常重要。source /etc/profile4使用scp拷贝整个JDK到hdp-02和hdp-03或者是其他机器。scp -r /usr/local/src/jdk roothdp-02:/usr/local/srcscp -r /usr/local/src/jdk roothdp-03:/usr/local/src这种只适合少数的节点的情况但是假如有成千上百个节点的时候我们又该怎么处理呢——采用脚本的形式。接下来编写shell进行分发编写脚本copy.sh内容如下大家可以发现在上述脚本中所拷贝的脚本并没有写死方便后续多种类型文件的复制。接下来进行分发执行sh ./copy.sh /usr/local/src /usr/local/src执行完成之后可以在hdp-02上进行验证查找是否复制成功。显示jdk表示复制成功。hdp-03同理进行验证。5使用scp拷贝整个配置文件到hdp-02和hdp-03或者是其他机器执行sh ./copy.sh /etc/profile /etc/profile这步操作很快就可以完成同样需要在其他机器上进行验证。强调一定要注意source重启配置文件让其生效。至此每个机器JDK安装完成。2、Hadoop全分布式安装1上传hadoop至hdp-01上同上面上传方式一致新建文件传输然后进行拖拽。2在hdp-01上进行hadoop的安装。解压。tar -zxvf ./hadoop-3.1.3.tar.gz -C /usr/local/src重命名。mv /usr/local/src/hadoop-3.1.3 /usr/local/src/hadoop方便后续命令的编写。3修改配置文件。vi /etc/profile在配置文件的末尾加上如下代码export HADOOP_HOME/usr/local/src/hadoopexport PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH修改完成以后一定要记得source /etc/profile保证配置文件能够生效。4查看hdp-01的hadoop是否安装成功。出现版本号即为成功。5接下来完成Hadoop分布式配置。hdp-02和hdp-03的hadoop安装进入到下面的目录里。接着对hadoop-env.sh进行修改。在vi编辑器里面使用:?JAVA_HOME查找要改动的位置接着进行编辑前面的#删除后面进行补充export JAVA_HOME/usr/local/src/jdk修改core-site.xml(全局参数) vi core-site.xml在尾部加上如下代码考虑在记事本中进行tab自动补齐不然粘贴到编辑器里面会有问题configurationpropertynamefs.defaultFS/namevaluehdfs://hdp-01:8020/value/property修改hdfs-site.xmlhdfs参数 vi hdfs-site.xmlconfigurationpropertynamedfs.namenode.name.dir/namevalue/usr/local/src/hadoop/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevalue/usr/local/src/hadoop/dfs/data/value/propertypropertynamedfs.namenode.secondary.http-address/namevaluehdp-02:9868/value/property/configuration继续修改workersvi workers添加hdp-02hdp-03以上配置文件都修改过以后进行拷贝将hadoop拷贝到其他机器。scp -r /usr/local/src/hadoop roothdp-02:/usr/local/srcscp -r /usr/local/src/hadoop roothdp-03:/usr/local/srcscp /etc/profile roothdp-02:/etc/profilescp /etc/profile roothdp-03:/etc/profile在每个机器上都执行下sourcesource /etc/profile确保hadoop安装成功。02、03上都可进行验证。至此Hadoop全分布式安装完成。3、Hadoop集群启动1在hdp-01上节点格式化。hdfs namenode -format注意只用在hdp-01上执行也就是在NameNode所在的节点上执行格式化成功的截图如下所示2在hdp-01上自动启动整个集群。编辑start-dfs.sh和stop-dfs.sh文件添加下列参数放在文件最前面。先使用cd切换到对应的目录下cd /usr/local/src/hadoop/sbin/再使用vi编辑器进行编辑。HDFS_DATANODE_USERrootHADOOP_SECURE_DN_USERhdfsHDFS_NAMENODE_USERrootHDFS_SECONDARYNAMENODE_USERroot分别对start-dfs.sh和stop-dfs.sh文件进行编辑修改。3编辑完成之后开始启动。使用start-dfs.sh启动启动之后使用jps查看节点。出现namenode和datanode节点说明启动成功要在dhp-02和dhp-03上 同步进行查看。4访问与之对应的Web页面。Hadoop2.X版本http://hdp-01:50070Hadoop3.X版本http://hdp-01:9870注意将hdp-01改为自己的网络地址出现页面即为成功。提示如果jps查到节点存在但是对应的web界面访问不了常见的问题是防火墙没关或者浏览器不支持换成谷歌浏览器、360浏览器试试。关闭Linux操作系统防火墙否则与之对应的web界面不能正常访问systemctl stop firewalld3个节点都关闭防火墙
1、JDK安装对克隆的每一台机器都要安装JDK。1上传JDK安装包到hdp-01上。点击绿色小按钮将jdk的压缩包直接拖动到屏幕进行上传。注意我在这个过程当中遇到拖动不了的情况最终重启了下XShell解决。确认上传成功可以采用ls命令进行显示。2在hdp-01上安装JDK。首先对刚刚上传的压缩包进行命令解压。tar -zxvf ./jdk-8u211-linux-x64.tar -C /usr/local/src验证是否压缩成功可以使用ls命令显示。为了后续命令书写的方便使用mv命令对jdk1.8.0_211进行重命名重命名为jdk。3修改配置文件使用vi编辑器对/etc/profile文件进行修改。添加以下命令到配置文件尾部。export JAVA_HOME/usr/local/src/jdkexport PATH$PATH:$JAVA_HOME/bin每次修改完配置文件一定要记得source不然不会生效这步非常重要。source /etc/profile4使用scp拷贝整个JDK到hdp-02和hdp-03或者是其他机器。scp -r /usr/local/src/jdk roothdp-02:/usr/local/srcscp -r /usr/local/src/jdk roothdp-03:/usr/local/src这种只适合少数的节点的情况但是假如有成千上百个节点的时候我们又该怎么处理呢——采用脚本的形式。接下来编写shell进行分发编写脚本copy.sh内容如下大家可以发现在上述脚本中所拷贝的脚本并没有写死方便后续多种类型文件的复制。接下来进行分发执行sh ./copy.sh /usr/local/src /usr/local/src执行完成之后可以在hdp-02上进行验证查找是否复制成功。显示jdk表示复制成功。hdp-03同理进行验证。5使用scp拷贝整个配置文件到hdp-02和hdp-03或者是其他机器执行sh ./copy.sh /etc/profile /etc/profile这步操作很快就可以完成同样需要在其他机器上进行验证。强调一定要注意source重启配置文件让其生效。至此每个机器JDK安装完成。2、Hadoop全分布式安装1上传hadoop至hdp-01上同上面上传方式一致新建文件传输然后进行拖拽。2在hdp-01上进行hadoop的安装。解压。tar -zxvf ./hadoop-3.1.3.tar.gz -C /usr/local/src重命名。mv /usr/local/src/hadoop-3.1.3 /usr/local/src/hadoop方便后续命令的编写。3修改配置文件。vi /etc/profile在配置文件的末尾加上如下代码export HADOOP_HOME/usr/local/src/hadoopexport PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH修改完成以后一定要记得source /etc/profile保证配置文件能够生效。4查看hdp-01的hadoop是否安装成功。出现版本号即为成功。5接下来完成Hadoop分布式配置。hdp-02和hdp-03的hadoop安装进入到下面的目录里。接着对hadoop-env.sh进行修改。在vi编辑器里面使用:?JAVA_HOME查找要改动的位置接着进行编辑前面的#删除后面进行补充export JAVA_HOME/usr/local/src/jdk修改core-site.xml(全局参数) vi core-site.xml在尾部加上如下代码考虑在记事本中进行tab自动补齐不然粘贴到编辑器里面会有问题configurationpropertynamefs.defaultFS/namevaluehdfs://hdp-01:8020/value/property修改hdfs-site.xmlhdfs参数 vi hdfs-site.xmlconfigurationpropertynamedfs.namenode.name.dir/namevalue/usr/local/src/hadoop/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevalue/usr/local/src/hadoop/dfs/data/value/propertypropertynamedfs.namenode.secondary.http-address/namevaluehdp-02:9868/value/property/configuration继续修改workersvi workers添加hdp-02hdp-03以上配置文件都修改过以后进行拷贝将hadoop拷贝到其他机器。scp -r /usr/local/src/hadoop roothdp-02:/usr/local/srcscp -r /usr/local/src/hadoop roothdp-03:/usr/local/srcscp /etc/profile roothdp-02:/etc/profilescp /etc/profile roothdp-03:/etc/profile在每个机器上都执行下sourcesource /etc/profile确保hadoop安装成功。02、03上都可进行验证。至此Hadoop全分布式安装完成。3、Hadoop集群启动1在hdp-01上节点格式化。hdfs namenode -format注意只用在hdp-01上执行也就是在NameNode所在的节点上执行格式化成功的截图如下所示2在hdp-01上自动启动整个集群。编辑start-dfs.sh和stop-dfs.sh文件添加下列参数放在文件最前面。先使用cd切换到对应的目录下cd /usr/local/src/hadoop/sbin/再使用vi编辑器进行编辑。HDFS_DATANODE_USERrootHADOOP_SECURE_DN_USERhdfsHDFS_NAMENODE_USERrootHDFS_SECONDARYNAMENODE_USERroot分别对start-dfs.sh和stop-dfs.sh文件进行编辑修改。3编辑完成之后开始启动。使用start-dfs.sh启动启动之后使用jps查看节点。出现namenode和datanode节点说明启动成功要在dhp-02和dhp-03上 同步进行查看。4访问与之对应的Web页面。Hadoop2.X版本http://hdp-01:50070Hadoop3.X版本http://hdp-01:9870注意将hdp-01改为自己的网络地址出现页面即为成功。提示如果jps查到节点存在但是对应的web界面访问不了常见的问题是防火墙没关或者浏览器不支持换成谷歌浏览器、360浏览器试试。关闭Linux操作系统防火墙否则与之对应的web界面不能正常访问systemctl stop firewalld3个节点都关闭防火墙
双梁正问题 【 torch 实战】（Python代码实现）)
