使用版本为2.7.2

1 安装配置

java ssh 必须安装

2 修改host 均要修改

3 ssh配置各slave节点 与 master节点免密码登录

1.配置SSH 免密码登录

• master上设置
• cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
• rm ./id_rsa* # 删除之前生成的公匙（如果有）
• ssh-keygen -t rsa # 一直按回车就可以

2.让Master节点需能无密码SSH本机

• 在 Master 节点上执行：
• cat ./id_rsa.pub >> ./authorized_keys
• 修改authorized_keys权限 chmod 600 ~/.ssh/authorized_keys

3.slave免密码登录master

• 复制公钥 master上操作 scp ~/.ssh/id_rsa.pub :~/.ssh
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• chmod 600 ~/.ssh/authorized_keys

参考:

4 hadoop安装

1.解压下载hadoop文件

2.在master本地文件系统创建以下文件夹：

hadoop/dfs/name hadoop/dfs/data hadoop/tmp

3.配置文件

core-site.xml

        
     
      hadoop.tmp.dir
         
     
      file:/usr/hadoop/tmp
         
     
      Abase forother temporary directories.
     
    

这里是hadoop的临时文件目录，file的含义是使用本地目录。也就是使用的是Linux的目录，一定确保下面目录

hdfs-site.xml

        
     
      dfs.namenode.name.dir
         
     
      file:/usr/hadoop/dfs/name
     
    
        
     
      dfs.datanode.data.dir
         
     
      file:/usr/hadoop/dfs/data
     
    

这里要涉及到的配置文件有7个：

/hadoop/etc/hadoop/hadoop-env.sh（添加java路径）

/hadoop/etc/hadoop/yarn-env.sh（添加java路径）

/hadoop/etc/hadoop/slaves (添加节点)

/hadoop/etc/hadoop/core-site.xml

/hadoop/etc/hadoop/hdfs-site.xml

/hadoop/etc/hadoop/mapred-site.xml

/hadoop/etc/hadoop/yarn-site.xml

4.复制到其他node

5.启动

hadoop/bin 下 hadoop namenode -format 格式化hdfs

hadoop/sbin 下 start-all.sh

参考:

参考:

参考:

经常使用的linux命令

sudo chown -R username:group filename 改变文件所属 sudo scp -r /usr/hadoop app@slave1:~/ 复制文件到其他节点