深入 Hadoop 安裝與設定：SSH 私有鑰匙設定與安裝（1）

在如圖 21 所示為 hdfs-site.xml 需加入的參數。該設定檔用於設置 HDFS。

圖 21 修改 hdfs-site.xml

由於一開始只有 mapred-site.xml.template，所以下達 cp mapred-site.xml.template mapred-site.xml 建立一個 mapred-site.xml。在如圖 22 所示為 mapred-site.xml 需加入的參數。該設定檔用於設置 MapReduce。

圖 22 修改 mapred-site.xml

在如圖 23 所示為 yarn-site.xml 需加入的參數。該設定檔用於設置 YARN。當 Hadoop 在 Master 完成設定後，在如圖 24 所示下達【cd /usr/local】命令進入 Hadoop 目錄，並且下達【tar -zcf ~/hadoop.master.tar.gz ./hadoop】命令將整個 Hadoop 文件夾壓縮，並下達【scp ~/Hadoop.master.tar.gz [email protected]/* */:~/】及【scp ~/hadoop.master.tar.gz [email protected]/* */:~/】命令透過 SSH 傳送至各 Slave。在如圖 25 所示在各 Slave 下達【sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local】命令將剛接收的 Hadoop 解壓縮至 /usr/local/，並下達【sudo chown -R hadoop:hadoop /usr/local/hadoop】命令將擁有人更改為 hadoop。

圖 23 修改 yarn-site.xml

圖 24 傳送 Master 設定檔

圖 25 更改設定檔名稱為 hadoop

之後，在各虛擬機的 ~/.bashrc 文件之中設置 Hadoop 系統環境變數，作用跟前面設定的 Java 環統境變數一樣。注意，由於這次要加入的內容較為多，所以不使用 sed 指令，而是直接打開 ~/.bashrc 作修改。修改完一定要輸入 source ~/.bashrc 指令使其生效。在如圖 26 所示加入 /.bashrc 的內容，並接著如圖 27 所示使用 source 命令生效。

圖 26 修改 .bashrc 內容

圖 27 source 命令生效

接下來，在如圖 28 所示，在 Master 下達【hdfs namenode –format】命令格式化 HDFS 節點。在如圖 29 所示，若 HDFS 節點格式化後的返回值是 0 表示成功，1 表示發生錯誤。最後，在如圖 30 所示，在 Master 下達【start-all.sh】命令啟動 Hadoop。如果大家想記錄 Hadoop 曾經執行過的程序，在如圖 31 所示下達【mr-jobhistory-daemon.sh start historyserver】命令。

圖 28 格式化 HDFS 節點

圖 29 返回值 0 表示成功

圖 30 啟動 Hadoop

圖 31 記錄 Hadoop 程序

若成功啟動 Hadoop 的話，在 Master 下達【jps】命令會看到如圖 32 所示的內容，Slave 則會看到如圖 33 所示的內容。在如圖 34 所示，在實體機瀏覽器開啟【192.168.93.40:50070】，點選【Datanodes】。如果看到 Slave 的 IP 地址，表示成功開啟 Hadoop。

圖 32 Master 的 jps 內容

圖 33 Slaver 的 jps 內容

圖 34 瀏覽 Datanodes Slave 位置

並接著如圖 35 所示再一次開啟瀏覽器，但這次開啟的是【192.168.93.40:8088】，大家就可以看到 Hadoop 的任務過程。如果大家需要關閉 Hadoop 和紀錄執行過的程序，分別如圖 23 和 24 所示下達【stop-all.sh】及【mr-jobhistory-daemon.sh stop historyserver】命令。

圖 35 瀏覽 Hadoop 過程

圖 36 關閉 Hadoop

圖 37 關閉 Hadoop 紀錄

在此已經完成 Hadoop 基本群體配置，接下來會運行 Hadoop 程式 Wordcount，其可以計算文字檔內字詞出現的次數，但局限於英文。

待續…

深入 Hadoop 大數據分析：請先由叢集中開始吧！
深入 Hadoop 大數據分析：初探網絡環境與設定
深入 Hadoop 安裝與設定：1.X 跟 2.X 版本最大分別是…？
深入 Hadoop 安裝與設定：SSH 私有鑰匙設定與安裝
深入 Hadoop 安裝與設定：SSH 私有鑰匙設定與安裝（1）