在如圖 21 所示為 hdfs-site.xml 需加入的參數。該設定檔用於設置 HDFS。



圖 21 修改 hdfs-site.xml

由於一開始只有 mapred-site.xml.template,所以下達 cp mapred-site.xml.template mapred-site.xml 建立一個 mapred-site.xml。在如圖 22 所示為 mapred-site.xml 需加入的參數。該設定檔用於設置 MapReduce。




圖 22 修改 mapred-site.xml

在如圖 23 所示為 yarn-site.xml 需加入的參數。該設定檔用於設置 YARN。當 Hadoop 在 Master 完成設定後,在如圖 24 所示下達【cd /usr/local】命令進入 Hadoop 目錄,並且下達【tar -zcf ~/hadoop.master.tar.gz ./hadoop】命令將整個 Hadoop 文件夾壓縮,並下達【scp ~/Hadoop.master.tar.gz [email protected]/* */:~/】及【scp ~/hadoop.master.tar.gz [email protected]/* */:~/】命令透過 SSH 傳送至各 Slave。在如圖 25 所示在各 Slave 下達【sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local】命令將剛接收的 Hadoop 解壓縮至 /usr/local/,並下達【sudo chown -R hadoop:hadoop /usr/local/hadoop】命令將擁有人更改為 hadoop。




圖 23 修改 yarn-site.xml




圖 24 傳送 Master 設定檔




圖 25 更改設定檔名稱為 hadoop

之後,在各虛擬機的 ~/.bashrc 文件之中設置 Hadoop 系統環境變數,作用跟前面設定的 Java 環統境變數一樣。注意,由於這次要加入的內容較為多,所以不使用 sed 指令,而是直接打開 ~/.bashrc 作修改。修改完一定要輸入 source ~/.bashrc 指令使其生效。在如圖 26 所示加入 /.bashrc 的內容,並接著如圖 27 所示使用 source 命令生效。




圖 26 修改 .bashrc 內容




圖 27 source 命令生效

接下來,在如圖 28 所示,在 Master 下達【hdfs namenode –format】命令格式化 HDFS 節點。在如圖 29 所示,若 HDFS 節點格式化後的返回值是 0 表示成功,1 表示發生錯誤。最後,在如圖 30 所示,在 Master 下達【start-all.sh】命令啟動 Hadoop。如果大家想記錄 Hadoop 曾經執行過的程序,在如圖 31 所示下達【mr-jobhistory-daemon.sh start historyserver】命令。




圖 28 格式化 HDFS 節點




圖 29 返回值 0 表示成功




圖 30 啟動 Hadoop




圖 31 記錄 Hadoop 程序

若成功啟動 Hadoop 的話,在 Master 下達【jps】命令會看到如圖 32 所示的內容,Slave 則會看到如圖 33 所示的內容。在如圖 34 所示,在實體機瀏覽器開啟【192.168.93.40:50070】,點選【Datanodes】。如果看到 Slave 的 IP 地址,表示成功開啟 Hadoop。




圖 32 Master 的 jps 內容




圖 33 Slaver 的 jps 內容




圖 34 瀏覽 Datanodes Slave 位置

並接著如圖 35 所示再一次開啟瀏覽器,但這次開啟的是【192.168.93.40:8088】,大家就可以看到 Hadoop 的任務過程。如果大家需要關閉 Hadoop 和紀錄執行過的程序,分別如圖 23 和 24 所示下達【stop-all.sh】及【mr-jobhistory-daemon.sh stop historyserver】命令。




圖 35 瀏覽 Hadoop 過程




圖 36 關閉 Hadoop




圖 37 關閉 Hadoop 紀錄

在此已經完成 Hadoop 基本群體配置,接下來會運行 Hadoop 程式 Wordcount,其可以計算文字檔內字詞出現的次數,但局限於英文。

待續…

深入 Hadoop 大數據分析:請先由叢集中開始吧!
深入 Hadoop 大數據分析:初探網絡環境與設定
深入 Hadoop 安裝與設定:1.X 跟 2.X 版本最大分別是…?
深入 Hadoop 安裝與設定:SSH 私有鑰匙設定與安裝
深入 Hadoop 安裝與設定:SSH 私有鑰匙設定與安裝(1)

 


 深入 Hadoop 安裝與設定:SSH 私有鑰匙設定與安裝(1)

 https://www.facebook.com/hkitblog