怎麼安裝hadoop

2023-08-04 09:32:36

Hadoop叢集肯定還是要在linux下使用好些，但是對於想嚐鮮的開發者或者上層應用開發來說，在windows下搭建一個單節點的應用也是蠻有必要的，當然只作為開發測試環境。

一、環境準備

1、以管理員身份解壓Hadoop安裝包，

2、配置Hadoop環境變數，

我的電腦 --> 屬性 --> 高階系統設定 --> 高階 --> 環境變數，新建HADOOP_HOME，然後將%HADOOP_HOME%/bin新增到Path中。

3、新建data（下面建倆子資料夾namenode和datanode）和tmp目錄，

4、修改啟動類 hadoop-env.cmd，

主要是設定JAVA_HOME的路徑，我的檔案目錄在 E:/Dev2/hadoop/hadoop-2.6.0/etc/hadoop，（這裡注意一下：如果jdk路徑中有“Program Files”，則將Program Files改為 PROGRA~1，否則會報錯）

5、修改配置檔案（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml）

核心操作就在這四個配置檔案上面了，（如果下載了hadooponwindows-master，解壓後可以直接覆蓋bin和etc目錄，然後只修改這四個資料夾中的路徑資訊就可以了）

（1）core-site.xml

（2）hdfs-site.xml

（3）mapred-site.xml

（4）yarn-site.xml

6、啟動格式化HDFS

首先，hadoop version，檢視是否能正常執行，

然後，執行 hdfs namenode -format

格式化之後，namenode檔案裡會生成一個current檔案，則格式化成功。

在cmd中執行 start-all.cmd 命令，啟動Hadoop，路徑：E:/Dev2/hadoop/hadoop-2.6.0/sbin。

執行成功後，會出現四個視窗，分別是：yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。

如上，則恭喜，啟動成功。

安裝好了Hadoop環境，接下來我們就敲下hadoop命令，上傳幾個檔案操作實戰一下。

1、建立目錄

hadoop fs -mkdir hdfs://localhost:9000/my/

hadoop fs -mkdir hdfs://localhost:9000/my/testinput

2、上傳檔案

hadoop fs -put E:/test01.txt hdfs://localhost:9000/my/testinput

hadoop fs -put E:/test02.txt hdfs://localhost:9000/my/testinput

3、查詢檔案

hadoop fs -ls hdfs://localhost:9000/my/testinput

查詢到我們剛剛上傳的檔案啦，恭喜，測試成功。

Hadoop自帶了web UI管理頁面，

1、資源管理（localhost:8088）

2、節點管理（localhost:50070）

總體來說Hadoop在windows下的安裝還是比較簡單的，只要按部就班就可以了。