Windows平臺上玩Hadoop - Local Mode

Windows平臺上玩Hadoop - Local Mode

In Open Source, Hadoop

tar zxvf hadoop-0.17.1.tar.gz

mkdir input
cd input
echo "hello world bye hello" > file1.txt
echo "hadoop hello goodbye hadoop" > file2.txt
cd..

bin/hadoop jar hadoop-0.17.1-examples.jar wordcount input output

cat output/*
bye     1
goodbye 1
hadoop  2
hello   3
world   1

2008-07-16 18:25:53

13 comments on "Windows平臺上玩Hadoop - Local Mode"

1. 1. Geniusking 說：
   

   大大，看你寫的好像很輕鬆
   可是我ssh localhost又出問題了
   ssh: connect to host localhost port 22: Connection refused
   google一下，好像是sshd服務沒開?!
   最近弄這個真是一個頭兩個大
   只好來請教高手了!

   2008-07-23 22:59:59

2. 2. Shen 說：
   

   這篇主要是採用「Local Mode」的方式來建構Hadoop，而你的方式是要架設一個「Pseudo-Distributed Mode」，所以你需要設置Secure Shell，這方面的話你可以參考本篇相關資源中的「Running Hadoop on Windows」，裡頭就是說明如何架設「Pseudo-Distributed Mode」的Hadoop，先參考看看!
   我最近太忙了~ 不然應該乾脆也寫篇「Pseudo-Distributed Mode」的架設方式~ XD

   2008-07-23 23:42:31

3. 3. Geniusking 說：
   

   嗯，感謝啦
   等我成功了再來分享心得XD
   

   2008-07-24 00:39:30

4. 4. Geniusking 說：
   

   經過我的實驗後，總算發現問題所在：
   1、把Local Mode跟Pseudo-Distributed Mode搞混
   如果要跑Local Mode的範例，hadoop-site.xml不用設定任何東西．
   
   2、/etc/hosts的內容為127.0.0.1 localhost.localdomain localhost localhost
   我誤設為127.0.0.1 localhost localhost
   
   3、執行”bin/hadoop jar hadoop-0.17.1-examples.jar wordcount input output“時，output資料匣不能存在（執行後會自己出現）
   
   詐看之下都是小問題，可是合在一起就很煩＝ ＝
   因為要1、2、3都同時正確才能正常RUN出結果
   還是謝謝大大的幫助…至少Local Mode我成功了…

   2008-07-24 01:33:12

5. 5. Conan 說：
   

   您好
   想請教一下
   在JAVA環境變數設定方面
   需要在哪設定？
   是WINDOWS下，還是Hadoop資料夾的「conf/hadoop-env.sh」
   所設定的路徑就是JAVA在WINDOWS的安裝路徑"C:\Program Files\Java\jdk1.6.0_12\bin"？
   謝謝

   2009-03-11 15:18:24

6. 6. Shen 說：
   

   請設定Hadoop的環境變數「conf/hadoop-env.sh」，如：「export JAVA_HOME=C:\\Java」(取決於你Java的安裝路徑即可)

   2009-03-11 15:39:43

7. 7. Conan 說：
   

   謝謝
   已經測試成功了
   現在要進一步將多台電腦串起來計算

   2009-03-11 18:58:52

8. 8. Yi-Long 說：
   

   感謝!!
   2003 Server測試完成!!

   2009-11-13 10:49:07

9. 9. Rich 說：
   

   請問
   環境設置
   
   1．設定「JAVA_HOME」環境變數
   
   2.．設定「Cygwin/bin」至「PATH」環境變數
   
   該怎麼設定?!
   
   是在環境變數中
   按新增
   變數值 「Cygwin/bin」?
   還是...是在 PATH 後面加入 「Cygwin/bin」?
   

   2009-12-09 01:49:50

10. 10. Shen 說：
    

    @Rich
    
    1. 設定JAVA_HOME環境變數，需要新增．
    2. 設定PATH環境變數就如同你所說的，將「Cygwin/bin」接在「PATH」環境變數值之後．

    2009-12-09 08:23:39

11. 11. jazz 說：
    

    分享一下，小弟寫了一個架設 Hadoop Pseudo-Distributed Mode 的安裝批次檔
    可以幫忙大家架設 Windows 上的 Cygwin, JDK, Hadoop, HBase 等
    細節請參考
    https://sourceforge.net/apps/trac/hadoop4win/
    
    - Jazz

    2010-07-16 15:05:59

12. 12. show 說：
    

    若我一台機器為 windows 環境、 一台為Linux環境 那在連接上會有問題嗎?
    

    2011-04-29 17:19:41

13. 13. Shen 說：
    

    Windows指的為何？是Client還是用來當做某個Node？

    2011-05-10 09:14:39