blog.Ring.idv.tw

我家的三朵雲運算 - Hadoop

In Open Source, Hadoop

上面這張圖是我親愛的指導老師「游耿能」老師幫我要到的三台伺服器~ 讓我得以玩「Hadoop」~ ^^v

感謝老師呀!~ 您總是那麼的支持我!!! T_T 感動...

雖然只有三台~ 不過~ 對我來說夠了~ 三台就很了不起了~

上個月就已經在學校將Hadoop的整個環境給它架設起來~

不過有個問題... 我根據Hadoop官網的「Quickstart」教學來跑一個範例~ 可是每次在執行時總會停在「reduce」階段就不動了... 有沒有人也在玩的~ 大家交流一下吧~

找個時間再來研究一下~ 這對於Inverted Index的產出效率可是有非常大的幫助 ^^b

2008-06-02 20:34:52

8 comments on "我家的三朵雲運算 - Hadoop"

1. avain 說：

先玩玩vmware版本的。如過要自己安裝，注意那個slave的設定檔案
參考一下
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster)

不過我的建議是，如果經費可以的話，用EC2完比較好壯觀，這樣也不用管太多硬體的問題。

2008-06-03 00:27:38
2. Shen 說：

呵~ 我傾向於喜歡玩整套的~ 雖然有點刻苦就是了~ ^^a
所以我現在都遠端控制台中的那三朵雲~ XD
你有跑起來Quickstart的範例嚕？在reduce階段會很久嗎？是模擬多台電腦的情況嗎？
感恩呀!^^

2008-06-03 00:34:56
3. qiaohui.zhang 說：

兄弟，我们这几天也在研究hadoop／hbase，我们已经在3台机器上部署成功了，有时间可以交流下学校经验

2008-06-03 16:58:04
4. Shen 說：

To qiaohui:
好呀!~ 我也正在开始玩而已~ 你们有跑过实际的例子吗？会不会卡在reduce阶段？
我架好之后做map的动作还挺快的，不过一旦到了reduce就感觉像死机一样... 希望您可以分享一下相关经验 ^^

2008-06-03 17:39:47
5. avain 說：

我看了一下同事之前跑的例子，reduce本來就會比較慢，不過這跟下的參數也有關係(map數目,reduce數目)，不過我覺得你最好有個baseline當做比較好。

2008-06-03 23:33:16
6. Shen 說：

真的是在reduce階段慢很多~ 或許就像你說的，我需要改一下reduce數目~ 或者升級我的硬體配備~ XDD
不管了~ 終於有正確的跑出我要的結果了~ 哈~ 好事一件 ^^v

2008-06-03 23:55:00
7. qiaohui.zhang 說：

To Shen:
现在网上基本没有关于hadoop/hbase的相关示例,特别是hbase,连软体包里面都没有例子,我们也比较郁闷,只能一步步探索了.
我们在3台linux机器上面已经部署,并且测试namenode,datanode以及hbase的相关操作基本没什么问题,近几天我们将测试hbase存储日志,有什么问题几时交流.:)
目前hadoop版本0.17修改了很多bug,但hbase很久没更新了,hbase还只能运行在hadoop0.16.3之前的版本上

2008-06-04 09:47:04
8. Shen 說：

谢谢您宝贵的经验分享 ^^b
所以你们目前是运行0.16.3的版本？
我们一起持续研究吧~ 有相关任何进展我会贴在Blog分享出来 ^^v

2008-06-04 23:42:27