2008 March

號角響起~ 叭~ 叭~ 叭叭叭~

今年我將再參加一次「2008 中華電信加值大賽」~ 這次我們的隊伍叫「B兔G」~ 因為組員有四個人~ 是由兩個男生和兩個女生所組成的~ 所以稱「B兔G」^^V

不過這次我要參加的組別是「網路社群平台發展組」~ 因為我們已經有一個Killer Application的構想~ 嘻~ 拭目以待嚕! ^^

而我們的主題也出爐了~ 這次的題目為「iLove 我要我們宅一起」~ 希望這次結合跨校合作並加上前兩屆都有得過名次的組員們~ 一同來爭取最高的榮譽 ^^V GoGoGo~

我要發揮百分之一千的戰鬥力 V^^V 衝呀...

Kellen R. Maicher ．上圖這位是目前在Purdue University擔任「Department of Computer Graphics Technology」助理教授一職的老師，它專攻「Interactive Multimedia」~

剛剛不小心找到它們課程的網站：CGT 353: Principles of Interactive and Dynamic Media 中譯或許可以說成「動態媒體與互動的原理」XD~ 這不是重點~

重點在於~ 他們的課程完全使用「Flash」和「ActionScript 3.0」來教學~ 我的第一個感覺是~ 貴校果然是走在時代的尖端~ 跟上時代的腳步~ 尤其是課程內容的安排~ 感覺上就很紮紮實實地~ 值得借鏡與效法~

Flyer Framework．什麼時候會用到這個Framework呢？或者應該說為什麼有這個Framework的出現~

寫行動裝置的應用程式現階段有相當多種類可以選擇~ 這包含：Flash Lite、Java ME、Python、Symbian C++、Google Android 等等…

這裡我們拿「Flyer Framework」來說好了~ 它是一個利用Python程式在手機端執行當local Server的方式，以提供更多手機的應用功能給Flash Lite來使用~ 因為Flash Lite沒有辦法控制到使用手機的藍芽功能~ 也沒辦法取得手機的照相機~ 而這會導致許多應用的不方便性~ 所以有了Flyer Framework來解決這方面的問題~ 不過自從去年五月到現在~ 好像一直就沒有更新過了~

不過這樣類似的技術應用也值得參考~ 剛看了一下原始碼~ 它的Python程式全部還不到16kb，主要是利用「Flyer_1_0_35.py」開啟一個IP：127.0.0.1、Port：9100的Server Socket以提供Flash Lite使用XMLSocket來連線~

有興趣的人不妨玩玩看~ 不然也可以自行造車打造一個JavaME or Symbian C++的方式來結合Flash Lite ^^

今天，「CSProxy」已接近完成度90%了~

它是一個俱備維持一般網頁上的操作模式，且能夠跨平台以及跨瀏覽器的一種技術應用~

以往我們只能透過Cross Domain Proxy的方式請求外部的網頁資源~

不過一旦遇上大量的請求~ 有可能導致Proxy負荷過載~ 或是遭到對方伺服器封鎖的情況發生~

面對這樣的需求，我們需要一種技術能夠透過客戶端請求的方式，來將運算資源分散到各個客戶端的電腦上，如此一來也可以避免遭受到對方伺服器的封鎖~

所以我們提出一個「CSProxy」的技術應用來達成這樣的方式~

「CSProxy」．可以看成「Client Side Proxy」~ 也可以是「Cross Site Proxy」~ 巧合的是我和學弟兩人的英文名字也是「Ching Shen、Chen Shin」^^

有待將此「CSProxy」論文完成並發表後，再行附上更詳細的技術實作細節 ^^V

首先請先至Nutch官網下載「nutch-0.9.tar.gz」~

安裝步驟

請先解壓縮「nutch-0.9.tar.gz」

tar zxvf nutch-0.9.tar.gz

然後建立一個爬行器的爬行清單檔案~ 這裡以筆者的部落格為範例：

cd nutch-0.9
echo http://blog.ring.idv.tw/index.ser > urls

修改「conf/crawl-urlfilter.txt」中的「MY.DOMAIN.NAME」改成下述：

+^http://([a-z0-9]*.)*ring.idv.tw/

修改「conf/nutch-site.xml」，加上一個「http.agent.name」的參數值：

<property>  
<name>http.agent.name</name>  
<value>crawler</value>  
</property>  

啟動Crawler開始抓網頁~ 預設啟動十個Thread來爬~

bin/nutch crawl urls -dir ring -depth 5 -topN 50 &

抓完網頁的相關資料並建立索引之後~ 就要開始部署搜尋引擎了~

請將「nutch-0.9.war」搬移至你JBoss或Tomcat部署的資料夾下

mkdir nutch.war
mv nutch-0.9.war nutch.war
unzip nutch-0.9.war

修改「nutch.war/WEB-INF/classes/nutch-site.xml」，為它加上要搜尋的資料夾，也就是我們剛剛透過Crawler所建立的那些索引檔~

<property>  
<name>searcher.dir</name>  
<value>/usr/local/data/nutch-0.9/ring</value>  
</property>  

修改「server.xml」，如果你的環境是JBoss 4.2.2GA的話~ 請參考下述做法：

cd JBoss-4.2.2.GA/server/default/deploy/jboss-web.deployer
vi server.xml

找到「<Connector port="8080"」這一行，為它加上「URIEncoding="UTF-8" useBodyEncodingForURI="true"」即可~ 避免利用Get傳送方式導致編碼錯誤~

最後啟動你的JBoss來玩嚕~

參考資源

．Nutch 笔记（一）：Quick Start

．Nutch 0.9 安裝心得(小攻略)

相關資源

．Introduction to Nutch, Part 1: Crawling

．Introduction to Nutch, Part 2: Searching

．Nutch 笔记（二）：Craw more urls and Recrawl

．Nutch 初体验之二