top of page
Clawer
"網路爬蟲 (Crawler)", Google 與 Yahoo 等網站的背後,都有一個強大的網頁蒐集程式,可以將全世界的網頁通通抓回去儲存以便提供搜尋之用,這個程式就稱為 "爬行者 (Crawler)",也有人索性稱為蜘蛛 (Spider),因為這個就好像在網路上爬來爬去的蜘蛛一樣,到處抓網頁回家放。Crawler 的設計原理,簡要來說是透過程式去追蹤網頁上的超連結,然後不斷往外擴張,以便將全世界中曾經被連結到的網頁全部都抓回到來,這也是 Google, Yahoo 等網站背後最重要的程式之一。
bottom of page