爬蟲是什么 網絡爬蟲介紹

爬蟲是什么 網絡爬蟲介紹

1、網絡爬蟲,又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者,是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本,另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲 。
2、大部分爬蟲都是按“發送請求——獲得頁面——解析頁面——抽取并儲存內容”這樣的流程來進行,這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程 。

3、簡單來講,爬蟲就是一個探測機器,它的基本操作就是模擬人的行為去各個網站溜達 , 點點按鈕,查查數據 , 或者把看到的信息背回來 。就像一只蟲子在一幢樓里不知疲倦地爬來爬去 。
【爬蟲是什么 網絡爬蟲介紹】4、可以簡單地想象:每個爬蟲都是你的“分身” 。就像孫悟空拔了一撮汗毛,吹出一堆猴子一樣 。

經驗總結擴展閱讀