搜索引擎蜘蛛是指搜索引擎公司所設(shè)立的一套自動(dòng)抓取程序，簡(jiǎn)稱蜘蛛人。
常見(jiàn)的蜘蛛有：百度蜘蛛（） 谷歌（)
360蜘蛛（） 搜狗蜘蛛（Sogou News ）等
二、搜索引擎抓取收錄工作流程
1、抓取 2、過(guò)濾 3、存放索引庫(kù) 4、展示排序
抓取收錄示意圖
蜘蛛抓取——網(wǎng)站頁(yè)面——存放臨時(shí)索引庫(kù)——排名情況（從索引庫(kù)調(diào)?。?/p>
臨時(shí)索引庫(kù)并不是存放所有蜘蛛抓取的網(wǎng)站頁(yè)面，它會(huì)根據(jù)蜘蛛抓取的頁(yè)面質(zhì)量進(jìn)行篩選，過(guò)濾掉一些質(zhì)量差的。再將好的頁(yè)面。根據(jù)頁(yè)面好壞質(zhì)量進(jìn)行排序。
三、搜索引擎抓取
蜘蛛順著網(wǎng)頁(yè)的超鏈接，在互聯(lián)網(wǎng)中發(fā)現(xiàn)、收集網(wǎng)頁(yè)信息
2、蜘蛛抓取規(guī)則
深度抓取(豎著抓取，先抓取完一個(gè)欄目的內(nèi)容頁(yè)，然再換個(gè)欄目以同樣的方式抓取)
廣度抓取(橫著抓取，先抓取完每個(gè)欄目也，再抓取每個(gè)欄目頁(yè)下面的內(nèi)容頁(yè))
3 、抓取內(nèi)容
鏈接 文字 圖片 視頻 JS CSS 蜘 蛛
4、影響抓取
鏈接：包含文字 參數(shù)過(guò)多 結(jié)構(gòu)層次過(guò)多（3層最好） 鏈接過(guò)長(zhǎng)
不識(shí)別內(nèi)容
需要權(quán)限
網(wǎng)站打不開(kāi)
四、處理網(wǎng)頁(yè)（過(guò)濾）
為什么過(guò)濾：采集、內(nèi)容價(jià)值過(guò)低 文不對(duì)題內(nèi)容 沒(méi)有豐富的內(nèi)容
臨時(shí)數(shù)據(jù)庫(kù)：對(duì)蜘蛛抓取的內(nèi)容，經(jīng)過(guò)篩選后，將內(nèi)容存放在一個(gè)臨時(shí)的數(shù)據(jù)庫(kù)調(diào)用。
五、展示排序
將存儲(chǔ)索引庫(kù)的內(nèi)容搜索引擎的工作原理是什么，根據(jù)質(zhì)量的高低進(jìn)行排序，然后調(diào)用出來(lái)展現(xiàn)給用戶。
1、檢索器根據(jù)用戶輸入的查詢關(guān)鍵詞，在索引庫(kù)中快速檢索文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并將查詢結(jié)果展示出來(lái)反饋給用戶。
2、當(dāng)我們?cè)谒阉饕婵吹降闹皇且唤Y(jié)果，搜索根據(jù)各種算法進(jìn)行排序搜索引擎的工作原理是什么，將質(zhì)量最好的十個(gè)結(jié)果放在第一頁(yè)