搜索引擎是seo從業(yè)人員每天都要打交道的，所以想做好優(yōu)化就必需要了解搜索引擎的工作原理，首先要明白搜索引擎由哪些部分構(gòu)成，因為這些都跟搜索引擎的工作流程相關(guān)連，今天就對搜索引擎的構(gòu)成部份進行淺析。

 
一、爬蟲

我們一般稱為蜘蛛，它的來訪非常的重要，爬蟲會抓取出網(wǎng)絡(luò)上的頁面、程序或者腳本，采集網(wǎng)站可以訪問的頁面內(nèi)容從而進行緩存。搜索引擎最重要的是響應(yīng)時間，如果你在搜索內(nèi)容的時候，需要一分鐘后才能反饋給你結(jié)果，用戶的體驗感會大打折扣，搜索引擎為了滿足速度的需求，都采取緩存的做法。

對于爬蟲來說，更青睞網(wǎng)站運營時間長、持續(xù)高質(zhì)量內(nèi)容產(chǎn)出、有抓取深度的站點比較感興趣。那么爬蟲什么時候會來抓取頁面，baiduspider會檢測你的網(wǎng)頁文章的更新頻率，對每一個URL集合計算出最適合爬蟲抓取的時間，然后在訪問抓取。爬蟲也有自己的工作目標(biāo)，它要對抓取的網(wǎng)頁進行描述和定義、要對網(wǎng)頁進行過濾、還有URL的索引策略。

二、用戶搜索界面

目前搜索引擎市場份額最大的仍是百度，隨著信息量的不斷增加，技術(shù)的不斷成熟，搜索界面也變得越加規(guī)范化。用戶在搜索的時候經(jīng)常會涉及到這幾個方面：

1、展現(xiàn)提示詞：用戶在搜索框輸入任何文字的時候都會展示提示詞，而且中文搜索中若用戶輸入拼音，系統(tǒng)照樣可以識別提示；
2、相關(guān)搜索提示詞：當(dāng)用戶搜索一個關(guān)鍵詞的時候，系統(tǒng)會根據(jù)用戶的搜索詞給出更多的提示詞，換一個關(guān)鍵詞搜索到的內(nèi)容有可能就大不相同；

三、預(yù)處理

要說搜索引擎最復(fù)雜的是什么，那一定是預(yù)處理了，排名的算法幾乎都是在這個環(huán)節(jié)產(chǎn)生。在搜索引擎抓取到一個頁面的時候，要將網(wǎng)頁中的代碼、非正文內(nèi)容等進行去除，留下關(guān)鍵詞，利用代碼和關(guān)鍵詞密度等等分析出重要的詞組，進行分詞儲存在數(shù)據(jù)庫中與URL一一對應(yīng)。搜索引擎還要去除重復(fù)與轉(zhuǎn)載網(wǎng)頁、對重要信息進行分析。概括來說，搜索引擎是控制蜘蛛爬取，對數(shù)據(jù)進行篩選報錯，處理好URL的對應(yīng)關(guān)系，將其保存在索引數(shù)據(jù)庫當(dāng)中，方便在用戶搜索內(nèi)容時快速提取展示。

四、文本挖掘

文本挖掘的方法有很多，常用的就是全文搜索、關(guān)鍵詞提取、文本摘要、中文分詞等等。搜索引擎有個文檔集，進行文檔挖掘可以對文本進行分析識別數(shù)字、日期名字等等，也可以做特征提取比如文本摘要、關(guān)鍵詞提取和特征選擇，或者進行分類、檢索、聚類、自動問答等等。

寫在文末：對于seoer來說，排名優(yōu)化的第一步就是解決收錄問題，我們每天都在更新，可有時就是不收錄。所以如果想網(wǎng)站快速被收錄，那么我們就要懂得蜘蛛的爬行原理和規(guī)律，同時也要知道什么樣內(nèi)容、頁面更容易被搜索引擎收錄，如何提高蜘蛛對內(nèi)容的發(fā)現(xiàn)時間等。