搜尋引擎具有三個主要功能：
- 抓取：在Internet上搜索內容，查看他們找到的每個URL的代碼/內容。
- 索引：存儲和組織在爬網過程中找到的內容。一旦頁面進入索引，它就會在運行中顯示為相關查詢的結果。
- 等級：提供最能回答搜索者查詢的內容，這意味著搜索結果的排序方式從最相關到最不相關。
什麼是搜尋引擎爬網？
搜尋是一種發現過程，搜尋引擎在其中發現一組機器人（稱為搜尋器或蜘蛛）以尋找新的和更新的內容。內容可能有所不同-可能是網頁，圖像，視頻，PDF等-但無論格式如何，內容都是通過連結發現的。
Googlebot首先獲取一些網頁，然後按照這些網頁上的連結查找新的URL。通過沿著連結的這種路徑跳動，搜尋器可以找到新內容並將其添加到名為Caffeine的索引中（該Caffeine是一個龐大的已發現URL的資料庫），以後當搜索者搜索到該URL上的內容為很適合。
什麼是搜尋引擎索引？
搜尋引擎處理和存儲他們在索引中找到的信息，索引是他們發現並認為足以為搜索者服務的所有內容的龐大資料庫。
搜尋引擎排名
當有人進行搜索時，搜尋引擎會在索引中搜索高度相關的內容，然後對這些內容進行排序，以期解決搜索者的查詢。搜索結果的相關性排序稱為排名。通常，您可以假設網站的排名越高，搜尋引擎認為該網站與查詢越相關。
有可能阻止您的部分或全部網站訪問搜尋引擎爬網程序，或者指示搜尋引擎避免將某些頁面存儲在其索引中。儘管這樣做有一定的原因，但是如果您希望搜索者找到您的內容，則必須首先確保其對爬網程序是可訪問的並且可索引。否則，它就像隱形一樣好。
在SEO中，並非所有搜尋引擎都是平等的
許多初學者想知道特定搜尋引擎的相對重要性。大多數人都知道Google擁有最大的市場份額，但是對Bing，Yahoo和其他公司進行優化對它有多重要呢？事實是，儘管存在30多個主要的網絡搜尋引擎，但SEO社區實際上只關注Google。為什麼？簡短的答案是，絕大多數人都在Google搜索網絡。如果我們將Google Images，Google Maps和YouTube（Google的一家網站）包括在內，則超過90％的網絡搜索是在Google上進行的，這是Bing和Yahoo的總和的近20倍。
爬行：搜尋引擎可以找到您的頁面嗎？
正如您剛剛了解到的那樣，確保對您的網站進行爬網和建立索引是在SERP中顯示的先決條件。如果您已經有一個網站，則最好先查看索引中有多少頁面，然後再開始。這將對Google是否正在爬網並找到您想要的所有頁面，以及您不需要的所有頁面產生一些深刻的見解。
檢查索引頁面的一種方法是高級搜索運算符 「 site：yourdomain.com」 。轉到Google，然後在搜索欄中輸入「 site：yourdomain.com」。這將返回Google在其指定網站的索引中具有的結果：
Google所顯示的結果數量（請參見上面的「關於XX個結果」）並不確切，但是它確實使您對網站上哪些頁面建立了索引以及它們當前在搜索結果中的顯示方式有一個明確的了解。
為了獲得更準確的結果，請在Google Search Console中監控和使用「索引覆蓋率」報告。如果您目前沒有免費的Google Search Console帳戶，可以註冊一個。使用此工具，您可以提交網站的站點地圖，並監視實際上已將多少已提交的頁面添加到Google的索引中。
如果您沒有在搜索結果中顯示任何位置，則可能有以下幾種原因：
- 您的網站是全新的，尚未進行爬網。
- 您的網站未從任何外部網站連結到。
- 您網站的導航使機器人很難有效地對其進行爬網。
- 您的網站包含一些稱為搜尋器指令的基本代碼，這些基本代碼會阻止搜尋引擎。
- 您的網站已因Google的垃圾內容手段而受到懲罰。