大家會發現這樣一個問題，就是一個新站通過SEO優化時往往需要一段時間才會有排名，但是收錄卻不多，這是什么情況呢？今天就由濟南建網站公司小編來給大家講一講。

網站收錄往往有多方面原因造成的，比如網站內容多次重復、關鍵詞堆砌、過多復制別人的文章、有很多極限詞、外鏈太少等等，這都是造成網站收錄少、排名低的原因。此外，小編今天講一下另一個影響網站收錄少的原因，這個很容易被大家忽略掉，那就是robots文件。

其實在網站優化這一塊里面，robots文件的設置是占據很重要的位置的。當搜索蜘蛛去訪問一個站點的時候它會首先檢查該站點根目錄下是否存在robots.txt。如果設置了robots文件，對于網站收錄會有很多幫助。

比如它可以提高搜索引擎的訪問速度：大家都知道搜索引擎在進行抓取的時候會耗費服務器帶寬，這時候網站頁面過多的話就會導致網站的加載速度變慢，嚴重影響爬蟲的抓取以及用戶的瀏覽體驗。如果在robots文件里面設置禁止抓取一些不那么重要的頁面，就可以提高蜘蛛抓取的效率，也能節省更多的帶寬，提高訪問速度。

還有就是每個網站中都有重要的和不重要的頁面，如果通過robots文件減少蜘蛛對不重要頁面的抓取，把爬行重點放在重要頁面上，這樣不僅可以幫助重要頁面獲取更多的權重，還能提高網站的友好度。

robots文件就是站長和蜘蛛之間達成的一個協議或聲明，在網站發布前聲明好哪些希望被搜索引擎訪問，哪些頁面不希望被訪問是非常重要的，網站收錄不是一朝一夕就可以完成的，它是一個循序漸進的過程，大家可以繼續關注濟南建網站公司官網，跟著小編了解更多網站知識。