第一,合理設置網(wǎng)站的roobots文件。網(wǎng)站roobots文件有以下幾個(gè)重要作用:
1、有效屏蔽網(wǎng)站站內的死鏈接。
2、可以分別設置不同權重的重要頁(yè)面。比如一些廣告板塊,一些僅僅為了展示給用戶(hù)但是并不希望蜘蛛抓取參與排名計算的頁(yè)面,都可以用roobots屏蔽抓取。
3、對于網(wǎng)站后臺或者一些比較隱私的內容進(jìn)行屏蔽。在這里筆者告訴大家兩點(diǎn)robots.txt文件的基本語(yǔ)法。
第一條是:User-agent,即搜索引擎蜘蛛的名稱(chēng);
第二條是:Disallow,即不允許抓取的部分。當然還有一些通配符以及具體的細節用法我們可以百度搜索下,或者參照一些seo類(lèi)的書(shū)籍進(jìn)行設置,總之網(wǎng)站roobots文件是必須設置的,它是明確告知搜索引擎對于網(wǎng)站抓取級別的總大綱是蜘蛛訪(fǎng)問(wèn)網(wǎng)站的第一個(gè)訪(fǎng)問(wèn)文件,所以一定要在優(yōu)化過(guò)程中予以重視。
第二,為網(wǎng)站設置合理的網(wǎng)站地圖。
網(wǎng)站地圖是引導蜘蛛快速抓取整個(gè)網(wǎng)站目錄結構非常有效的途徑,地圖顧名思義,我們一般去一個(gè)陌生的城市都會(huì )購買(mǎi)一份當地的地圖,通過(guò)地圖可以直觀(guān)的看到自己所在的地點(diǎn)和目標地點(diǎn)的直接距離,從而選擇合適的出行方式。而網(wǎng)站地圖也是一個(gè)道理,蜘蛛猶如一個(gè)陌生人,來(lái)到我們站點(diǎn)之后通過(guò)對于網(wǎng)站地圖的熟悉,就能輕而易舉的對于整體網(wǎng)站路徑有個(gè)明確的認知,接著(zhù)有主意對于權重頁(yè)的判斷和甄別主要表現在對于更新頻繁的欄目進(jìn)行有效的抓取,對于一些更新率低或者不更新的欄目,降低爬行次數甚至不爬行,就網(wǎng)站本身而言一個(gè)動(dòng)態(tài)的網(wǎng)站地圖有助于提高網(wǎng)站的收錄速度。
第三,對于網(wǎng)站源文件的清理和減肥。
網(wǎng)頁(yè)源文件代碼的有效處理是站內優(yōu)化非常關(guān)鍵的一個(gè)環(huán)節,我們知道蜘蛛的抓取方式和我們經(jīng)常出行乘坐的公交車(chē)是一個(gè)道理,遇到車(chē)流高峰勢必會(huì )出現很大程度的擁堵,而臃腫的代碼勢必會(huì )造成蜘蛛訪(fǎng)問(wèn)的瓶頸,那么,具體我們要如何進(jìn)行代碼減肥呢?比如去掉無(wú)用的空格,對于css文件、JS文件進(jìn)行合并操作,最好獨立出來(lái)放到單獨的外部文件中,通過(guò)頭部引用來(lái)導入所需頁(yè)面中,尤其是布局頁(yè)面,建站之初就要想到代碼優(yōu)化的細節點(diǎn),比如可以使用css和div進(jìn)行頁(yè)面布局,表格有時(shí)候為了布局需要不得不增加很多無(wú)用的冗余代碼,這些都是代碼減肥的細節要點(diǎn)。
第四,為網(wǎng)站設置404和301跳轉。
404頁(yè)面主要是針對網(wǎng)站錯誤鏈接而生的,由于網(wǎng)站改版、轉移空間、備份恢復等勢必會(huì )造成網(wǎng)站很多錯誤頁(yè)無(wú)法訪(fǎng)問(wèn)的問(wèn)題,很多時(shí)候自己不注意還發(fā)現不了,但是這些錯誤頁(yè)對于網(wǎng)站用戶(hù)的傷害是非常大的,影響了用戶(hù)體驗,這個(gè)時(shí)候404頁(yè)面,就是告訴用戶(hù),這個(gè)頁(yè)面不存在,然后通過(guò)一個(gè)回路鏈接導入網(wǎng)站其他部分,這樣不是非常友好的給用戶(hù)提示了嗎,通過(guò)回路可以讓客戶(hù)繼續逗留在網(wǎng)站之中,增加了用戶(hù)的停留時(shí)間,從而降低跳出率。
另外,301也是常用的手段,主要是為了網(wǎng)站設置首選域的問(wèn)題,一般站長(cháng)會(huì )將不帶www的域名永久重定向到www主機頭上面去,另外網(wǎng)站域名在更換的時(shí)候或者重新申請新域名時(shí)也常常采用這種手法。就是將不在使用的域名永久重定向到現在的這個(gè)新域名上,這樣新域名就很好的繼承了原來(lái)域名的權重,非常有利于網(wǎng)站權重的繼續穩定的延續。