有一些東莞網站設計技術對搜索引擎來說很不友好,不利于蜘蛛爬行和抓取,這些技術被稱為蜘蛛陷阱。常見的應該全力避免的蜘蛛陷阱包括如下這些。
1、Flash
在網頁的某一小部分使用 Flash增強視覺效果是很正常的,比如用Flash做成的廣告圖標等。這種小 Flash 和圖片是一樣的,只是HTML代碼中的很小一部分,頁面上還有其他以文字為主的內容,所以對搜索引擎抓取和收錄沒有影響。
但是有的網站整個首頁就是一個大的Flash文件,這就構成了 蜘蛛陷阱。搜索引擎抓取的HTML代碼只有一個連向Flash文件的鏈接,沒有其他文字內容。讀者可以參考前面例子的源代碼,搜索引擎是無法讀取Flash文件中的文字內容和鏈接的。這種網站整個就是一個Flash的網站,可能視覺效果做得精彩異常,可惜搜索引擎看不到,不能索引出任何文字信息,也就無從判斷相關性。
有的網站喜歡在首頁放一個Flash動畫片頭(Flash Intro),用戶訪問網站看完片頭后被轉向到真正的 HTML版本的文字網站首頁,搜索引擎不能讀取 Flash,一般也沒辦法從Flash Intro跟蹤到 HTML版本頁面。
近幾年搜索引擎不停嘗試讀取Flash文件,尤其是里面的文字內容和鏈接,也取得了一定進展.站長可以使用SWFObject和 sIFR 等技術使 Flash文件更易于被搜索引擎讀取不過我的觀點是,與其費勁去研究怎么讓搜索引擎讀取 Flash 文件,不如裝成普通的 HTML版本的網站,如果你的網站除了 Flash 外不足以展現公司實力,那么你的公司應該是世界500 強級別的.SEO就不重要了。
整個網站就是一個大Flash文件,從SEO角度來說是萬萬不可的。如果 Flash 效果是必需的,至少也需要在首頁加上一個通往 HTML版本的鏈接,這個鏈接應該是在 Flash 文件之外的 HTML 代碼中,搜索引擎跟蹤這個鏈接可以抓取后面的 HTML版本頁面。
2、Session ID
有些網站使用Session ID〔會話 ID)跟蹤用戶訪問,每個用戶訪問網站時都會生成獨特唯一的Session ID,加在URL中,搜索引擎蜘蛛的每一次訪問也會被當成一個新的用戶,URL中會加上一個不同的Session ID,這樣搜索引擎蜘蛛每次來訪問時所得到同一個頁面的URL將不一樣,后面帶著一個不一樣的Session ID.這也是最常見的蜘蛛陷阱之一。
搜索引擎遇到這種長長的Session ID,會嘗試判斷字符串是Session ID還是正常參數.成功判斷出Session ID就可以去掉Session ID,收錄正常URL.但也經常判斷不出來,要么不愿意收錄,要么收錄多個冊有不同Session ID的URL,內容卻完全一樣,形成大量復制內容,這兩種情況對網站優化都不利。
通常建議跟蹤用戶訪問應該使用cookies 而不要生成Session ID,或者程序判斷訪問者是搜索 引擎蜘蛛還是普通用戶,如果是搜索引擎蜘蛛,則不生成 Session ID,跟蹤搜索引擎蜘蛛訪問是沒什么意義的,蜘蛛既不會填表,也不會把商品放入購物車 。
3、各種跳轉
除了后面會介紹的301轉向以外,搜索引擎對其他形式的跳轉都比較敏感,如302跳轉.JavaScript跳轉、Flash跳轉、Meta Refresh跳轉。
有些網站用戶訪問首頁時會被自動轉向到某個目錄下的頁面,如果是按用戶地理位置轉向至最適合的目錄,那倒情有可原,但大部分這種首頁轉向看不出任何理由和目的,這樣的轉向能避免則避免。
如果必須轉向,301 轉向是搜索引擎推薦的、用于網址更改的轉向,可以把頁面權重從舊網址轉移到新網址。其他轉向方式都對蜘蛛爬行不利,原因在于后面作弊一章所要介紹的,黑帽 SEO 經常使用轉向欺騙搜索引擎和用戶,所以除非萬不得已,盡量不要使用301轉向以外的跳轉。
4、框架結構
如果作為站長的你不知道什么是框架結構(Frame),那么恭喜你,你已經避免了這個蜘蛛陷阱,根本沒必要知道什么是框架結構,如果你在網站設計中還在使用框架結構,我的建議是立即取消。
使用框架結構設計頁面,在網站誕生初期曾經挺流行,因為對網站的頁面更新維護有一定方便性,不過現在的網站已經很少使用框架了,不利于搜索引擎抓取是框架越來越不流行的重要原因之一。對搜索引擎來說,訪問一個使用框架的網址所抓取的 HTML 只包含調用其他 HTML 文件的代碼,并不包含任何文字信息,搜索引擎根本無法判斷這個網址的內容是什么,雖然蜘蛛可以跟蹤框架中所調用的其他HTML 文件,但是這些文件經常是不完整的頁面,比如沒有導航只是正文,搜索引擎也無法判斷框架中的頁面內容應該屬于主框架,還是屬于框架調用的文件。
總之,如果你的網站還在使用框架,或者你的老板要使用框架結構,唯一要記住的是,忘記使用框架這回事。和 Flash 一樣,別浪費時間研究怎么讓搜索引擎收錄框架結枃網站。
5、動態URL
動態URL指的是數據庫驅動的網站所生成的、帶有問號、等號及參數的網址,一般來說動態URL 不利于搜索引擎蜘蛛爬行,應該盡量避免。
6、JavaScript鏈接
由于JavaScript可以創造出很多吸引人的視覺效果,有些網站喜歡使用JavaScript腳本生成導航系統,這也是比較嚴重的蛛蛛陷阱之一,雖然搜索引擎都在嘗試解析s腳本不過我們不能寄希望于搜索引擎自己去克服困難,而要讓搜索引擎跟蹤爬行鏈接的工作盡一量簡單容易。
據我觀察,雖然有的搜索引擎在技術上可以獲得 JavaScript 腳本中包含的鏈接,甚至可以執行腳本并跟蹤鏈接,但對一些權重比較低的網站,搜索引擎覺得沒有必要,不會費那個勁,所以網站上的鏈接必須使用最簡單標準的 HTML 鏈接,尤其是導航系統 用css做導航系統一樣可以實現很多視覺效果。
JavaScript 鏈接在 SEO 中也有特殊用途,那就是站長不希望被收錄的頁面 (比如沒有排名意義的頁面,重復內容頁面等),不希望徹底權重的鏈接,可以使用 JavaScript腳本阻擋搜索引擎爬行。
7、要求登錄
有些網站內容放在需要用戶登錄之后才能看到的會員區域,這部份內容搜索引擎無法看到,蜘蛛不能填寫用戶名、密碼,也不會注冊。
8、強制使用 Cookies
有些網站為了實現某種功能,如記住用戶登錄信息、跟蹤用戶訪問路徑等,強制用戶使用 Cookies,用戶瀏覽器如果沒有啟用 Cookies,頁面 顯示不正常.搜索引擎蜘蛛就相當于一個禁用了 Cookies 的瀏覽器,東莞網站設計強制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問。
本文鏈接:http://gujaratreit.com/xinwenzhongxin/625.html
|