1、搜索引擎找不到的網站。

　　1)要讓搜搜引擎發現網站首頁，網站推廣就必須有良好的外部鏈接鏈接到首頁，就找到了首頁，然后蜘蛛會沿著鏈接爬的更深。

　　讓蜘蛛通過簡單的html頁面鏈接到達，javascript鏈接，flash鏈接都是蜘蛛的陷阱。這點要注意。

　　2)找到網頁后能不能抓取內容。

　　被發現的蜘蛛是可以被爬取的，數據庫動態生成，帶過很多的參數url、sessionID、整個頁面都是flash、框架結構、大量的轉向，和大量的復制內容都可能把蜘蛛攔截在門外。

2、flash網站

　　1)在網頁某一個部分使用flash來增強視覺效果很正常網絡推廣，比如現在很多的flash廣告、圖標等。但是這是一個html頁面的一部分。不會有太大的影響

　　2)但是有的網站就是一個很大的flash文件，這就構成了蜘蛛的陷阱，這時候蜘蛛爬取的只有一個flash鏈接，沒有其他的內容，所以這點盡量要避免。

3、sessionID

　　1)有些網站使用sessionID(會話ID)跟蹤用戶的訪問，用戶的沒一次訪問都會生成一個獨立的ID，然后加在url里，這是蜘蛛每一次抓取網站都會把蜘蛛當作一個新的用戶網絡營銷，造成蜘蛛不能正常爬取，這也是蜘蛛的一大陷阱。

　　2)通常建議跟蹤用戶訪問應該使用cookies而不要生存sessionID 。

4、各種的跳轉

　　1)除了大家熟悉的301轉向之外，其他的轉向對搜索蜘蛛都比較敏感的，比如302暫時轉向，javascript轉向，flash轉向，meta refresh跳轉，所以建議大家不要做其他不利于網頁的轉向，301也包括，不到萬不得已的時候也不要用301轉向。這是個建議。謝謝閱讀，希望能幫到大家，請繼續關注中國網頁設計，我們會努力分享更多優秀的文章。