| 什么是robots文件？
Robots是站點與spider溝通的重要渠道，是網(wǎng)站與搜索引擎爬蟲之間的協(xié)議，告知哪些可抓取哪些不允許。
| 為什么要做robots文件？
網(wǎng)站上總有一些頁面是禁止蜘蛛抓取的。例如：搜索頁面、篩選頁面、后臺登錄地址等。
| 如何制作 robots文件？
編寫robots.txt文件并上傳到網(wǎng)站根目錄。
| 制作 robots.txt注意事項
● 所有搜索引擎則用星號表示
● Allow（允許）和Disallow（不允許）優(yōu)先級
● 至少屏蔽一個，可以屏蔽：搜索結(jié)果頁面/404頁面
● 記得將sitemap放到Robots文件中
● 可以陸續(xù)放入更多，而不是一次性決定所有
● 網(wǎng)站后臺地址/圖片地址/下載文件地址/錯誤鏈接（搜外網(wǎng)）
什么是302跳轉(zhuǎn)？302跳轉(zhuǎn)是用戶瀏覽器或搜索引擎蜘蛛向網(wǎng)站務(wù)器發(fā)出訪問網(wǎng)址A的請求時，服務(wù)器返回的頭信息中狀態(tài)碼的一種，也稱為302重定向，302跳轉(zhuǎn)。301重定向與302跳轉(zhuǎn)有什么區(qū)別?1、使用效果不同301重定向是永久的重定向，比較常用于場景是使用域名跳轉(zhuǎn)。搜索引擎在抓取新內(nèi)容的同時也將舊的網(wǎng)址替換為重定向之后的網(wǎng)址。例如：我們訪問 http://www.baidu.com 會跳轉(zhuǎn)到 htt
支持XML格式和TXT文本格式。
搜索引擎通過一種程序robot(又稱spider)，自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游
User-agent: *Disallow: .jpg$jpg可以代替為gif，png 等等...來源：360站長平臺
