360搜索對Robots協(xié)議的擴展
360搜索對Robots協(xié)議進行了擴展,增加了以下幾個指令: 1. User-Agent:用于指定搜索引擎訪問網(wǎng)站時使用的用戶代理字符串,可以設置多個User-Agent。 2. Crawl-delay:用于指定搜索引擎訪問網(wǎng)站時的延遲時間,單位為秒??梢栽O置針對不同的User-Agent的延遲時間。 3. Sitemap:用于指定網(wǎng)站的sitemap文件的地址,搜索引擎將通過該文件獲取站點的所有URL。 4. Host:用于指定網(wǎng)站的主機名,可以避免因為DNS變化導致搜索引擎爬蟲無法訪問網(wǎng)站。 5. Clean-param:用于指定需要從URL中移除的參數(shù),搜索引擎在訪問網(wǎng)站時會忽略URL中包含的這些參數(shù)。 6. Noindex-nofollow:用于指定不需要被搜索引擎收錄或鏈接的頁面。 這些指令的使用可以讓網(wǎng)站管理員更加靈活地控制搜索引擎爬蟲的訪問行為,以達到更好的SEO效果。