做了偽靜態(tài),為什么網(wǎng)站日志里抓取的還是動(dòng)態(tài)地址?
song 提問(wèn)于 3年 之前
網(wǎng)站上線三個(gè)多月了,上線前就做了偽靜態(tài),目前被收錄近萬(wàn)的頁(yè)面都是偽靜態(tài)地址,線上沒(méi)有動(dòng)態(tài)地址的入口,為什么網(wǎng)站日志里抓取的全部都是動(dòng)態(tài)地址呢?
網(wǎng)兼吧 回復(fù)于 3年 之前
用robots.txt禁止抓取呢
3 個(gè)回答
Zac 管理員 回答于 3年 之前
如果搜索引擎蜘蛛沒(méi)有在什么地方看到動(dòng)態(tài)網(wǎng)址,蜘蛛不會(huì)把靜態(tài)URL改寫(xiě)成動(dòng)態(tài)的,搜索引擎無(wú)法知道頁(yè)面是動(dòng)態(tài)的還是靜態(tài)的,即使猜測(cè)是動(dòng)態(tài)改寫(xiě)成靜態(tài)的,它也不知道對(duì)應(yīng)的動(dòng)態(tài)URL是什么樣的。所以蜘蛛一定是在什么地方讀到了動(dòng)態(tài)網(wǎng)址。
可能是網(wǎng)站上你沒(méi)注意的什么地方出現(xiàn)了動(dòng)態(tài)URL,或者服務(wù)器由于某種原因,靜態(tài)URL會(huì)被自動(dòng)改寫(xiě)、轉(zhuǎn)向?yàn)閯?dòng)態(tài)URL,或者服務(wù)器日志自動(dòng)匹配為動(dòng)態(tài)URL?
stevezhou 回答于 3年 之前
這個(gè)要具體看,寬泛的有很多原因可能會(huì)造成這種情況。
在js調(diào)用動(dòng)態(tài)地址,是可能會(huì)被蜘蛛識(shí)別到的。
或者非SEO人員做了動(dòng)態(tài)地址的外鏈。
或者些其它原因,比如你偽靜態(tài)地址的實(shí)現(xiàn)方式。
…
黃小泉 回答于 3年 之前
一般很多大型的網(wǎng)站會(huì)出現(xiàn)這類問(wèn)題,特別是上幾十萬(wàn)頁(yè)面的網(wǎng)站,這說(shuō)明你的動(dòng)態(tài)URL沒(méi)有處理完成,不夠全面! 列舉幾個(gè):
1、網(wǎng)站地圖動(dòng)態(tài)地址更換成偽靜態(tài)地址,是否做了?(包括txt+xml+html格式的sitemap都檢查下)
2、產(chǎn)品列表頁(yè)面動(dòng)態(tài)地址是否完善了?
3、搜索結(jié)果頁(yè)是否做了? 如果都做了,恭喜您沒(méi)有了哈哈。。
來(lái)源:SEO每天一貼 Zac 昝輝