你是否曾忘記在建站初期編寫robots.txt文件,導(dǎo)致不希望被搜索引擎收錄的內(nèi)容被收錄了呢?別擔(dān)心,機(jī)器人文件的生效時(shí)間其實(shí)并不長(zhǎng)。百度李透露,雖然不同網(wǎng)站略有差異,但通常只需幾天時(shí)間。
想象一下機(jī)器人文件生效的過(guò)程:蜘蛛發(fā)現(xiàn)文件修改,將信息反饋給搜索引擎,然后分析文件的修改內(nèi)容,最后刪除不允許收錄的索引數(shù)據(jù)。這個(gè)過(guò)程可能還有其他步驟,但由于蜘蛛的爬行頻率和網(wǎng)站權(quán)重的不同,每個(gè)網(wǎng)站蜘蛛發(fā)現(xiàn)變化的時(shí)間和處理優(yōu)先級(jí)也會(huì)有所不同。
所以,機(jī)器人文件的生效時(shí)間并不固定。如果你發(fā)現(xiàn)機(jī)器人文件長(zhǎng)時(shí)間未生效,可以在百度投訴中心進(jìn)行反饋。