聲明:本網(wǎng)站由東莞網(wǎng)站建設(shè)網(wǎng)站編輯原創(chuàng),如果您本文感興趣,敬請(qǐng)保留文章內(nèi)部鏈接,否則,本站將會(huì)以侵權(quán)進(jìn)行處理。
1. 一般來(lái)說(shuō),谷歌和百度的搜索引擎的蜘蛛都是遵循 robots.txt 給出的規(guī)則來(lái)在你的網(wǎng)站上爬行,robots協(xié)議規(guī)定搜索引擎進(jìn)入你網(wǎng)站的入口就是該網(wǎng)站的 robots.txt文件,但有一個(gè)前提是該robots.txt文件必須存在。如果你的網(wǎng)站沒(méi)有定義robots.txt文件,那么會(huì)是一個(gè)什么情況呢?
顯然蜘蛛會(huì)被重定向至 404 錯(cuò)誤頁(yè)面,很多seoer的經(jīng)驗(yàn),假設(shè)你的網(wǎng)站自定義了 404 頁(yè)面,那么蜘蛛會(huì)把其視作 robots.txt,所以從這里可以看出,沒(méi)有robots.txt文件的網(wǎng)站會(huì)給蜘蛛索引網(wǎng)站帶來(lái)非常大的困擾,從而影響搜索引擎收錄你的網(wǎng)站頁(yè)面內(nèi)容。
2. robots.txt 第二個(gè)好處是可以限止不需要的搜索引掣來(lái)你的網(wǎng)站爬行,以緩解服務(wù)器的寶貴帶寬資源,如郵件服務(wù)器、Erp服務(wù)器,這類服務(wù)對(duì)搜索引擎是沒(méi)有任何意義的;比如淘保網(wǎng)站就用robots限止了蜘蛛的爬行。
3. 如果我的網(wǎng)站有些文件是非公開(kāi)的,那么我可以用robots.txt做說(shuō)明,不讓搜索引掣來(lái)爬行,比如我們網(wǎng)站的后臺(tái)管理程序,實(shí)際上,一些在運(yùn)行中產(chǎn)生臨時(shí)頁(yè)面的網(wǎng)站,假設(shè)沒(méi)有在robots.txt進(jìn)行說(shuō)明,搜索引擎都會(huì)去索引那些臨時(shí)文件。
4. 如果你的網(wǎng)站內(nèi)容,有很多很多的頁(yè)面,,那么配置 robots.txt 是必須的,原因是很多時(shí)候蜘蛛洪水般的訪問(wèn)會(huì)給網(wǎng)站造成巨大的壓力,假設(shè)你不用robots來(lái)控制,有可能會(huì)造成你的網(wǎng)站拒絕訪問(wèn)。
5.一個(gè)網(wǎng)站一般主題是相關(guān)的,那么不可避免地會(huì)產(chǎn)生很多頁(yè)面比較相似的內(nèi)容,對(duì)于搜索引掣來(lái)說(shuō),頁(yè)面相似度太高,它可能會(huì)給你處罰,那么利用robots.txt限制某些頁(yè)面不補(bǔ)收錄就可以很好地幫你解決這個(gè)問(wèn)題。
robots.txt 的風(fēng)險(xiǎn)及應(yīng)對(duì)辦法:
1. 任何事情有好的一面也有不好的一面,robots.txt 在給網(wǎng)站帶來(lái)以上好處的同時(shí)也會(huì)存在一定的風(fēng)險(xiǎn):第一就是給那些不懷好意思的攻擊者指明了你網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)所在的位置,雖然現(xiàn)在我們的服務(wù)器安全提高了好多,但任何事情我們都要做到防范于未然。
比如說(shuō),我的網(wǎng)站中的私密數(shù)據(jù)通過(guò)這個(gè)地址www.athletelifecoach.com/private/index.html# 訪問(wèn),在 robots.txt 中的設(shè)置我是這么設(shè)置的:
User-agent: *
Disallow: /private/
robots.txt文件很明顯地指出了你要隱藏的內(nèi)容在哪里,在瀏覽器中輸入www.athletelifecoach.com/private/# 便可訪問(wèn)我們的私密內(nèi)容。
那么我們要怎么解決這個(gè)問(wèn)題呢?
a.對(duì)/private/目錄設(shè)置訪問(wèn)權(quán)限,比如密碼保護(hù)。
b.將目錄下的默認(rèn)的主頁(yè)面更名為如:123-protect.html,與此同進(jìn),再設(shè)計(jì)一個(gè)新的index.html 文件,頁(yè)面內(nèi)容可以寫(xiě)“不好意思,你沒(méi)有權(quán)限訪問(wèn)此頁(yè)”。
2. 不小心將robots文件設(shè)置錯(cuò)誤,可能會(huì)導(dǎo)致你已經(jīng)被收錄的數(shù)據(jù)會(huì)被搜索引掣給刪除。如:
User-agent: *
Disallow: /
以上兩行代碼的意思就是不讓任何搜索引擎索的蜘蛛來(lái)網(wǎng)站收錄,更多建站資訊請(qǐng)關(guān)注卓越邁創(chuàng)。