新聞中心

• 運營(yíng)知識 | 網(wǎng)站運營(yíng)之禁止搜索引擎收錄和傳遞權重的方法及注意事項

  　　為了避免網(wǎng)站內部競爭等原因，我們常常需要禁止搜索引擎收錄某些特定頁(yè)面或者網(wǎng)站。這種禁止傳遞權重或者禁止搜索引擎收錄的方法有很多，今天就來(lái)推薦幾種常用的禁止搜索引擎收錄網(wǎng)站的方法。

  

  　　一、A標簽加nofollow屬性值禁止傳遞權重

  　　此方法可以用于站內的鏈接，也可以用于站外的鏈接。顧名思義就是告訴搜索引擎，該鏈接頁(yè)面我不準備向他傳遞任何權重。

  　　早些年就有一些SEOER利用NOFOLLOW標簽試圖操作搜索引擎的鏈接流動(dòng)。后期有不少SEO大牛給出一種假設，就是每個(gè)頁(yè)面都會(huì )有一個(gè)相當的權重值，比如某個(gè)頁(yè)面權重是1它也可以像外面投出100個(gè)鏈接的投票，那么每個(gè)鏈接傳遞的權重就是0.01，如果該頁(yè)面100個(gè)鏈接中有30個(gè)是加了NOFOLLOW標簽的，那么你就等于浪費掉了這30票。

  　　使用NOFOLLOW標簽需要注意的是，如果只是通過(guò)NOFOLLOW標簽來(lái)禁止蜘蛛爬行的話(huà)。搜索引擎很有可能通過(guò)其他其他渠道訪(fǎng)問(wèn)到該頁(yè)面，并進(jìn)行索引。

  　　具體寫(xiě)法：

  　　nofollow百度百科的解釋:

  　　這個(gè)標簽的意義是告訴搜索引擎"不要追蹤此網(wǎng)頁(yè)上的鏈接或不要追蹤此特定鏈接"。

  　　nofollow[1] 是一個(gè)HTML標簽的屬性值。它的出現為網(wǎng)站管理員提供了一種方式，即告訴搜索引擎"不要追蹤此網(wǎng)頁(yè)上的鏈接"或"不要追蹤此特定鏈接"。這個(gè)標簽的意義是告訴搜索引擎這個(gè)鏈接不是經(jīng)過(guò)作者信任的，所以這個(gè)鏈接不是一個(gè)信任票。

  　　nofollow標簽是由谷歌領(lǐng)頭創(chuàng )新的一個(gè)“反垃圾鏈接”的標簽，并被百度、yahoo等各大搜索引擎廣泛支持，引用nofollow標簽的目的是：用于指示搜索引擎不要追蹤(即抓取)網(wǎng)頁(yè)上的帶有nofollow屬性的任何出站鏈接，以減少垃圾鏈接的分散網(wǎng)站權重!

  　　簡(jiǎn)單的說(shuō)就是，如果A網(wǎng)頁(yè)上有一個(gè)鏈接指向B網(wǎng)頁(yè)，但A網(wǎng)頁(yè)給這個(gè)鏈接加上了 rel="nofollow" 標注，則搜索引擎不把A網(wǎng)頁(yè)計算入B網(wǎng)頁(yè)的反向鏈接。搜索引擎看到這個(gè)標簽就可能減少或完全取消鏈接的投票權重。

  　　二、META標簽禁止傳遞權重

  　　MEAT標簽禁止搜索引擎收錄的原理和NOFOLLOW屬性標簽一樣，是通過(guò)該標簽，告訴搜索引擎，該頁(yè)面的所有連接都不準備傳遞權重。只不過(guò)該標簽是設置在該頁(yè)面的META標簽里面的。

  　　具體寫(xiě)法： 注釋?zhuān)捍笮?xiě)沒(méi)所謂

  　　三、META標簽禁止收錄當前頁(yè)面

  　　設置原理同上，也是放到使用頁(yè)面的MEAT標簽里面。通過(guò)該標簽，可以告訴搜索引擎，禁止收錄該頁(yè)面。

  　　具體寫(xiě)法：

  　　四、robots.txt文件

  　　robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機器人協(xié)議等)的全稱(chēng)是“網(wǎng)絡(luò )爬蟲(chóng)排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

  　　robots.txt(請使用小寫(xiě))是存在于網(wǎng)站根目錄下的一個(gè)TXT文件，一般來(lái)說(shuō)蜘蛛在爬行網(wǎng)頁(yè)之前都得先去檢索這個(gè)文件。記得今年360搜索引擎還敗訴給百度，就是因為百度設置了某些網(wǎng)頁(yè)不允許任何搜索引擎索引抓取，而360違反了這個(gè)規則?？梢?jiàn)現在ROBOTS規則已經(jīng)明確列入到法律的范圍了，所以用這個(gè)協(xié)議禁止搜索引擎收錄，爬行，是最有效的辦法。

  　　使用方法如下：

  　　User-agent: * 注釋?zhuān)核兴阉饕?/span>

  　　Allow: / 注釋?zhuān)涸试S抓取所有文件

  　　Disallow: /news/ 注釋?zhuān)航棺トews欄目下的文件

  　　需要注意的是， (冒號)后面是需要加空格的，而且規則的第一個(gè)字母要求大寫(xiě)(欄目和文件不用)，如果格式寫(xiě)錯了會(huì )造成不可估量的損失。因為有的網(wǎng)站編碼的問(wèn)題，或者其他問(wèn)題經(jīng)常導致類(lèi)似事件發(fā)生。所以建議各位SEOER還是使用工具來(lái)生成。對于那些已經(jīng)生成ROBOTS的SEOER可以用下面的地址去檢測是否設置正確。

  　　百度站長(cháng)平臺：ROBOTS檢驗工具

  　　ROBOTS生成工具

  　　今天的分享就到這里。以上方法，可以單獨使用，也可以組合使用。