為什么要禁止搜索引擎收錄？武漢做網(wǎng)站的公司—武漢盛世互聯(lián)小編為你介紹：一般我們網(wǎng)站可能會有較大的文件，如：圖片、FLASH、JS、視頻等，為了節(jié)省寬帶，也為了方便搜索引擎抓取，我們會設(shè)置robots協(xié)議，禁止搜索引擎收錄。如果你希望搜索引擎收錄網(wǎng)站所有的內(nèi)容，就不要建立robots.txt協(xié)議。

    武漢做網(wǎng)站的公司|禁止搜索引擎收錄的方法

    一般來說spider在訪問一個網(wǎng)站時，最先就是查看網(wǎng)站的robots.txt，用于指定蜘蛛抓取網(wǎng)站上的數(shù)據(jù)。在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    robots.txt文件放在哪里？

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。當(dāng)spider訪問一個網(wǎng)站，比如武漢做網(wǎng)站的公司—盛世互聯(lián)官網(wǎng)：http://m.381889.com時，首先會檢查該網(wǎng)站中是否存在http://m.381889.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。如圖下：

    禁止搜索引擎收錄的方法

一、禁止搜索引擎跟蹤網(wǎng)頁的鏈接，而只對網(wǎng)頁建索引

    如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權(quán)重，請將此元標(biāo)記置入網(wǎng)頁的部分：

二、如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標(biāo)記直接寫在某條鏈接上：

三、要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請將此元標(biāo)記置入網(wǎng)頁的部分：

四、我想禁止百度圖片搜索收錄某些圖片，該如何設(shè)置？

    禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過設(shè)置robots實現(xiàn)，例：

1、禁止Baiduspider抓取網(wǎng)站上所有圖片，僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

2、僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片，允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片。

3、僅禁止Baiduspider抓取.jpg格式圖片

    最后需要說明的是：百度會嚴(yán)格遵守robots的相關(guān)協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。想了解更多可閱讀武漢網(wǎng)站優(yōu)化的相關(guān)新聞。