robots.txt是一個協(xié)議，而不是一個命令。Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件，robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器。

　　robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個網(wǎng)站(比如 http://www.abc.com)時，首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件，如果 Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

　　例如：

　　User-agent: Baiduspider

　　Disallow: /

　　robots.txt文件的格式：

　　"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開

　　User-agent:

　　該項的值用于描述搜索引擎robot的名字。

　　Disallow表示：

　　說明不允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。

　　舉例：

　　"Disallow:/help" 禁止robot訪問/help.html、/helpabc.html、/help 、/index.html

　　"Disallow:/help/" 則允許robot訪問/help.html

　　Allow格式：

　　與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。

　　以上就是對robots協(xié)議是什么意思?robots.txt文件放在哪里的全部介紹，如果您想了解更多有關(guān)SEO相關(guān)知識，請及時關(guān)注我們。