很多朋友都會問沈陽網(wǎng)站建設(shè)如何被搜索引擎收錄？我的網(wǎng)站為什么還沒有被收錄？等等這樣的話題，我們也寫過很多關(guān)于這樣的文章，其實還有很多朋友他們還有這樣的困擾，比如我的有些東西不想被搜索引擎收錄我該怎么辦呢？今天我們就來和大家聊聊不讓搜索引擎收錄的方法。

那么問題來了robots.txt文件因該放在哪里呢? robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個網(wǎng)站（比如 http://www.nftprojectcrowds.com）時，首先會檢查該網(wǎng)站中是否存在http://www.nftprojectcrowds.com/robots.txt這個文件，如果 Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

如您還有網(wǎng)站方面的疑問歡迎您來訪我們沈陽網(wǎng)站建設(shè)。