小编了解到，robots.txt文件是我们网站中一个很重要的文件，可以帮助搜索引擎了解我们的网站结构，告诉它们我们哪些页面是可以被访问的，那么怎样来编写robots.txt文件呢？接下来小编就给大家介绍一下。
robots.txt文件应该保存在网站的根目录下，如果要让搜索引擎不访问某个文件夹，该目录下的文件则应该 Disallowed。例如：
对于阻止所有搜索引擎访问的文件夹，我们可以添加以下代码：
User-agent: *
Disallow: /folder/
我们还可以阻止某个特定搜索引擎访问我们的网站，例如我们想阻止Baidu访问我们的网站，我们可以添加以下代码：
User-agent: Baiduspider
Disallow: /
这样子我们的robots.txt文件就编写完成了！
原文链接：https://seo.elian5.com/content/tn91idafdhqgllq3jy0h.html