你是否希望优化你的WordPress站点上的robots.txt文件？你还不确定robots.txt文件对SEO的重要性？我们会为你详细说明这些内容。在这篇文章里，我们会展示给你如何优化你的WordPress的robots.txt文件来达到SEO的效果，并帮你理解robots.txt的重要性。你站点上的robots.txt文件在你网站的整体SEO中扮演着重要的角色。简单的说，它允许你跟搜索引擎交流，让它们知道你站点上的哪些部份应该被编录。
我确实需要一个Robots.txt文件么？
缺少robots.txt文件并不会让搜索引擎停止爬取和收录你的网站。然而，强烈推荐你创建一个。如果你想把你的站点的XML地图提交给搜索引擎，要么你在谷歌站长工具里指定地图，否则搜索引擎会在robots.txt里寻找你的XML站点地图。
如果你的站点没有robots.txt，强烈推荐你马上创建一个。
robots.txt放在哪里？如何创建一个robots.txt文件？
robots.txt通常呆在你站点的根目录。你需要使用ftp客户端连到你的网站或者使用cPanel文件管理器查看它。
它仅仅是个标准文本文件而已，你可以用普通的文本编辑器打开它，象Notepad之类的。
如果你没有一个robots.txt存在于你网站的根目录，那么你总是可以创建一个。你需要做的只是在你的计算机上创建一个新的文本文件并且存为robots.txt，然后，简单的把它上传到你站点的根目录。
如何使用robots.txt文件？
Robots.txt的格式实际上非常简单。第一行通常是用户代理（User-Agent），用户代理实际上就是你试图与之交流的搜索机器人的名字。例如，Googlebot或Bingbot。你可以用*号代表所有机器人。
跟着的下一行是允许还是不允许搜索引擎的指令，这样它们就知道哪些部份你希望它们去收录，哪些不想被收录。
看一个robots.txt的例子：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
在这个WordPress的robots.txt例子中，我们指示所有机器人收录我们的图片上传目录。
后两行我们禁止他们收录我们的WordPress插件目录和readme.html文件。
对你的Robots.txt进行SEO优化。
在站长指南中，谷歌建议网站管理员不要使用robots.txt来隐藏低质量内容。如果你正考虑使用robots.txt来停止谷歌收录你的分类目录，日期，和其它存档页面的话，这并不是个明智的选择。
记住，robots.txt的目的是指示机器人对他们所爬取的你站点上的内容做什么，而不是禁止机器人爬取你的网站。
有另外一些WordPress插件允许为你的存档页面增加nofollow和noindex这样的meta标签。WordPress SEO插件也允许你这样做。我们并不是说你应该禁止你的存档页面被收录，但如果想要这么做，那么增加标签是实现它的正常做法。
你不需要添加你的WordPress登录页，管理目录，或者注册页面到robots.txt文件里，因为WordPress已经为你的登录和注册页面的meta标签里增加了noindex标签。
推荐在你的robots.txt把readme.html设为disallow。这个radme文件可能被试图找出你正在使用的WordPress版本的人利用。如果漏掉这个文件，那么他们很容易就能通过浏览来访问它。
另外，如果某些人针对你的WordPress版本执行一些恶意的查询，disallow标签能保护你免遭大多数攻击。
你也可以禁止你的WordPress插件目录，这能够强化你站点的安全性，防止一些人查找一些缺乏安全性的插件并利用它们来进行一些攻击。
（前面三段真心看不懂，作者是不是把robots.txt当成.htaccess之类的文件了？）
把你的XML站点地图添加到robots.txt。
如果你使用Yoast’s WordPress SEO 插件或其它一些插件来生成你的XML站点地图，那么你的插件会尝试自动把站点地图相关的配置行添加到robots.txt中。（实际上，Yoast’s WordPress SEO插件的作者明确指出过插件不会自动把站点地图添加到robots.txt。原因是该作者认为把站点地图链接放在robots.txt中有些莫名其妙）
然而如果没有成功，你的插件会显示你站点地图的链接给你，你可以手工把它们增加到robots.txt，象下面一样：
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
一个理想的robots.txt文件看起来应该是什么样子？
老实说，许多流行的站点使用很简单的robots.txt文件。他们内容各异，取决于特定站点的需求：
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
这个robots.txt简单的告诉所有机器人收录所有内容并且提供了XML站点地图的链接。
这是另一个robots.txt的例子，这次是一个WP入门者网站使用的robots.txt文件：
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.wpbeginner.com/post-sitemap.xml Sitemap: http://www.wpbeginner.com/page-sitemap.xml Sitemap: http://www.wpbeginner.com/deals-sitemap.xml Sitemap: http://www.wpbeginner.com/hosting-sitemap.xml
就这些了。我们希望本文能够帮你学习如何优化WordPress的robots.txt，以达到更好的SEO效果。
原创文章，作者：苏葳，如需转载，请注明出处：https://www.swmemo.com/1858.html
