厦门seo
厦门seo
叶荣钦SEO博客-专注网络营销推广,为企业提供网站SEO顾问、SEO优化以及网站诊断等服务! 联系QQ:联系我

WordPress网站的robots.txt文件写法

SEO优化 yrqseo 1231℃ 0评论

SEO优化的都知道robots.txt文件的重要性,但相信很多刚做SEO优化的新手们都在想我网站上线后需要测试,但是又怕一上线百度蜘蛛就来抓取怎么办呢?这个问题其实很简单,只要写个robots.txt文件就可以了。

robots.txt写法
接下来我就用最简单的方式给大家讲一下怎么写这个robots文件的规则。就拿叶荣钦SEO这个博客讲吧!下面这些事我博客的robots限制:

//这个是WordPress程序的robots,如果你用的是WordPress程序下面这些你可以直接拿去用
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-login.php

Sitemap: http://www.fjseoer.com/sitemap.xml

禁止所有搜索引擎抓取网站的任何部分写法:

User-agent: *
Disallow: /

允许所有搜索引擎抓取写法:

User-agent: *
Allow: /

只允许Baiduspider访问网站:

User-agent: Baiduspider
Allow: /

只禁止Baiduspider访问网站:

User-agent: Baiduspider
Disallow: /

其他搜索引擎的robots写法都一是样的,接下来再给大家讲一下禁止蜘蛛抓取某个目录的写法,还有禁止或抓取百度蜘蛛抓取网站上的所有图片。
1、例如禁止蜘蛛抓取某个目录的写法:

User-agent: *
Disallow: /wp-admin/ //这样就是告诉搜索引擎不要抓取wp-admin这个目录。

2、禁止百度蜘蛛抓取网站图片写法:

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

3、只允许Baiduspider抓取页面中的.gif图片

User-agent: Baiduspider
Allow: /*.gif$

这些都规则只作为参考,robots.txt文件要根据您网站的实际情况来写,把你觉得不像被搜索引擎抓取的内容写进了就可以。还有一点要注意就是允许搜索引擎抓取的不用写进来。

转载请注明:叶荣钦SEO博客 » WordPress网站的robots.txt文件写法

喜欢 (2)or分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)