一 : 优化robots.txt文件：提高AdSense广告相关匹配度

61阅读（61k.com）11月21日编译：虽然AdSense广告发布商有很多优化自身网站的方法技巧，如选入文字/图片广告、改善首选广告格式、增加广告在网站中的覆盖等，但这些只是少数较为普遍的，这里就有国外相关网站撰文为广告发布商介绍了一种简单却常被忽视的优化技巧，以下是文章的原文。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，它告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

由于AdSense广告是通过使用一个AdSense的网页检索器来显示的，这种蜘蛛程序根据具体的关键字扫描你的网页内容，并决定要显示哪些广告，所以如果在AdSense蜘蛛程序被你的robots.txt文件阻止，那么在你的网站上显示相关的广告将会是件很困难的事情，因此用户可能会看到很少的相关广告，从而导致点击率较低。

对此，发布者需通过［yourdomain.com］/robots.txt查看你的robots.txt文件的内容，（如果你有一个子域名，它可能也有一个robots.txt文件，位于［sub.yourdomain.com］ / robots.txt），确保该文件的设置允许AdSense广告的蜘蛛程序查看你的网站。你可以在文件的顶端加入以下两行：

User-agent： Mediapartners-Google

Disallow：

这将确保AdSense广告的蜘蛛程序可以访问你的网站，并有助于展示更多相关广告，从而使你从中受益。这种变化不会影响你的谷歌搜索排名，没有AdSense广告代码的页面也不会受到影响。

另外，如果你有任何错误的网址，可以登录你的AdSense帐户，点击主页上的“帐户设置”，从那里点击“访问和授权”下的“查看错误”即可查看。（糖糖）

二 : 深入理解robots.txt文件中应该屏蔽哪些目录

但是，你真的知道网站的robots.txt文件设置是否合理，哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。

一、什么是robots.txt
笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站有什么好处
1、快速增加网站权重和访问量;
2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度;
3、为搜索引擎提供一个简洁明了的索引环境

三、哪些网站的目录需要使用robots.txt文件禁止抓取
1)、图片目录
图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags 或者 img;
2)、网站模板目录
如上面 图片目录 中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是：templets
3)、CSS、JS目录的屏蔽
CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是：CSS 或者 style
JS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处：为搜索引擎提供一个简洁明了的索引环境;
4)、屏蔽双页面的内容
这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。
5)、模板缓存目录
很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。
6)被删除的目录
死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意：在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择：默认值 或者 文件，而不应该是：URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下)
这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robots.txt文件中，也没有多大问题，这个我也见过很多网站这样设置的;但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益;其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。另外，大家在做网站后台的时候，也可以在页面元标签中添加：进行搜索引擎的屏蔽抓取。

最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。
这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;

三 : SEO教程 robots.txt文件常见用途

本文将为你介绍最常用的四种robots.txt文件格式。

1. 允许所有的搜索引擎访问网站的任何部分

User-agent: *
Disallow:

(或者也可以建一个空文件 "/robots.txt")

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

3. 禁止所有搜索引擎访问网站中所有的动态页面

User-agent: *
Disallow: /*?*

4. 禁止网站上的程序文件被搜索引擎蜘蛛索引，这样可以节省服务器资源。

一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

User-agent: *
Disallow: /admin/   后台管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     图片
Disallow: /data/       数据库文件
Disallow: /template/   模板文件
Disallow: /css/       样式表文件
Disallow: /lang/      编码文件
Disallow: /script/    脚本文件
注：每个网站的文件夹名字可能会不一样

四 : robots.txt文件的写法

　　网站能不能被搜索引擎索引到，除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外，还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录，这里摘录一些关于robots.txt文件的写法备忘。

　　什么是robots.txt文件

　　搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等)，自动搜集互联网上的网页并获取相关信息。

　　鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

　　robots.txt文件的格式

　　User-agent: 定义搜索引擎的类型

　　Disallow: 定义禁止搜索引擎收录的地址

　　Allow: 定义允许搜索引擎收录的地址

　　我们常用的搜索引擎类型有：

　　google蜘蛛：googlebot

　　百度蜘蛛：baiduspider

　　yahoo蜘蛛：slurp

　　alexa蜘蛛：ia_archiver

　　msn蜘蛛：msnbot

　　altavista蜘蛛：scooter

　　lycos蜘蛛：lycos_spider_(t-rex)

　　alltheweb蜘蛛：fast-webcrawler

　　inktomi蜘蛛： slurp

　　robots.txt文件的写法

　　User-agent: * 　　 这里的*代表的所有的搜索引擎种类，*是一个通配符

　　Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

　　Disallow: /require/ 　 这里定义是禁止爬寻require目录下面的目录

　　Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

　　Disallow: /ABC 这里定义是禁止爬寻ABC整个目录

　　Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

　　Disallow: /*?* 禁止访问网站中所有的动态页面

　　Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片

　　Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件

　　User-agent: * 　　这里的*代表的所有的搜索引擎种类，*是一个通配符

　　Allow: /cgi-bin/　　这里定义是允许爬寻cgi-bin目录下面的目录

　　Allow: /tmp 这里定义是允许爬寻tmp的整个目录

　　Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

　　Allow: .gif$ 允许抓取网页和gif格式图片

　　robots.txt文件用法举例

　　例1. 禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　实例分析：淘宝网的 Robots.txt文件

　　User-agent: Baiduspider

　　Disallow: /

　　很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

　　例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

　　User-agent: *

　　Disallow:

　　例3. 禁止某个搜索引擎的访问

　　User-agent: BadBot

　　Disallow: /

　　例4. 允许某个搜索引擎的访问

　　User-agent: baiduspider

　　Disallow: User-agent: *Disallow: /

　　例5.一个简单例子

　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

　　需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

　　User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　Robot特殊参数：

　　允许 Googlebot：

　　如果您要拦截除 Googlebot 以外的所有漫游器访问您的网页，可以使用下列语法：

　　User-agent:

　　Disallow:/

　　User-agent:Googlebot

　　Disallow:

　　Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。

　　“Allow”扩展名：

　　Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。

　　您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目：

　　User-Agent:Googlebot

　　Disallow:/folder1/

　　Allow:/folder1/myfile.html

　　这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。

　　如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile)，可使用”Allow”规则允许该漫游器的访问。例如：

　　User-agent:Googlebot

　　Disallow:/

　　User-agent:Googlebot-Mobile

　　Allow:

　　使用 * 号匹配字符序列：

　　您可使用星号 (*) 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：

　　User-Agent:Googlebot

　　Disallow:/private*/

　　要拦截对所有包含问号 (?) 的网址的访问，可使用下列条目：

　　User-agent:*

　　Disallow:/*?*

　　使用 $ 匹配网址的结束字符

　　您可使用 $ 字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：

　　User-Agent:Googlebot

　　Disallow:/*.asp$

　　您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置：

　　User-agent:*

　　Allow:/*?$

　　Disallow:/*?

　　Disallow:/ *?

　　一行将拦截包含 ? 的网址(具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址)。

　　Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址)。

　　Robots Meta标签

　　Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样，Robots Meta标签也是放在页面的中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

　　Robots Meta标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

　　index指令告诉搜索机器人抓取该页面;

　　follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

　　Robots Meta标签的缺省值是index和follow，只有inktomi除外，对于它，缺省值是index、nofollow。

　　需要注意的是：上述的robots.txt和Robots Meta标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

　　目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于RobotsMETA标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。

　　Sitemap 网站地图

　　对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。就像这样：

　　Sitemap:http://www.dugutianjiao.com/sitemap.xml

　　目前对此表示支持的搜索引擎公司有Google, Yahoo和MSN。不过，我们建议还是在Google Sitemap进行提交，里面有很多功能可以分析你的链接状态。

　　SEO专题推荐：

　　关键词优化专题：网站关键词优化没效果?来这里学习最实用的关键词优化技巧!

　　内链优化专题：最能提升网站权重的内链部署优化技巧与方法

　　外链建设专题：高质量自然外链怎么做?读完这些你将质的飞跃

　　网站降权专题：2015年最有用的网站降权、被K、被黑、被攻击的解决方法

　　用户体验专题：学习完这些，作为站长的你可以秒懂如何做网站用户体验

　　行业网站专题：优化行业网站的“葵花宝典”看完后无优化压力

本文标题：robots.txt文件-优化robots.txt文件：提高AdSense广告相关匹配度
本文地址： http://www.61k.com/1108456.html