网站上无意义的页面,低质量或特殊的页面,可以设置机器人元标记告知谷歌蜘蛛这个页面不接受爬取或索引,在页面<head> 使用meta robot nofollow或noindex标记。          


两个主要设置:

  • index / noindex:是否允许爬虫索引页面,指示 Google 是否要在 Google 搜索结果中显示此网页

  • follow / nofollow:是否允许爬虫爬取页面,是否允许跟踪页面上的任何链接


(理解这两句话,这篇文章就不用看了的。)


添加方法:

在<head>里添加

1. 告知所有抓取工具这个页面不需要抓取和索引:

<meta name="robots" content="noindex, nofollow">


2. 告知所有抓取工具这个页面需要抓取和索引:

<meta name="robots" content="index, follow">  


3. 告知所有抓取工具这个页面不允许索引,但可以抓取页面上的任何链接:

<meta name="robots" content="noindex, follow"> 


4. 告知所有抓取工具这个页面允许索引,但不可以抓取页面上的任何链接:

<meta name="robots" content="index, nofollow">  

Tips: 默认情况下,两者都设置为“true”,因此如果您对此没有问题,则无需设置此标签。

备注:

1. name 属性的值 (robots) 指定此指令适用于所有抓取工具,包括搜索引擎和非搜索引擎抓取工具如需针对特定的抓取工具,可将 name 属性的 robots 值替换为这个抓取工具的名称。如:

只想阻止 Google 将您的网页编入索引,可撰写为:   

<meta name="googlebot" content="noindex">

2. 如需屏蔽非搜索抓取工具(例如 AdsBot-Google),可添加针对具体抓取工具的指令,例如 : 

<meta name="AdsBot-Google" content="noindex">。


3. robots nofollow与链接级别属性不同,链接级别nofollow属性会阻止 Googlebot 跟踪单个链接,使用 rel="nofollow",如下图:

         

4. disallow: 应用在robots.txt中,告诉搜索引擎不要抓取这个网页,但这并不能保证该页面不会被索引。

5. Google 抓取工具(用户代理):

  • Googlebot(桌面版):Googlebot

  • Googlebot(智能手机版):Googlebot

  • Googlebot Video:Googlebot-Video 或 Googlebot

  • Googlebot News:Googlebot-News  或 Googlebot

  • Googlebot Image:Googlebot-Image 或 Googlebot


  • AdsBot: 检查桌面版网页广告质量。(会忽略 * 通配符)

  • AdsBot Mobile Web Android: AdsBot-Google-Mobile 检查 Android 网页广告质量。(会忽略 * 通配符。)

  • AdsBot Mobile Web: AdsBot-Google-Mobile 检查 iPhone 网页广告质量。(会忽略 * 通配符)

  • AdSense: Mediapartners-Google


  • Mobile AdSense: Mediapartners-Google

  • Mobile Apps Android: 检查 Android 应用页面广告质量。遵循 AdsBot-Google 漫游器规则。(会忽略 * 通配符)

  • APIs-Google: APIs-Google


  • Google StoreBot: Storebot-Google

  • Google Favicon: Googlebot-Image / Googlebot

  • Google Read Aloud: Google-Read-Aloud(不会遵循 robots.txt 规则)


  • Feedfetcher: FeedFetcher-Google(不会遵循 robots.txt 规则)

  • Google 网站验证工具:Google-Site-Verification(会忽略 robots.txt 规则

    第5点以后出篇详细的文章。


点赞(1) 打赏

评论列表 共有 0 条评论

暂无评论

服务号

订阅号

备注【拉群】

商务洽谈

微信联系站长

发表
评论
立即
投稿
返回
顶部