无忧技术网 - RSS订阅 
无忧技术网

Googlebot-News 爬虫跟 Googlebot 合并


作者:[佚名] - 发布:2011-8-28 21:38:06 - 来源:谷奥

Google宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容,新闻爬虫将被Googlebot网页爬虫所代替,至此Google就只有这一种爬虫了。

如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引,你不必做任何改变,Google还是会像以前那样抓取你的内容。只不过在你查看服务器日志的时候,不会再看到Googlebot-News爬虫的身影了,取而代之的是统一的Googlebot爬虫。

如果你依然不想让Google News收录你的网站新闻,那么还是可以在robots.txt里使用Disallow标签来告诉Googlebot-News爬虫而不必手动改成Googlebot爬虫,因为Google会明白你的意思。

其实这样改的好处在于你只需要写同一个语句,即可同时阻止Google网页爬虫和新闻爬虫的索引,不必为每个爬虫单独设置规定了。

责任编辑:liqwei
打印本页】【关闭本页】【返回列表
·上一篇:国内免费 DNS 服务商
·下一篇:免费企业邮箱服务商对比
 文章评分
  • current rating
-5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5
 相关文章
·[互联网]香奈儿胜诉,法官命令Google和Facebook从索引中删除数百个网站 (2011-11-30)
·[软件信息]Chrome 扩展已支持 TTS 语言合成 (2011-10-21)
·[会展培训]Google Developer Day 2011 北京、上海和广州站开始报名 (2011-09-14)
·[会展培训]Google 2011合作伙伴日开始注册了! (2011-08-18)
·[互联网]Google Analytics 改进跟踪代码发送请求方式引领统计行业发展 (2011-04-21)
 相关评论
 站点最新文章 更多>> 
·[经典影音]弱点
·[经典影音]萨利机长
·[经典影音]天空之眼
·[管理知识]康奈尔笔记法,提高100%学习效率
·[管理知识]刘强东:我管75000人靠这4张表格
·[管理知识]跟壳牌学HSE管理
·[运营策划]编辑工作内容整理
·[至理名言]奋斗与决定
·[瀚海拾遗]盲人打灯笼之各家论道
·[搞笑段子]中国男足
 站点浏览最多 更多>> 
·[协议规范]http断点续传原理:http头 Range、…
·[JS/CSS/HTML]HTML 空格的表示符号 nbsp / en…
·[NoSQL]Mongo数据库简介
·[协议规范]什么是SPF记录?如何设置、检测SP…
·[协议规范]图解 HTTPS 通信过程
·[PHP]精选国外免费PHP空间推荐
·[程序综合]常用IP地址查询接口
·[程序综合]什么是 DNS Prefetch ?
·[程序综合]获取客户端IP地址的三个HTTP请求…
·[Linux]/usr 目录的由来