在360推出搜索业务一年之后,3B大战再次爆发,百度创造性的使用Robots协议白名单禁止360抓取百度百科、百度贴吧和百度知道的内容,并起诉360不遵守Robots协议,但在协议中谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取相关内容。
对此重庆邮电大学城市化战略研究院院长童大焕在接受记者采访时称:
为狙击360搜索,百度通过Robots协议歧视性阻止360搜索对其网站内容进行抓取,还向媒体大量散布所谓360公司违反Robots协议的言论,试图通过百度自身的影响力,说服行业主管部门和行业协会,把Robots协议搬到中国作为行业标准,以此对搜索领域的对手形成竞争壁垒。
这反映出一些互联网公司为了眼前的商业利益、违背基本互联网精神的价值观错乱,一旦形成行业壁垒,却有可能摧毁基本的互联网精神。
Robots协议是1994年提出、成立以来一直未经标准组织备案的非官方、非行业标准,Robots协议创始人MartijnKoster也曾明确说明,“如果该协议被当成市场竞争工具,爬虫不需要采纳”,明确提出如果该协议被当成市场竞争攻击,所有现在和未来的机器人(搜索引擎)不必遵从Robots协议。
原生Robots协议是网站指导爬虫的善意性提示文件,Robots协议作为一个.TXT文件,是网站内容为了更有效率的被搜索引擎索引,而为爬虫做出提示,只用允许和不允许两种语句表示建议抓哪些内容,不建议抓哪些内容,所有这些提示性建议都是善意的,这种善意的提示一般会被爬虫接受。
童大焕称:百度通过白名单、黑名单的机制,限制360搜索引擎索引其内容,而允许其他搜索引擎索引其内容,既不公平,也违背了Robots协议的初衷,更违背了互联网开放、分享的精神。任其滥用,必将造成行业竞争壁垒,导致搜索引擎信息呈现达不到尽可能完整的目的,阻碍搜索市场的信息自由,损害网民利益。
相关新闻:







































