最近，大数据行业，特别是涉及到爬虫技术的大数据公司接连出事，风波不断，不是被警方带走或被查封人公司，就是自行停止了数据爬虫服务。一时间，大数据公司是不是会像P2P一样，成多米诺骨牌效应，引发猜测和行业恐慌。
一只简单的网络爬虫，应该遵守网络世界的“丛林法则”，否则在蝴蝶效应下，足以引发严重的法律后果。特别是当网络爬虫爬取内容涉及到作品类内容或个人信息时，可能会涉嫌侵犯知识产权或侵犯公民个人信息犯罪；而当网络爬虫采取技术措施故意绕开反爬虫技术措施，或系统增删改时，可能会涉及到破坏计算机信息系统罪；最后，若网络爬虫涉及数据类攫取时，则可能涉及一些企业之间的不当竞争，或非法获取计算机信息系统数据罪类罪名。
网络数据行业如何更好的利用爬虫？司法实践如何看待数据爬虫？爬虫又应当如何进行法律风控？程序猿码农们又该如何自处？
2014年8月7日，围绕360搜索引擎是否违反Robots协议而引发的不正当竞争纠纷案，在北京市第一中级人民法院作出一审判决，认定被告北京奇虎科技有限公司的行为违反了反不正当竞争法的相关规定，应赔偿原告北京百度网讯科技有限公司、百度在线网络技术（北京）有限公司经济损失及合理支出共计70万元，同时驳回百度公司的其他诉请。案件发生的根源，有人总结为是360对百度应用型数据的觊觎。 这是一场数据争夺之战！
案件结果过来后，@360搜索官方声称：【法院判定360搜索可抓取百度内容：自由竞争的胜利】对于百度滥用Robots协议，以白名单机制限制360搜索发展的做法，法院持不支持态度，在判决书的第五条，法院判百度必须修改Robots协议，而百度要求法院禁止360抓取百度内容的要求被否决。业界评论认为，这是互联网精神的胜利！
Robots协议（也称爬虫协议、爬虫规则、机器人协议、蜘蛛协议等）由荷兰籍网络工程师Martijn Koster 于1994年首次提出，是一个搜索引擎的国际默认公约，任何网站只要在其Robots中禁止搜索引擎访问，那么搜索引擎就无权收录。有人形象地比喻为：搜索引擎在互联网上就像国王，网站就是每个人的小家，而Robots协议则是对抗国王的最后利器，正所谓“风能进雨能进国王不能进”。“Robots协议”已经被互联网江湖认定为除“避风港规则”外的第二本武功秘籍。
在本案出来之前，已经有类似案例出现，但本案具有特殊性。该案关系互联网行业尤其是搜索引擎的基本游戏规则。
有关屏蔽的相关案例
1:Facebook屏蔽谷歌
2:默多克旗下多家新闻网站屏蔽搜索爬虫，后妥协开发
3:2008年淘宝屏蔽百度搜索引擎
4:2013年8月，淘宝屏蔽与[微信](http://www.blog2019.net/tag/%E5%BE%AE%E4%BF%A1?tagId=63)的一切数据链接，目前已开放
5:2011年10月，京东屏蔽一淘搜索
6:优酷屏蔽了百度与谷歌的搜索引擎；09年3月份，优酷又一次开放了百度谷歌的视频搜索
7:QQ空间自05年诞生时就没有开放给百度与谷歌；2012年QQ空间向百度与谷歌开放
8:百度对竞争对手360搜索进行了屏蔽
百度当然希望所有网站都不要对其抓取进行“Robots协议”的限制。但百度推出的“百度知道”等，均对360的抓取进行单独屏蔽。而360绕行“Robots协议”，仍然进行抓取。由于“Robots协议”被默认为公约、行业习惯、道德规范，因此有部分学者认定其在国内可以援引，具有法律效力（刘春田教授）。但360认为，“Robots协议”属于善意提示性文件，不是法律。而且百度唯独排斥360抓取其网站数据的行为，也构成不正当竞争，是滥用权利。 对于360的观点，法院认为，
“有鉴于互联网行业，尤其是搜索引擎行业的现状，并考虑到互联网行业内已建立了互联网协会这一成熟的行业自律组织，以及在行业内已经形成《自律公约》这样专门解决该类纠纷的自律性公约的事实，
搜索引擎服务商与网站服务商或所有者关于Robots协议产生纠纷时，应遵循如下“协商-通知”程序处理：即在搜索引擎服务商认为网站Robots协议设置不合理时，应先向网站服务商或所有者提出书面修改
Robots协议的请求，网站服务商或所有者不同意修改Robots协议的，应在合理的期限内，书面、明确的提出其拒绝修改的合理理由，如搜索引擎服务商认为网站服务商或所有者提出的合理理由不成立的，
双方可以由相关行业协会调解和裁决，紧急情况下可以采取诸如诉讼、申请行为保全等法律措施予以解决。”
“在判决书的第五条，法院判百度必须修改Robots协议，而百度要求法院禁止360抓取百度内容的要求被否决。”——360官方微博公布的内容
最终，法院的判决结果值得玩味，“北京一中院一审判决认定，被告奇虎公司的行为违反了反不正当竞争法第二条的规定，应当承担相应的民事责任。被告自其搜索引擎推出伊始至《自律公约》签订之日期间的行为已经构成不正当竞争，应对原告予以赔偿。”
“由于两原告并未指出被告的不当行为给两原告造成了何种商业信誉上的损失，故而两原告要求被告消除影响的诉讼请求缺乏事实和法律依据，法院不予支持。据此，法院一审判决奇虎赔偿百度经济损失及合理支出共计人民币70万元，驳回百度公司的其他诉请。”
一方面360告知百度快照的抓取和复制已经在开庭前早已停止，因此无必要判决被告停止不正当竞争行为；另一方面，未来360是否真的可以继续抓取百度网站的数据。结合以上新闻报道摘录的信息，最终还是需要具体看判决全文。
至于70万元的赔偿损失，主要还是认定在特定时期内360的行为（如抓取、复制百度快照的行为）已经构成不正当竞争。
依据的是我国《反不正当竞争法》第二条，原则性条款。可见互联网竞争领域的复杂性，往往求救于“原则”来判案。微主认为，在确实没有具体规则可以适用时，法官不得逃避判决的职责，援引作为规则的原则是完全可以的；如同之前北京二中院独创的互联网企业之间遵循的另外一个原则——公益不干预必要性原则）。
