百度訴奇虎360違反“Robots協(xié)議”抓取、復(fù)制其網(wǎng)站內(nèi)容侵權(quán)一案,將于10月16日在北京市第一中級人民法院開庭審理。百度認(rèn)為,360搜索在未獲得百度公司允許的情況下,違反業(yè)內(nèi)公認(rèn)的Robots協(xié)議,抓取百度旗下百度知道、百度百科、百度貼吧等網(wǎng)站的內(nèi)容,已經(jīng)構(gòu)成了不正當(dāng)競爭,并向奇虎索賠1億元。
Robots協(xié)議,又稱機(jī)器人協(xié)議或爬蟲協(xié)議,該協(xié)議就搜索引擎抓取網(wǎng)站內(nèi)容的范圍作了約定,包括網(wǎng)站是否希望被搜索引擎抓取,哪些內(nèi)容不允許被抓取,網(wǎng)絡(luò)爬蟲據(jù)此“自覺地”抓取或者不抓取該網(wǎng)頁內(nèi)容。自推出以來Robots協(xié)議已成為國際慣例,基本上所有搜索服務(wù)提供商都做到了自覺嚴(yán)格遵守。
據(jù)了解,Robots協(xié)議的目的是為保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息以及用戶個人信息和隱私不被侵犯,網(wǎng)站所有者擁有Robots協(xié)議自主的設(shè)定權(quán)利。早在2008年淘寶通過Robots協(xié)議以保護(hù)商業(yè)信息為由不同程度禁止百度、谷歌等搜索爬蟲對其商品信息的抓取,百度等搜索遵守了Robots協(xié)議,停止抓取淘寶網(wǎng)內(nèi)容。
2012年11月,中國《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》首次將遵守Robots協(xié)議(爬蟲協(xié)議)的規(guī)定納入實(shí)質(zhì)性條款,確定了Robots協(xié)議作為行業(yè)規(guī)范的地位。《自律公約》第七條明確指出,搜索引擎服務(wù)應(yīng)當(dāng)“遵循國際通行的行業(yè)慣例與商業(yè)規(guī)則,遵守機(jī)器人協(xié)議(Robots協(xié)議)”,第九條則規(guī)定了違反Robots協(xié)議抓取內(nèi)容的企業(yè),應(yīng)在收到權(quán)利人符合法律規(guī)定的通知后,及時刪除、斷開侵權(quán)鏈接,努力維護(hù)健康有序的網(wǎng)絡(luò)環(huán)境。
據(jù)悉,百度、搜狗、360等12家搜索引擎服務(wù)商現(xiàn)場簽署了公約,就Robots協(xié)議相關(guān)規(guī)定達(dá)成一致。但360搜索在自律公約簽署之后仍然繼續(xù)抓取百度相關(guān)內(nèi)容網(wǎng)站內(nèi)容和快照結(jié)果。