根據北大法寶案例庫的統計，截至2023年1月，我國境內發生的與爬蟲軟件有關的公開案件約580件，其中刑事案件約80件，民事案件約100件，知識產權與不正當競爭糾紛案件約400件，並且案件數量呈逐年增加的趨勢。在各異的判決中，被告們普遍喜歡以“（爬蟲）技術中立”作為抗辯事由。本文擬就爬蟲軟件使用的合規邊界進行探討。
一、爬蟲軟件的定義
1993年，英國斯特靈大學計算機中心管理員Jonathon Fletcher為了讓電腦瀏覽器的頁麵能夠自動更新，設計了世界上第一款網頁搜索引擎JumpStation，該軟件在一年的時間內記錄了世界範圍內的27萬5千個網頁，以致斯特靈大學沒有足夠的服務器空間來存放這些資料，這類搜索軟件被後人賦予了另一個名字——網絡爬蟲（Web Crawler）。盡jin筆bi者zhe所suo知zhi，我wo國guo目mu前qian對dui網wang絡luo爬pa蟲chong尚shang未wei法fa律lv法fa規gui層ceng麵mian的de定ding義yi，但dan是shi經jing過guo多duo年nian的de發fa展zhan，爬pa蟲chong軟ruan件jian的de功gong能neng與yu定ding位wei並bing未wei脫tuo離li最zui初chu的de設she計ji，按an照zhao互hu聯lian網wang行xing業ye觀guan點dian，爬pa蟲chong軟ruan件jian一yi般ban是shi指zhi一yi種zhong按an照zhao一yi定ding的de規gui則ze，自zi動dong地di抓zhua取qu某mou類lei信xin息xi的de程cheng序xu或huo者zhe腳jiao本ben。
業內一般觀點認為爬蟲技術應當具有以下特征：（1）“抓取”應當是指按照製定規則解析並提取所需的網頁數據，並下載到本地形成數據備份的行為；（2）抓取的“互聯網信息”僅jin限xian於yu前qian端duan網wang頁ye信xin息xi，不bu會hui獲huo取qu網wang站zhan的de後hou台tai權quan限xian。前qian述shu特te征zheng也ye是shi爬pa蟲chong技ji術shu與yu能neng夠gou侵qin入ru計ji算suan機ji內nei存cun或huo截jie取qu網wang絡luo封feng包bao的de黑hei客ke技ji術shu或huo計ji算suan機ji病bing毒du之zhi間jian的de根gen本ben性xing差cha異yi。從cong技ji術shu層ceng麵mian，計ji算suan機ji病bing毒du是shi指zhi人ren為wei製zhi造zao的de，具ju有you傳chuan染ran性xing、qianfuxingde，duijisuanjixinxihuoxitongqipohuaizuoyongdechengxu。erheikejishushizhiduijisuanjixitonghewangluodequexianheloudongdefaxian，yijizhenduizhexiequexianshishigongjidejishu，keyiyongyidaoqujisuanjishuju。
二、爬蟲軟件技術中立性司法認定及合規邊界分析
2022年3月，最高人民法院對大連倍通數據平台管理中心與崔某吉侵害爬蟲技術秘密糾紛案（以下簡稱“倍通案”）做出終審判決，法院認為爬蟲技術信息可以納入商業秘密保護客體範疇，故最終支持了技術方的主張。我國《反不正當競爭法》第1條明確規定僅有經營者和消費者的“合法權益”才cai能neng得de到dao該gai法fa的de保bao護hu，因yin此ci倍bei通tong案an從cong一yi定ding程cheng度du上shang認ren可ke了le爬pa蟲chong技ji術shu的de中zhong立li性xing，創chuang造zao或huo者zhe持chi有you爬pa蟲chong技ji術shu並bing不bu具ju有you當dang然ran的de違wei法fa性xing。但dan這zhe種zhong技ji術shu中zhong立li性xing不bu應ying延yan伸shen至zhi爬pa蟲chong技ji術shu的de使shi用yong場chang景jing中zhong，成cheng為wei使shi用yong爬pa蟲chong技ji術shu的de免mian責ze事shi由you。
技ji術shu的de中zhong立li性xing在zai於yu該gai技ji術shu被bei創chuang造zao時shi可ke能neng被bei用yong於yu不bu特te定ding的de目mu的de，故gu在zai不bu結jie合he使shi用yong場chang景jing時shi，技ji術shu不bu具ju有you明ming確que的de可ke歸gui責ze性xing，以yi爬pa蟲chong技ji術shu而er言yan，需xu要yao甄zhen別bie技ji術shu所suo爬pa取qu的de信xin息xi類lei型xing，個ge案an分fen析xi確que定ding爬pa蟲chong技ji術shu的de使shi用yong是shi否fou違wei規gui，例li如ru爬pa取qu公gong開kai信xin息xi和he非fei公gong開kai信xin息xi在zai合he規gui性xing上shang就jiu存cun在zai區qu別bie。從cong大da量liang的de案an例li來lai看kan，duiyupachongruanjianshiyongheguixingderendingxujiyuduipaquxingweihebeipaxinxidefenxi，zhiyaozhenbiechunaxiexingweichufanfalv，naxiebeipaxinxishoudaofalvbaohu，quedingcunzaihezhongheguifengxian，jiukeyidazhituidaochugaicipachongruanjiandeshiyongshifouhegui，zheyeshiquedingpachongruanjianshiyongheguibianjiedeguanjiansuozai。
三、爬蟲技術使用過程中應關注的合規風險
（一）爬取個人信息存在的合規風險
zaishiyongpachongpaqugerenxinxideyewuchangjingzhong，yinbeipaquzhewangwangweibutedingrenqun，juedaduoshuqingxingxiabuhuishixianqudebeipaquzhetongyi，zhiyoupaqufanweixiandingweiziyingwangyehuoapp時，才會通過簽訂《用戶協議》或《隱私協議》的方式取得事先授權，但如果是自營網頁或app，wanquankeyitongguohoutaizhijietiaoqushuju，meiyoubiyaoshiyongwangluopachongjishu。yinci，weifangerenxinxibaohushipachongruanjianzuichangjiandeweiguiqingxing。weijingtarentongyi，paqutarengerenxinxide，mianlinruxiafalvfengxianjizeren：
1、民事責任：處理個人信息侵害個人信息權益造成損害，個人信息處理者不能證明自己沒有過錯的，應當承擔損害賠償等侵權責任。（《個人信息保護法》第69條）
2、刑事責任：觸犯《刑法》第253條[1]，以江蘇省(2019)蘇08刑終216號案為例，犯罪分子研發並運營具有付費查詢公民個人借貸信息、身份證照片信息等功能的“黑爬蟲”網站，謀取非法利益，最終被追究刑事責任。
《民法典》、《個人信息保護法》、《網絡安全法》、最高院及最高檢《關於辦理侵犯公民個人信息刑事案件適用法律若幹問題的解釋》中均對個人信息進行了定義，其中以《民法典》第1034條的定義最為詳實：“個人信息是以電子或者其他方式記錄的能夠單獨或者與其他信息結合識別特定自然人的各種信息，包括自然人的姓名、出生日期、身份證件號碼、生物識別信息、住址、電話號碼、電子郵箱、健康信息、行蹤信息等。”實shi踐jian中zhong，個ge人ren信xin息xi的de呈cheng現xian情qing形xing遠yuan比bi前qian述shu法fa律lv定ding義yi複fu雜za，需xu要yao爬pa蟲chong使shi用yong者zhe結jie合he法fa律lv定ding義yi進jin行xing個ge案an辨bian識shi，提ti前qian辨bian別bie個ge人ren信xin息xi，避bi免mian爬pa取qu個ge人ren信xin息xi或huo及ji時shi對dui信xin息xi“去標識化”。
（二）爬取著作權作品存在的合規風險
實踐中大量盜版網站的素材來自網絡爬蟲所爬取的正版網站資源，此類侵權案件屢見不鮮，涉及的法律風險及責任如下：
1、民事責任：存在侵犯著作權行為的，應當根據情況，承擔停止侵害、消除影響、賠禮道歉、賠償損失等民事責任。（《著作權法》第52條）
2、刑事責任：如果行為人通過爬蟲非法獲取他人享有著作權的文字作品、音樂、電影、電視、錄像作品、jisuanjiruanjianjiqitazuopin，bingshishiletongguoxinxiwangluoxianggongzhongchuanbogaizuopindengxingwei，huozheweijingzhuzuoquanrenhuozheyuzhuzuoquanyouguandequanlirenxuke，guyibikaihuozhepohuaiquanlirenweiqizuopin、錄音錄像製品等采取的保護著作權或者與著作權有關的權利的技術措施的，則可能觸犯《刑法》第217[2]條規定，構成侵犯著作權罪。
相(xiang)較(jiao)於(yu)個(ge)人(ren)信(xin)息(xi)，著(zhu)作(zuo)權(quan)作(zuo)品(pin)更(geng)具(ju)有(you)明(ming)確(que)的(de)特(te)征(zheng)和(he)辨(bian)識(shi)度(du)，在(zai)爬(pa)蟲(chong)軟(ruan)件(jian)侵(qin)犯(fan)著(zhu)作(zuo)權(quan)的(de)案(an)件(jian)中(zhong)，行(xing)為(wei)人(ren)往(wang)往(wang)不(bu)會(hui)因(yin)為(wei)識(shi)別(bie)不(bu)清(qing)而(er)誤(wu)觸(chu)法(fa)律(lv)底(di)線(xian)。需(xu)要(yao)注(zhu)意(yi)的(de)是(shi)，改(gai)變(bian)爬(pa)取(qu)的(de)形(xing)式(shi)或(huo)被(bei)爬(pa)信(xin)息(xi)的(de)呈(cheng)現(xian)方(fang)式(shi)並(bing)不(bu)能(neng)改(gai)變(bian)此(ci)類(lei)案(an)件(jian)侵(qin)犯(fan)著(zhu)作(zuo)權(quan)的(de)行(xing)為(wei)本(ben)質(zhi)，行(xing)為(wei)人(ren)不(bu)應(ying)抱(bao)有(you)僥(jiao)幸(xing)心(xin)理(li)。以(yi)上(shang)海(hai)市(shi)(2017)滬0104刑初325號案為例，被告人段其飛在互聯網上設立視頻網站，利用搜索爬蟲技術，針對其他視頻網站的影視作品設置加框鏈接，並設置目錄、索引、內容簡介、排pai行xing榜bang等deng，吸xi引yin用yong戶hu點dian擊ji播bo放fang，另ling屏ping蔽bi所suo鏈lian影ying視shi作zuo品pin的de片pian頭tou廣guang告gao，在zai所suo設she網wang站zhan網wang頁ye內nei發fa布bu廣guang告gao後hou從cong網wang絡luo廣guang告gao聯lian盟meng處chu收shou取qu費fei用yong牟mou利li。換huan言yan之zhi，本ben案an中zhong爬pa蟲chong軟ruan件jian並bing沒mei有you爬pa取qu數shu據ju本ben身shen，而er是shi爬pa取qu了le數shu據ju鏈lian接jie，該gai等deng行xing為wei仍reng被bei法fa院yuan認ren定ding為wei構gou成cheng侵qin犯fan著zhu作zuo權quan罪zui。
（三）爬取國家事務信息存在的合規風險
爬取公檢法機構或事業單位發布的國家事務信息，存在違反《刑法》第285條[3]規定，構成非法侵入計算機信息係統罪的風險。以四川省德昌縣(2018)川3424刑初169號hao案an件jian為wei例li，被bei告gao人ren李li文wen環huan使shi用yong爬pa蟲chong軟ruan件jian，大da量liang爬pa取qu全quan國guo各ge地di及ji涼liang山shan州zhou公gong安an局ju交jiao警jing支zhi隊dui車che管guan所suo公gong告gao的de車che牌pai放fang號hao信xin息xi，之zhi後hou使shi用yong軟ruan件jian采cai用yong多duo線xian程cheng提ti交jiao、批量刷單、驗證碼自動識別等方式，突破係統安全保護措施，將爬取的車牌號提交至“交通安全服務管理平台"車che輛liang報bao廢fei查zha詢xun係xi統tong，進jin行xing對dui比bi，並bing根gen據ju反fan饋kui情qing況kuang自zi動dong記ji錄lu未wei注zhu冊ce車che牌pai號hao，建jian立li全quan國guo未wei注zhu冊ce車che牌pai號hao數shu據ju庫ku。李li文wen環huan之zhi後hou編bian寫xie客ke戶hu端duan查zha詢xun軟ruan件jian，由you李li文wen環huan通tong過guoQQ、淘寶、微信等方式，以300-3000元每月的價格，分省市販賣數據庫查閱權限。其行為被認定為非法侵入計算機信息係統而被追究刑事責任。
國guo家jia事shi務wu信xin息xi尚shang無wu明ming確que法fa律lv界jie定ding，實shi踐jian中zhong主zhu要yao通tong過guo信xin息xi發fa布bu的de主zhu體ti和he用yong途tu來lai辨bian識shi，公gong檢jian法fa機ji構gou或huo事shi業ye單dan位wei因yin公gong發fa布bu的de信xin息xi較jiao有you可ke能neng屬shu於yu國guo家jia事shi務wu信xin息xi範fan圍wei，爬pa蟲chong使shi用yong者zhe應ying注zhu意yi避bi免mian對dui此ci類lei信xin息xi的de爬pa取qu。
（四）爬取商業秘密信息存在的合規風險
ruqianwensuoshu，wangluopachongpaqudexinxiduoweiqianduanwangyexinxi，erhenshaoyouqiyehuibashangyemimixinxifangzaiqianduanwangyezhong，yincisifashijianzhongxianyouwangluopachongqinfanshangyemimideanjian。danxuzhuyideshi，youyuwangluopachongpaqudashujujuyouxiantiandeyoushi，lirudaliangpaquB站頁麵的用戶信息就能獲取B站用戶的性別構成、年齡構成、增zeng長chang數shu量liang等deng重zhong要yao商shang業ye信xin息xi。因yin此ci，如ru果guo可ke以yi通tong過guo大da數shu據ju收shou集ji獲huo取qu或huo推tui導dao出chu某mou商shang業ye秘mi密mi信xin息xi，而er所suo需xu收shou集ji的de大da數shu據ju的de全quan部bu或huo大da部bu分fen信xin息xi能neng被bei網wang絡luo爬pa蟲chong爬pa取qu，那na麼me理li論lun上shang網wang絡luo爬pa蟲chong就jiu具ju有you侵qin犯fan該gai商shang業ye秘mi密mi信xin息xi的de可ke能neng性xing及ji風feng險xian。
（五）爬取其他非公開信息存在的合規風險
除了個人信息、著作權作品、guojiashiwuxinxiwai，paquqitafeigongkaixinxiyekenengcunzaiheguifengxian。qianshufeigongkaixinxizaipachongruanjianqinquanchangjingzhongbingwumingquedefalvjieding，zhishizaianjianzhong，xinxirucaiquleyidingjishushouduanbaohuerwufabeizhijiequdezekenengbeirenweishifeigongkaixinxi，paqugaileixinxikenengchufan《刑法》第285條[4]規定的非法獲取計算機信息係統數據、非法控製計算機信息係統罪。
《刑法》第285條的規定具有較大的解釋空間，該罪名屬於“口袋罪名”，在上述侵權案件中不要求信息的保護手段具有較高的水平，可以是robots協議保護[5]、IP限製、訪問監控或其他反爬取保護技術。以浙江省(2015)浙杭刑終字第378號案為例，被告利用爬蟲軟件爬取淘寶店鋪cookie[6]，並利用cookie獲取用戶訂單信息。cookie技術本身並不具有較好的反爬取能力，但cookie的使用使得其搭載的信息成為了非公開信息，被告的爬取因此構成違法行為。
（六）爬取行為本身存在的合規風險
在不考慮被爬信息特殊性的情況下，單就爬取行為本身而言，如爬取行為具有破壞性，則存在觸犯刑法第286條[7]deheguifengxian。ruqianwensuoshu，wangluopachongyingjinnengpaquqianduanwangyexinxi，erbunengruqindiannaochengxu，gulilunshangwangluopachongbuhuizaochengjisuanjiyingjianhuoxitongyanzhongsunhui，yingjiaonanchujipohuaijisuanjixinxixitongzuidengzuiming，danshijianzhongrengcunzaiyigaileizuiminglunchudeanjian，yibizhejingyanhelijie，kenengcunzailiangzhongqingkuang：（1）該類案件並沒有區分網絡技術和計算機病毒、黑客技術，案件並非嚴格意義上的爬蟲侵權案件；（2）爬蟲被過度使用，占用了大量計算機資源，造成了係統崩潰。在此情況下，爬蟲使用者將可能承擔民事侵權賠償責任或刑事責任。
綜上，為避免爬蟲軟件使用過程中的違規風險，在使用爬蟲軟件時，可按照下圖所示步驟進行合規性判斷：
注釋：
[1] 違反國家有關規定，向他人出售或者提供公民個人信息，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。竊取或者以其他方法非法獲取公民個人信息的，依照第一款的規定處罰。
[2] 《刑法》第217條規定：以yi營ying利li為wei目mu的de，侵qin犯fan著zhu作zuo權quan或huo者zhe與yu著zhu作zuo權quan有you關guan的de權quan利li的de情qing形xing之zhi一yi，違wei法fa所suo得de數shu額e較jiao大da或huo者zhe有you其qi他ta嚴yan重zhong情qing節jie的de，處chu三san年nian以yi下xia有you期qi徒tu刑xing，並bing處chu或huo者zhe單dan處chu罰fa金jin；違法所得數額巨大或者有其他特別嚴重情節的，處三年以上十年以下有期徒刑，並處罰金。
[3] 《刑法》第285條規定：違反國家規定，侵入國家事務、國防建設、尖端科學技術領域的計算機信息係統的，處三年以下有期徒刑或者拘役。
[4] 違反國家規定，侵入計算機信息係統或者采用其他技術手段，獲取該計算機信息係統中存儲、處理或者傳輸的數據，或者對該計算機信息係統實施非法控製，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
[5] 是指網站可建立一個robots.txt文件來告訴爬蟲哪些頁麵可以抓取,哪些頁麵不能抓取,而爬蟲則通過讀取robots.txt文件來識別這個頁麵是否允許被抓取，robots.txt文件本身不具有強製力。
[6] 當用戶瀏覽淘寶網頁時，由網頁服務器置於用戶硬盤上的一個非常小的文本文件（cookie），它可以記錄用戶的用戶ID、密碼、停留的時間等信息，方便用戶再次進入店鋪。
[7] 《刑法》第286條規定：“違反國家規定，對計算機信息係統功能進行刪除、修改、增加、幹擾，造成計算機信息係統不能正常運行，後果嚴重的，處五年以下有期徒刑或者拘役；後果特別嚴重的，處五年以上有期徒刑。”
