一、结论先行：判断爬虫是否合法，看四个变量
「爬虫违法吗」这个问题没有统一答案，因为法律规范的从来不是技术本身，而是抓取方式与使用后果。可操作的判断框架包含四个变量：
- 访问对象：抓的是无需登录即可访问的公开页面、需登录的用户区、还是后台管理接口。
- 技术手段：是否遵守 robots 协议、是否绕过验证码与频率限制、是否伪造身份凭证、是否破解加密接口。
- 数据内容：是否含个人信息、是否属他人商业秘密、是否为受著作权保护的作品或数据库、是否可能构成重要数据。
- 后果与用途：是否造成目标系统负载异常或瘫痪、是否形成对原平台的实质性替代、是否用于转卖或训练商业模型。
四个变量中，技术手段与用途后果的权重最高。同样抓取公开页面，遵守协议、低频访问、仅作分析参考，风险很低；绕过防护、高频并发、整体复制并对外提供替代服务，则可能同时触发刑事、民事、行政三条线。
二、刑事线：三个罪名与各自的落脚点
| 罪名 | 条文 | 爬虫场景下的构成要点 |
|---|---|---|
| 非法获取计算机信息系统数据罪 | 刑法第二百八十五条第二款 | 违反国家规定，侵入或采用其他技术手段获取系统内数据，情节严重。核心在「突破防护」 |
| 破坏计算机信息系统罪 | 刑法第二百八十六条 | 对系统功能、数据、应用程序删除修改增加干扰，后果严重。高频请求致服务瘫痪可能落入 |
| 侵犯公民个人信息罪 | 刑法第二百五十三条之一 | 抓取的信息属于公民个人信息且达到情节严重标准 |
「公开数据」不是绝对抗辩。司法实践的基本逻辑是：公开可访问意味着他人可以正常浏览，并不意味着可以无限制地批量获取；若行为人通过破解验证码、伪造请求头、轮换代理IP突破频率限制等技术手段，使原本受限的访问变为不受限的获取，仍可能被评价为「其他技术手段」。反之，遵守 robots 协议、不突破任何技术措施的常规访问，通常不构成该罪。
「情节严重」的量化标准由《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》（法释〔2011〕19号）第一条设定，包括身份认证信息组数、违法所得数额、经济损失数额等指标。援引时必须核对现行文本与具体数值，并按数据类型对应正确的档次。
破坏计算机信息系统罪的风险常被低估。并发数过高导致目标网站响应缓慢、服务中断，只要造成后果严重，即使行为人主观上只想「抓点数据」，也可能构成该罪。技术上「加个限速」这一步，法律意义远大于工程意义。
三、民事线：不正当竞争、著作权与个人信息侵权
不正当竞争是数据抓取案件中最常见的民事路径。《反不正当竞争法》就经营者利用技术手段妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行作了禁止性规定（该条在2025年修订后条序有调整，援引时以现行文本为准）。裁判关注的核心是：抓取行为是否实质性替代了原平台的服务、是否损害了原平台的商业模式与用户粘性、是否违背商业道德与诚实信用。
判断「实质性替代」的常见指标包括：抓取的数据范围是否覆盖原平台的核心内容、抓取后是否以相同或近似方式向用户提供、是否导致原平台流量与交易机会明显下降、是否破坏原平台的展示规则（如去除水印、跳过广告、绕过付费墙）。
著作权路径适用于抓取作品内容（文章、图片、视频、评论）并公开传播的情形，涉及复制权、信息网络传播权；数据库若构成汇编作品亦可主张。需要注意的是，单纯抓取事实性数据通常不构成著作权侵权，但抓取他人具有独创性的编排与选择则可能落入。
个人信息侵权适用于抓取内容含个人信息的情形，请求权基础是《个人信息保护法》与《民法典》人格权编。此时「公开」同样不是免责理由——依据《个人信息保护法》第二十七条，处理已公开的个人信息应当在合理范围内，且对个人权益有重大影响的，仍应取得个人同意。
四、行政线：三条容易被忽略的监管义务
一是网络运行安全义务。抓取行为若影响目标系统正常运行，可能触发《网络安全法》关于不得从事危害网络安全活动的规定。
二是数据安全义务。抓取并汇聚形成规模数据集的，可能触及《数据安全法》关于数据分类分级、重要数据识别的要求；若汇聚结果达到重要数据标准而未申报，风险由「抓取」转为「持有」。
三是个人信息处理者义务。一旦以自身名义处理抓取所得的个人信息，即成为独立的个人信息处理者，须履行告知、同意、最小必要、安全保障、影响评估、权利响应等全套义务。「数据不是我收集的」不能免责——处理者身份由实际处理行为决定，不由数据来源决定。
五、四步判断表：把场景落进格子
| 场景 | 刑事风险 | 民事风险 | 建议 |
|---|---|---|---|
| 遵守 robots、低频抓取公开新闻标题用于内部分析 | 低 | 低（注意不得全文转载） | 留存抓取日志与用途说明 |
| 抓取公开商品价格用于比价工具并对外展示 | 低至中 | 中至高（实质性替代风险） | 限字段、限频率、标注来源、不复制评价内容 |
| 绕过验证码批量抓取用户昵称与头像 | 高（突破技术措施＋个人信息） | 高 | 不做。已做的应立即停止并清理 |
| 抓取需登录的用户资料库 | 高 | 高 | 须有明确授权，且不得超出授权范围 |
| 高频并发抓取致目标站点瘫痪 | 高（破坏计算机信息系统罪） | 高（赔偿损失） | 严格限速与熔断，事前沟通授权 |
| 抓取数据转卖给第三方 | 高 | 高 | 禁止。转卖是量刑与赔偿的加重因素 |
六、企业侧七项内控措施
- 抓取清单化：每个抓取任务登记目标站点、字段、频率、用途、存放位置、保留期限，形成台账。
- 协议与技术双合规：读取并遵守 robots 协议；不绕过验证码、不伪造凭证、不破解加密接口。
- 限速与熔断：设置并发上限与响应时间阈值，目标站点异常时自动停止。
- 字段最小化：只取业务必需字段，主动剔除个人信息与敏感字段，能匿名化即匿名化。
- 用途锁定：抓取数据仅用于声明的分析目的，禁止二次转售、禁止用于对外提供替代性服务。
- 来源与授权留痕：保存 robots 记录、抓取时间戳、对方授权文件（如有）、沟通记录。
- 定期清理：到期删除，避免「抓的时候是少量，几年后变成大量」的数量累积风险。
七、被爬企业的应对路径
如果企业是被爬一方，可用的工具依次是：技术措施（频率限制、验证码、签名校验、行为风控）、合同措施（用户协议与 robots 声明、API 授权条款）、民事救济（不正当竞争之诉、著作权之诉、行为保全）、投诉与举报（向网信、市场监管部门举报）、刑事报案（系统被侵入、数据被非法获取且有明确损失）。
其中行为保全（诉前禁令）往往是最有效的即时手段，但需要提供明确的侵权证据与担保。因此平时就要做好三件事：日志完整留存、异常访问可识别、损失可量化。
八、常见问题
问：遵守 robots 协议就一定合法吗？不一定。robots 只是行业惯例与技术声明，不构成授权。违反它未必违法，遵守它也不必然免责——若抓取内容含个人信息、构成实质性替代或造成系统损害，仍可能承担责任。
问：抓取公开的裁判文书、企业工商信息合法吗？风险相对较低，但要看用途：用于数据分析一般可以，用于批量转售、用于形成替代性数据库服务，则可能触发不正当竞争或数据来源合法性争议。同时须剔除其中的个人信息。
问：API 授权抓取就完全安全吗？要看授权范围。超出约定字段、频率、用途使用，仍构成违约甚至侵权。授权协议中的数据使用限制条款是关键证据。
问：员工个人写爬虫，公司能否切割责任？取决于公司是否知情、是否获益、是否有管理措施。有明确禁止性制度、有技术管控、发现后及时处置并留痕，是有效切割的基础。
归根到底，爬虫合规不是「能不能爬」的是非题，而是「以什么方式爬、爬什么、爬完做什么」的分寸题。把这三个问题在需求阶段回答清楚并留下书面记录，绝大多数风险可以在源头化解。
法条与依据核验：《刑法》第二百五十三条之一、第二百八十五条、第二百八十六条；《反不正当竞争法》（2025年修订，2025年10月15日施行，涉网络不正当竞争行为的条文条序已调整，援引前须核对现行文本）；《著作权法》；《个人信息保护法》第二十七条；《民法典》人格权编；《网络安全法》；《数据安全法》；《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》（法释〔2011〕19号）第一条。本文未引具体案号，所涉裁判思路为一般性归纳，个案结论以生效裁判为准。
