一、结论先行：合法性判断落在三个支点上
第三方数据抓取是否合法，不能笼统回答，需要落到三个支点上逐一判断。三个支点全部通过，抓取行为的法律风险才比较可控：
- 授权支点：是否取得有效授权。使用自动化工具访问、收集网络数据的，应当评估对网络服务带来的影响，不得非法侵入他人网络，不得干扰网络服务正常运行（《网络数据安全管理条例》第十八条）。任何组织、个人收集数据，应当采取合法、正当的方式，不得窃取或者以其他非法方式获取数据（《数据安全法》第三十二条）。授权来源于用户协议、开放平台接口协议、书面许可，或者数据本身属于依法公开且未明确拒绝处理的个人信息。
- 技术措施支点：是否避开或者破坏技术管理措施。经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者的合法权益，扰乱市场竞争秩序（《反不正当竞争法》2025年修订第十三条第三款）。绕过验证码、破解登录鉴权、伪造请求签名等行为，直接落入该项。
- 影响支点：是否损害他人合法权益或者扰乱竞争秩序。即使取得了形式上的访问权限，抓取行为造成服务器负载异常、服务不可用，或者形成对原数据服务的实质性替代，仍可能构成违法或者不正当竞争。
二、授权范围：从何而来，边界在哪
（一）三类授权来源
- 开放平台接口协议。通过官方开放接口获取数据，授权范围以接口文档与开发者协议确定。超出约定用途、约定频次或者约定字段使用数据的，属于超授权使用。
- 用户协议与服务条款。被访问网站的用户协议中通常包含禁止自动化抓取、限制访问频次的条款。该类条款的约束力需结合是否以合理方式提请注意、是否属于格式条款的效力判断等因素综合认定。
- 书面许可与商业合作安排。通过数据合作合同取得授权，应当明确数据范围、使用目的、存储期限、二次提供限制与安全义务。
（二）robots协议的定位
robots协议是网站与爬虫之间的行业惯例与自律规范，本身不属于法律或者行政法规，违反它不直接产生法定责任。但在争议中，robots协议有双重作用：一方面，它是判断抓取方是否具有「未经授权」主观状态的重要辅助证据；另一方面，被访问网站通过robots协议作出的禁止性声明，可以用来说明抓取方未尽合理注意义务。因此，robots协议的合规价值在于证据，而不在于它的强制力。
（三）已公开个人信息的处理边界
个人信息处理者可以在合理的范围内处理个人自行公开或者其他已经合法公开的个人信息；个人明确拒绝的，不得处理；处理已公开的个人信息对个人权益有重大影响的，应当依照法律规定取得个人同意（《个人信息保护法》第二十七条）。据此，抓取已公开的个人信息并非当然合法：合理的范围、个人的明确拒绝、对权益的重大影响这三项要素，都需要逐项评估。
三、行政法规层面的具体要求
《网络数据安全管理条例》（国务院令第790号，自2025年1月1日起施行）对自动化工具访问、收集网络数据作了专门规定，构成判断抓取行为合规性的直接依据：
- 禁止非法获取与工具提供（第八条）。任何个人、组织不得利用网络数据从事非法活动，不得从事窃取或者以其他非法方式获取网络数据、非法出售或者非法向他人提供网络数据等非法网络数据处理活动；不得提供专门用于从事前述非法活动的程序、工具；明知他人从事前述非法活动的，不得为其提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助。
- 自动化工具访问的合规要求（第十八条）。网络数据处理者使用自动化工具访问、收集网络数据，应当评估对网络服务带来的影响，不得非法侵入他人网络，不得干扰网络服务正常运行。
- 自动化采集后的删除与匿名化义务（第二十四条）。因使用自动化采集技术等无法避免采集到非必要个人信息或者未依法取得个人同意的个人信息，以及个人注销账号的，网络数据处理者应当删除个人信息或者进行匿名化处理；法律、行政法规规定的保存期限未届满，或者删除、匿名化处理从技术上难以实现的，应当停止除存储和采取必要的安全保护措施之外的处理。
配合《数据安全法》第二十七条的全流程数据安全管理制度义务与第三十二条的合法正当收集义务，可以形成一条清晰的行政义务链条：抓取前评估影响，抓取中不得侵入与干扰，抓取后对非必要、未同意的个人信息及时删除或者匿名化。
四、民事、行政与刑事责任的界分
| 责任类型 | 典型行为 | 主要依据 | 责任形式 |
|---|---|---|---|
| 民事责任 | 违反平台协议抓取并转售数据；造成服务器负担、服务中断；侵害个人信息权益 | 《民法典》合同编与侵权责任编、《个人信息保护法》第六十九条 | 停止侵害、删除、赔偿损失；个人信息侵权适用过错推定 |
| 不正当竞争责任 | 避开或者破坏技术管理措施获取、使用他人合法持有的数据；形成实质性替代 | 《反不正当竞争法》（2025年修订）第十三条第三款、第二十二条 | 停止违法行为、赔偿损失、合理开支，法定赔偿五百万元以下 |
| 行政责任 | 非法获取网络数据；自动化工具非法侵入或者干扰网络服务；未删除、未匿名化非必要个人信息 | 《网络数据安全管理条例》第八条、第十八条、第二十四条及其法律责任章；《数据安全法》第四十五条、第五十一条 | 责令改正、警告、罚款、暂停相关业务、停业整顿、吊销许可证或营业执照 |
| 刑事责任 | 侵入计算机信息系统或者采用其他技术手段获取该系统中存储、处理、传输的数据；破坏计算机信息系统 | 《刑法》第二百八十五条第二款、第二百八十六条；侵犯公民个人信息另涉第二百五十三条之一 | 有期徒刑、拘役，并处或者单处罚金 |
该表的使用方法是从下往上核对：一旦行为触及「非法侵入」或者「避开技术措施」，风险等级会显著上升，因为同一行为可能同时触发竞争法责任、行政责任与刑事责任。相反，仅在授权范围内按频次抓取公开数据、且不做实质性替代的，主要风险集中在合同责任层面。
五、竞争法路径：数据权益保护的新规则
（一）2025年修订确立的专门条款
《反不正当竞争法》于2025年6月27日第二次修订，自2025年10月15日起施行。修订后的第十三条第三款规定：经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者的合法权益，扰乱市场竞争秩序。相应的处罚由第二十九条规定：由监督检查部门责令停止违法行为，处十万元以上一百万元以下罚款；情节严重的，处一百万元以上五百万元以下罚款。
（二）条号变更对照
引用该条时需要注意条号变更。2025年修订前，网络不正当竞争行为的专门规定位于第十二条（俗称互联网专条），修订后网络不正当竞争行为的集中规定调整为第十三条；其中「避开或者破坏技术管理措施获取、使用数据」属于2025年修订新增的内容。因此，旧文献、旧裁判文书中的「第十二条」应当对照现行第十三条理解，条号不得直接照抄。
（三）与商业秘密保护路径的关系
如果被抓取的数据构成商业秘密，还可以适用侵犯商业秘密的规则：经营者不得以盗窃、贿赂、欺诈、胁迫、电子侵入或者其他不正当手段获取权利人的商业秘密（《反不正当竞争法》2025年修订第十条）。商业秘密的路径要求权利人证明保密性、价值性与保密措施，举证门槛高于数据条款，但在赔偿计算上（含惩罚性赔偿）可能更有优势。
六、合规要点
（一）抓取方一侧
- 优先使用官方开放接口，并在协议约定范围内使用数据；确需网页抓取的，事前评估频次、并发与时段对目标服务的影响。
- 不绕过、不破解验证码、登录鉴权、签名校验等任何技术管理措施。
- 对抓取过程中不可避免取得的非必要个人信息，建立删除或者匿名化处理机制，并保留处理记录。
- 不转售、不二次提供原始数据，避免形成对原数据服务的实质性替代。
- 留存合规评估记录、访问日志与授权文件，形成完整的合规证据链。
（二）被访问方一侧
- 通过用户协议、robots协议、访问频次限制、监控告警等方式明确授权边界，并保留已提示的证据。
- 发现异常访问的，及时固定证据：访问日志、IP记录、请求特征、服务器负载数据、用户投诉记录。
- 维权路径的选择上，应当区分合同违约、不正当竞争、个人信息侵权与刑事报案，按举证难度与赔偿预期确定组合方案。
七、常见问答
问：抓取公开可见的网页数据，需要取得授权吗？
答：需要区分数据的性质与使用方式。公开可见不等于可以任意抓取和任意使用。使用自动化工具访问、收集网络数据，应当评估对网络服务的影响，不得非法侵入他人网络，不得干扰网络服务正常运行（《网络数据安全管理条例》第十八条）；涉及个人信息的，还受合理的处理范围、个人明确拒绝等规则约束（《个人信息保护法》第二十七条）。
问：违反robots协议会承担法律责任吗？
答：robots协议本身不属于法律或者行政法规，违反它不直接产生法定责任。但robots协议是判断抓取方是否具有「未经授权」主观状态的重要证据，也可能被用于说明抓取方未尽合理注意义务。在竞争法争议中，它通常作为辅助证据而非独立请求权基础。
问：抓取行为被认定为「避开或者破坏技术管理措施」后，会有什么后果？
答：可能同时触发三类责任：依据《反不正当竞争法》第十三条第三款与第二十九条承担民事赔偿与行政处罚；依据《网络数据安全管理条例》第八条、第十八条承担行政责任；情节严重的，还可能涉及《刑法》第二百八十五条第二款、第二百八十六条的刑事责任。
问：抓取到的个人信息中含有不必要的字段，应当怎么处理？
答：因使用自动化采集技术等无法避免采集到非必要个人信息或者未依法取得个人同意的个人信息的，应当删除个人信息或者进行匿名化处理；从技术上难以实现的，应当停止除存储和采取必要的安全保护措施之外的处理（《网络数据安全管理条例》第二十四条）。
问：提供抓取工具或者爬虫软件，本身违法吗？
答：需要区分工具的性质与提供者的主观状态。《网络数据安全管理条例》第八条明确，不得提供专门用于从事非法活动的程序、工具；明知他人从事非法网络数据处理活动而提供技术支持、服务器托管、广告推广、支付结算等帮助的，同样被禁止。通用型工具与专门用于非法获取数据的工具，在认定上不同，但提供者均需评估使用场景的合法性。
问：数据抓取纠纷中，赔偿数额如何确定？
答：不正当竞争纠纷中，赔偿数额按照权利人因被侵权所受到的实际损失或者侵权人因侵权所获得的利益确定，并包括为制止侵权行为所支付的合理开支；难以确定的，由人民法院根据侵权行为的情节判决给予权利人五百万元以下的赔偿（《反不正当竞争法》2025年修订第二十二条）。涉及个人信息的侵权另适用个人信息保护法的赔偿规则。
八、法条与依据核验
本文引用的规范与条文如下：
- 《网络数据安全管理条例》（国务院令第790号，2024年8月30日国务院第40次常务会议通过，2024年9月24日公布，自2025年1月1日起施行）第八条、第十八条、第二十四条。
- 《中华人民共和国数据安全法》（自2021年9月1日起施行）第二十七条（全流程数据安全管理制度）、第三十二条（合法正当方式收集数据）、第四十五条（不履行数据安全保护义务的法律责任）、第五十一条（窃取或者以其他非法方式获取数据等的处罚衔接）。
- 《中华人民共和国个人信息保护法》第十三条（处理个人信息的合法性基础）、第二十七条（已公开个人信息的处理规则）、第六十九条（侵权损害赔偿的过错推定）。
- 《中华人民共和国反不正当竞争法》（2025年6月27日第二次修订，主席令第五十号，自2025年10月15日起施行）第十条（侵犯商业秘密，含电子侵入）、第十三条第三款（不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式获取、使用其他经营者合法持有的数据）、第二十二条（民事赔偿）、第二十九条（行政处罚）。条号对照：2025年修订前网络不正当竞争行为的专门规定为第十二条，修订后为第十三条，「避开或者破坏技术管理措施获取、使用数据」系本次修订新增。
- 《中华人民共和国刑法》第二百八十五条第二款（非法获取计算机信息系统数据、非法控制计算机信息系统罪）、第二百八十六条（破坏计算机信息系统罪）、第二百五十三条之一（侵犯公民个人信息罪）。
- 《中华人民共和国民法典》第一千零三十五条（处理个人信息的原则与条件）、第一千一百六十五条（过错侵权责任）。
说明与提示：robots协议的性质表述为行业惯例与自律规范，其法律地位在理论与实务中仍有讨论，本文未将其表述为法律依据。数据抓取的竞争法认定标准（尤其是「实质性替代」与「正当性」的判断）实务中存在争议，各地裁判尺度并不完全统一。上述规范可能修订，具体适用请以全国人民代表大会及其常务委员会、国务院、最高人民法院官方公布文本为准。
