0%

爬虫红线

禁止

  1. 个人隐私数据
  2. 收费的视频文本音乐等并售卖开网站
  3. 同行竞争不遵守robots协议
  4. 国家政府网站
  5. 多线程爬把对方网站爬崩了
  6. 公开破解加密网站(仅供学习可以)

可以爬取

  1. 遵循robots协议
  2. 网站公开数据和接口返回的无加密数据