标签：robots 爬虫 parse scrapy debug txt 调试

Outline

因为爬虫代码突然爬取失败了，因此拿来调试；

用pycharm调试scrapy爬虫代码时，代码思路、流程都是ok的，理论来说应该可以按逻辑走，而且以前也是调通过的；

但就是无法debug到 parse() 方法中；

问题定位

 看了下scrapy打印的日志，看到了上图信息；

关键点在这里：robots.txt、Forbidden by robots.txt

目标网站的 robots 协议不允许，爬虫、搜索引擎向目标URL发送POST请求，然而我的操作就是向其发送POST；

（robotst.txt 会告诉爬虫、搜索引擎哪些页面可以抓取，哪些页面不能抓取，进而起到限制的效果。）

解决

解决这个问题应该着眼于 robots.txt，幸运的是scrapy框架可以直接在配置项中解决这个问题；

scrapy 项目目录下有一个 settings.py 文件；

里面有这么个默认配置：

# Obey robots.txt rules
ROBOTSTXT_OBEY = True  # 默认为True

他的作用是：是否遵守 robots.txt 的规则

Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

我们可以将此项设置为False，拒绝遵守robots协议，进而规避掉一些爬虫失败风险

（拿来实验可以，建议大家还是要遵守人家的robots协议）

# Obey robots.txt rules
ROBOTSTXT_OBEY = False  # 默认为True

改了之后问题解决，可以debug进parse方法了~

参考

关于如何用pycharm调试scrapy，可以参考：

https://www.cnblogs.com/bigtreei/p/14701520.html

 

标签：robots,爬虫,parse,scrapy,debug,txt,调试
来源： https://www.cnblogs.com/bigtreei/p/14750429.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。