标签：#### 全站 提取 翻页 -- 爬虫 爬取 scrapy 需要

####

爬取新浪新闻全站的新闻，

这算是一个大一点的项目了，要好好的规划，

其实使用scarpy难点，就是两个，一个登陆，一个提取，其他的都不难，scrapy都帮你做好了，

提取也不难，就是需要清洗一下数据，

####

先新建这个目录的层级，

 

 这个目录，

你就要提取三级目标，

这个提取可能比较麻烦，但是不难，

而且可能有多套模板，这样你的爬虫还需要兼顾不同页面的不同模板，

不同页面，要用不同的提取规则，

这是很正常的，

####

如果你写完爬虫，就一劳永逸了，那你的价值在哪里，网站改版了你的爬虫可能就会报错，你就要去处理，

这就是斗争，

所以需要爬虫监控，爬虫告警，

####

编码思路

1，提取分类，要有3级分类，

2，分类下面提取标题和url，

3，提取详情页，正文内容

4，翻页问题，这个不同的网站是不一样的，

翻页的思路就是一直往下翻页，然后找到不能翻页的一个标志，然后就不断的调用自己，就可以了，

这个翻页的思路有递归的知识点，需要再次看一下，

 

这种比较简单，你只需要考虑随机ua和代理反爬，不需要考虑登陆的问题，

要有速度的话，还需要考虑分布式，

###

实际上这种爬虫不使用scrapy完全可以写，就是自己搞定这些事情就可以了，

###

 

 

 

 

#####

标签：####,全站,提取,翻页,--,爬虫,爬取,scrapy,需要
来源： https://www.cnblogs.com/andy0816/p/15257291.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。