标签：www che168 系列 cars 爬虫 scrapy pip

一、初来乍到-体验
安装scrapy
pip install scrapy
安装 twisted依赖
pip install pywin32
尽量下载和电脑一样的操作系统65win64
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装 wheel

pip install wheel

1.创建scrapy项目
命令行
scrapy startproject ershouche
2.创建scrapy爬虫项目
创建之前进入scrapy项目目录
cd ershouche
命令行
scrapy genspider cars www.che168.com
创建后在spider目录下有个叫cars的文件的爬虫

#注意这里要替换掉成要爬取的网址
start_urls = [‘https://www.che168.com/china/fengtian/#pvareaid=108402#listfilterstart’]

def parse(self, response):
print(‘数据抓回来了’)
print(response.status)
print(‘数据解析玩成’)
命令行运行代码
scrapy crawl cars

打印关键字 日志过滤

scrapy crawl cars -L ERROR

数据抓回来了
200
数据解析玩成

改下爬虫

scrapy genspider news www.che168.com

标签：www,che168,系列,cars,爬虫,scrapy,pip
来源： https://blog.csdn.net/qq_43233737/article/details/119281992

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。