标签：框架 创建 scrapy spiderName install pip 安装

安装scrapy

安装命令

pip install wheel
pip install twisted
pip install pywin32
pip install scrapy

测试

在终端里录入scrapy指令，没有报错即表示安装成功！

创建项目

创建工程命令

scrapy startproject xxxPro

进入项目

cd xxxPro

在spiders子目录中创建一个爬虫文件

scrapy genspider spiderName www.xxx.com

执行工程命令

scrapy crawl spiderName

应用

项目使用介绍

工程创建完成后项目目录如下

spiderName为爬虫原文件唯一标识

相关处理代码放在spiderName文件中
请求头需要标识的 修改settings配置

实战

我们用太屋网房源网站进行数据分析实战

打印出来的结果是一个Selector对象
我们需要进行处理

我们可以看到现在取出了data值
还有一种写法

总结

标签：框架,创建,scrapy,spiderName,install,pip,安装
来源： https://www.cnblogs.com/simon1993/p/16303407.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。