标签：scrapydweb 教程 python 配置 scrapy client 安装 scrapyd
Ⅰ、首先要搞清楚几个概念
1、scrapy是什么？
一个爬虫框架，你可以创建一个scrapy项目
2、scrapyd是什么？
相当于一个组件，能够将scrapy项目进行远程部署，调度使用等
因此scrapyd可以看作一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd(server)
和连接的scrapy-client(client)
3、scrapydweb是什么？
是一个基于scrapyd的可视化组件，集成并且提供更多可视化功能和更优美的界面
总结：三者如同葫芦套娃，总共三层
II、安装scrapy和创建一个scrapy项目
安装scrapyd和scrapyd-client和配置
1、安装
pip install scrapyd
pip install scrapy-client
安装完成后，在cmd中启动命令
scrapyd
在浏览器中输入：http://localhost:6800/，如果出现下面界面则表示启动成功（不要关闭cmd，后面步骤还需要）
2、配置
①配置scrapy项目
打开scrapy项目，有个scrapy.cfg文件，按如下进行配置
②上传scrapy项目
将你的scrapy-deploy文件复制到与scrapy.cfg文件同一目录，scrapy-deploy文件位于你python环境下的scripts文件夹中
然后在cmd中进入你的scrapy项目目录,输入
安装scrapydweb
（开源地址：https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md）
写到这里给大家推荐python学习交流裙：913###066口口口266
1、安装
pip install scrapydweb
运行（前提是scrapyd服务器必须处于运行状态）
scrapyweb
如果出现下面可视化界面，表示安装成功
注意：如果出现6801端口无法连接，这个是因为你没有配置集群环境，不用担心
2、配置
（基本上使用默认的就行，根据需要配置）
配置文件在你当前启动scrapydweb路径下，scrapydweb_settings_v10.py，只有两处需要配置。
①第一处就是username和password，如果是远程的服务器的话，建议开启认证
②第二处是项目路径（这里是scrapydweb比较方便的地方，不用事先将项目先上传到scrapyd服务器，scrapydweb能够帮我们上传）
3、重启并开始管理
①重启
scrapydweb
②开始可视化管理
haoxun03
发布了6 篇原创文章 · 获赞 0 · 访问量 1085
私信
关注
标签：scrapydweb,教程,python,配置,scrapy,client,安装,scrapyd 来源： https://blog.csdn.net/haoxun03/article/details/104149882
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。