ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Scrapy初体验(一) 环境部署

2020-02-22 21:51:25  阅读:237  来源: 互联网

标签:初体验 tar 部署 Scrapy 7.1 install pip 安装


系统选择centOs 7,Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Linux发行版都自带Python环境,Scrapy官方推荐使用pip安装Scrapy,因此首先需要安装pip.
去github下载pip最新安装包。pip install
目前版本是7.1.2下载完成得到一个pip-7.1.2.tar.gz的压缩包,然后执行命令解压缩

1
$ tar zvxf pip-7.1.2.tar.gz

进入解压好的pip-7.1.2目录,找到setup.py并安装执行

1
$ sudo python setup.py install

执行完成后就可以使用pip命令了。
然后使用pip命令安装Scrapy

1
$ sudo pip install Scrapy

安装过程中会出现一个报错:

大专栏

标签:初体验,tar,部署,Scrapy,7.1,install,pip,安装
来源: https://www.cnblogs.com/lijianming180/p/12347421.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有