标签：虚拟环境 run 工程 爬虫 crontab 发布 sh scrapyd

1. 备份python包

进入当前项目目录:
pip freeze > requirements.txt

2. 还原python包

pip install -r requirements.txt

3. linux安装虚拟环境

pip install virtualenv

创建虚拟环境
virtualenv py_venv

进入虚拟环境
cd py_venv/bin
~/py_venv/bin$ source activate

退出虚拟环境
deactivate

4. 安装virtualenvwrapper

sudo pip3 install virtualenvwrapper

创建虚拟环境管理目录
mkdir $HOME/.virtualenvs

修改 ~/.bashrc文件, 加入:
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
export WORKON_HOME='~/.virtualenvs'
source /usr/local/bin/virtualenvwrapper.sh

运行
source .bashrc

创建虚拟环境
mkvirtualenv [虚拟环境名称]
workon [虚拟环境名称]

删除虚拟环境
rmvirtualenv [虚拟环境名称]

4. 查看python所在路径

which python3

发布工程

• 配置sftp服务器
  Tools->Deployment->SFTP

  Connection:
  Host, User name, Password
  Root path

  Mappings:
  Deployment path

• 上传工程
  右选中工程->Deployment->Upload to …

编写sh脚本执行py

• 编写run.sh文件

#!/bin/sh
cd `dirname $0` || exit 1
python3 hello.py >> hello.log 2>&1

• 给run.sh加执行权限

~$ chmod +x test.sh

• 执行run.sh

~$ ./run.sh

crontab定时任务

• 使用cron服务定时执行程序

• 命令:

  • crontab -e 打开crontab文件, 编写定时任务
  • crontab -l 查看crontab文件内容

• 格式
  分 时 日 月 星期 命令
  0-59 0-23 1-31 1-12 0-6 …

• 例如:
  45 8 15 * * ll //每月15日 8点45分 执行ll命令
  */30 * * * * ls // 每间隔30分钟 执行ls命令
  0 */6 * * * ls // 每间隔6小时 执行ls命令

• 每分钟执行一次run.sh, 输出信息保存到run.log中

* * * * * /home/ken/run.sh >> /home/ken/run.log 2>&1

• 结束定时任务需要在crontab文件中删除相关内容

scrapyd部署

• 安装

pip install scarpyd # 云服务器
pip install scrapyd-client # 本地

• 启动scrapyd服务(云服务器)

linux:
/etc新建目录: scrapyd
windows:
/etc/scrapyd新建文件: scrapyd.conf
c盘新建目录: scrapyd/scrapyd.conf

修改 scrapyd.conf:
[scrapyd]
bind_address = 服务器外网ip

终端输入:
scrapyd

客户端浏览器输入:
http://云服务ip:6800

• 部署

打开scrapy.cfg文件:
[deploy]
url = http://云服务ip:6800/

客户端终端输入:
scrapyd-deploy # 递交工程到服务器端

• 启动爬虫

curl http://云ip:6800/schedule.json -d project=工程名 -d spider=爬虫名

客户端打开scrapyd网页, jobs页面, 爬虫正在运行.

• 暂停爬虫

curl http://云ip:6800/cancel.json -d project=工程名 -d job=JOBID

如果prevstate为null, 代表爬虫执行结束.
如果prevstate为running, 代表爬虫还在运行.

标签：虚拟环境,run,工程,爬虫,crontab,发布,sh,scrapyd
来源： https://blog.csdn.net/bua200720411091/article/details/93378500

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。