scrapy 搭建

2021-09-04 09:34:46 阅读：162 来源： 互联网

标签：mirrors anaconda scrapy conda https edu 搭建

Anaconda 镜像使用帮助

Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。

Anaconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载。

TUNA 还提供了 Anaconda 仓库与第三方源（conda-forge、msys2、pytorch等，查看完整列表）的镜像，各系统都可以通过修改用户目录下的 .condarc 文件。Windows 用户无法直接创建名为 .condarc 的文件，可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。

注：由于更新过快难以同步，我们不同步pytorch-nightly, pytorch-nightly-cpu, ignite-nightly这三个包。

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

即可添加 Anaconda Python 免费仓库。

运行 conda clean -i 清除索引缓存，保证用的是镜像站提供的索引。

运行 conda create -n myenv numpy 测试一下吧。

Miniconda 镜像使用帮助

Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。

Miniconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 下载。

其他三方源

对于conda的其他三方源，如有需要请修改anaconda.py文件，并提交pull request，我们会综合考虑多方因素来酌情增减。

1.mac上安装miniconda
miniconda官网
根据需要进行下载
下载后，在文件所在目录下 sh一下

2. 查看miniconda是否安装成功
conda -V 检测是否安装成功
如果出现command not found之类的命令，可能是需要配置环境变量
我本人出现的问题：zsh: command not found: conda
解决方法：
(1) vim ~/.zshrc,没有该文件的话，自动创建一个；
(2) .zshrc中添加export PATH=/Users/liyuying/miniconda3/bin:$PATH,
/Users/liyuying/miniconda3/bin 为miniconda的安装路径；
(3) source ~/.zshrc okkkk啦

3.miniconda基本使用命令
（1）创建python虚拟环境
conda create --n my_env python=3.6
（2）使用虚拟环境
conda activate my_env
本人执行后报错：
IMPORTANT: You may need to close and restart your shell after running 'conda init'. 我是在这台电脑上初次使用哦
解决方法：
source activate 进入了base
conda deactivate 退出环境
重新conda activate my_env就okk了
（3）退出虚拟环境
conda deactivate
（4）查看当前所有的虚拟环境
conda env list
（5）删除虚拟环境
conda remove -n my_env --all
（6）克隆虚拟环境
conda create -n new_env --clone my_env
（7）升级python版本
conda update python
如指定python版本
conda install python=$pythonversion$
————————————————
版权声明：本文为CSDN博主「岷遥」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44204235/article/details/104823113

在使用scrapy爬虫架构之初，依照教程运行了：

本以为会出现一个html文件，但是却出现了以下错误：
（出现了很多行的错误提示）

但是在最后一行，我注意到一个错误类型提示：
（显示缺少一个模块）

于是我在pycharm中将上述的提示输入到了这个代码当中：
from protego import Protego

然后代码就能够正常运行了，产生了一个html文件：

————————————————
版权声明：本文为CSDN博主「fiao_」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/fiao_/article/details/110439357

一、背景说明

前两天想重新研究下Scrapy，当时的环境是PyCharm社区版+Python 3.7。使用pip安装一直报错

“distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required”

“Command "python setup.py egg_info" failed with error code 1 in C:\Users\ADMINI~1\AppData\Local\Temp\pip-install-6fjrrgj5\cffi\”

用了网上的离线装Twisted、用pip3安装等各种方法都没法完全处理（当然可能安装“visualcppbuildtools_full.exe”是有可能解决的，但要花4G的空间感觉就是在安装VS，而且根据经验装完电脑要变得慢很多）

没办法只能回到官方文档，然后看到“Though it’s possible to install Scrapy on Windows using pip, we recommend you to install Anaconda or Miniconda ”

实在没办法所以去研究了“PyCharm+miniconda3安装配置”，然后才有这里的Miniconda安装scrapy，本篇只讲安装调试请移步PyCharm调试运行Scrapy教程

二、安装使用scrapy

从开始菜单启动Anaconda Prompt

使用conda命令安装scrapy（安装中间要确认的输入y回车确认）

conda install scrapy

scrapy安装完成后打开PyCharm，配置一个新的conda环境

我们看到在cmd安装scrapy后，新配的conda环境还是没有scrapy，但是多了vc和vs_2015_runtime两个包，而且版本都是14的

点出右上方的绿色“+”号，然后在搜索框中输入scrapy搜索，选中搜索出来的“scrapy”，再点击左下方的“Install”进行安装即可

等待安装完成后，可以看到scrapy已出现在当前配置的conda环境的包列表中（多装的那一堆是scrapy的依赖包）

这样我们就配置了一个包含scrapy的conda环境，在需要的项目中应用这个环境即可。

标签：mirrors,anaconda,scrapy,conda,https,edu,搭建
来源： https://blog.csdn.net/dt28707/article/details/120094811