ICode9

scrapy架构介绍 # 框架---》架构 # 1 spiders：爬虫（咱们的代码） # 2 engin ：引擎（大总管） # 3 scheduler：调度器（排队，谁先爬谁后爬，去重） # 4 downloader：下载器（真正的负责发送http请求，获取数据，性能很高，基于twisted，性能很高的网络框架） # 5 piplines：管道（保存数据） # 引擎(EGINE) 引擎负责控制