标签：__ 异步 url 爬虫 content session 测试 async

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import aiofiles
import aiohttp
import asyncio
async def fetch(session, url):
    print("发送请求：", url)
    #异步发送请求，aiohttp.ClientSession().get(url)相当于requests.get(url)
    async with session.get(url, ssl=False) as response:
        #异步下载，response.content.read()相当于requests.content
        content = await response.content.read()
        file_name = url.rsplit('_')[-1]
        # 异步写入文件（下载），aiofiles.open相当于open
        async with aiofiles.open(file_name, mode='wb') as file_object:
            await file_object.write(content)
async def main():
    #异步发送请求，aiohttp.ClientSession()相当于requests
    async with aiohttp.ClientSession() as session:
        #需下载的url列表
        url_list = [
            'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
            'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
            'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
        ]
        #循环生成任务tasks
        tasks = [asyncio.create_task(fetch(session, url)) for url in url_list]
        await asyncio.wait(tasks)
if __name__ == '__main__':
    asyncio.run(main())




此文参考武沛齐老师的文章https://www.cnblogs.com/wupeiqi/p/12834355.html

标签：__,异步,url,爬虫,content,session,测试,async
来源： https://www.cnblogs.com/meng-xiaoyi/p/16521046.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。