ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

05-1 多路加速,了解多线程基本原理

2021-06-12 18:02:48  阅读:205  来源: 互联网

标签:解释器 多路 05 Python GIL 线程 多线程 运行


watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

你好,我是悦创。

不理解的地方可以去我博客留言噢,或者公众号后台回复数字“3”加小编(记得备注来意)拉你入交流群!

我们知道,在一台计算机中,我们可以同时打开许多软件,比如同时浏览网页、听音乐、打字等等,看似非常正常。但仔细想想,为什么计算机可以做到这么多软件同时运行呢?这就涉及到计算机中的两个重要概念:多进程和多线程了。

同样,在编写爬虫程序的时候,为了提高爬取效率,我们可能想同时运行多个爬虫任务。这里同样需要涉及多进程和多线程的知识。

本课时,我们就先来了解一下多线程的基本原理,以及在 Python 中如何实现多线程。

1. 全局解释器锁

「全局解释器锁」 (英语:Global Interpreter Lock,缩写 「GIL」)

是 「计算机程序设计语言解释器」 用于 「同步线程」  的一种机制,它使得任何时刻仅有 「一个线程」 在执行,即便在  「多核心处理器」 上,使用 「GIL」 的解释器也只允许同一时间执行一个线程。常见的使用 「GIL」 的解释器有 「CPython」 与 「Ruby MRI」。

如果,你对上面的不理解,也没有问题。通俗的解释就是:你电脑是 「一核或者多核」 ,还是你的代码写了了多个线程,但因为 「GIL」 锁的存在你也就只能运行一个线程,无法同时运行多个线程。

接下来,我们来用个图片来解释一下:

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

比如图中,假如你开了两个线程(「Py thread1」 、「Py tread2」),

  1. 当我们线程一(「Py thread1」)开始执行时,这个线程会去我们的解释器中申请到一个锁。也就是我们的 「GIL」 锁;
  2. 然后,解释器接收到一个请求的时候呢,它就会到我们的 「OS」 里面,申请我们的系统线程;
  3. 系统统一你的线程执行的时候,就会在你的 「CPU」 上面执行。(假设你现在是四核CPU);
  4. 而我们的另一个线程二(「py thread2」)也在同步运行。
  5. 而线程二在向这个解释器申请 「GIL」 的时候线程二会卡在这里(Python 解释器),因为它的 「GIL」 锁已经被线程一给拿走了(也就是说:他要进去执行,必须拿到这把锁);
  6. 线程二要运行的话,就必须等我们的线程一运行完成之后(也就是把我们的 「GIL」 释放之后(图片中的第5步)线程二才能拿到这把锁);
  7. 当线程二拿到这把锁之后就和线程一的运行过程一样。
① Create > ② GIL > ③ 申请原生线程(OS) > ④ CPU 执行(如果有其他线程,都会卡在 Python 解释器的外边)
这个锁其实是 Python 之父想一劳永逸解决线程的安全问题(也就是禁止多线程同时运行)

 

 

 

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

 

标签:解释器,多路,05,Python,GIL,线程,多线程,运行
来源: https://blog.51cto.com/aiyc/2899199

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有