标签：python io multithreading nonblocking blocking

我有一个Python应用程序,简而言之,从远程服务器接收数据,处理它,响应服务器,偶尔将处理后的数据保存到磁盘.我遇到的问题是要写入大量数据,并且保存过程可能需要超过半分钟.这显然是一种阻塞操作,因此在此期间网络IO会停止.我希望能够在后台进行保存操作,可以这么说,以便应用程序可以合理地快速地继续与服务器通信.

我知道我可能需要某种线程模块来实现这一点,但我不知道线程,线程,多处理和各种其他选项之间的区别.有人知道我在找什么吗？

解决方法:

由于您是I / O绑定的,因此请使用线程模块.

你几乎不需要使用线程,它是一个低级接口;线程模块是线程的高级接口包装器.

多处理模块与线程模块不同,多处理使用多个子进程来执行任务;多处理恰好使用与线程相同的界面来减少学习曲线.当您具有CPU绑定计算时,通常使用多处理,并且需要避免多核CPU中的GIL(全局解释器锁定).

多线程的一种更深奥的替代方法是使用asyncore模块的异步I / O.另一个选项包括Stackless Python和Twisted.

标签：python,io,multithreading,nonblocking,blocking
来源： https://codeday.me/bug/20190518/1129438.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。