Python多线程就别想高效了,因为有一个GIL大锁在,执行不能并发。
排除了一个,剩下异步对比多进程。哪个效率高,主要取决于是不是计算密集的任务,以及进程间通信有多频繁。
还要记得,单一进程的异步,满负荷也只有一个核在工作,而多进程是有可能利用多核的能力的。
最后,多进程和异步是可以混合用的,这样的结构跟Go就有点类似了,很可能是效率最佳的组合。
时间:2018-11-19 07:58:22
Python多线程就别想高效了,因为有一个GIL大锁在,执行不能并发。
排除了一个,剩下异步对比多进程。哪个效率高,主要取决于是不是计算密集的任务,以及进程间通信有多频繁。
还要记得,单一进程的异步,满负荷也只有一个核在工作,而多进程是有可能利用多核的能力的。
最后,多进程和异步是可以混合用的,这样的结构跟Go就有点类似了,很可能是效率最佳的组合。
io密集型和cpu密集型_一次说明白Python爬虫中多线程 多进程 异步IO编程
2022-03-23
python爬虫之多线程 多进程爬虫_python 多线程 多进程 高效爬虫
2023-09-06
python爬虫用多线程还是多进程_python爬虫之多线程 多进程爬虫
2021-10-08