Python：multiprocessing 库高级用法举例和应用详解

python库 › 并行计算
, , , ,

Python：multiprocessing库高级用法举例和应用详解

本文将深入介绍 Python 内置库 multiprocessing，你将学到如何利用这一强大的工具进行并发处理，使你的代码能够更高效地执行。我们将从库的介绍开始，逐步探讨其应用场景、安装说明，并通过具体的用法举例如你解决实践中的问题。

模块介绍

multiprocessing 模块是 Python 标准库的一部分，自 Python 2.6 起被引入，用于支持在单个程序中创建多个进程执行，并行处理大数据任务或计算密集型任务。该模块为 Python 提供了 process-based 的并行性，与线程不同的是，进程拥有独立的全局解释器锁（GIL），因而可以更好地利用多核处理器的性能。

应用场景

multiprocessing 主要用在以下场景：

  1. CPU 密集型任务：如数值计算、数据分析、图像处理等，需要大量计算资源的任务。
  2. 提高程序响应速度：将耗时任务分段，多个任务并行执行，提高程序整体性能。
  3. 并行下载：在执行文件下载、网络请求等操作时，可以大幅度降低等待时间。

安装说明

multiprocessing 是 Python 的内置模块，无需额外安装。只需确保你使用的 Python 版本在 2.6 及以上即可。

用法举例

下面我们将通过几个具体例子展示如何有效地使用 multiprocessing 库解决问题。

示例 1：基本使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import multiprocessing  # 引入multiprocessing模块
import time

def worker(name):
    print(f'Worker {name} is working')  # 输出 worker 信息
    time.sleep(2)  # 模拟耗时任务
    print(f'Worker {name} has finished')

if __name__ == '__main__':
    processes = []  # 创建一个空的进程列表
    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(i,))  # 创建进程
        processes.append(p)
        p.start()  # 启动进程
    
    for p in processes:
        p.join()  # 等待所有进程结束

此示例展示了如何启动和管理多个进程来同时执行任务。

示例 2：进程池的使用

1
2
3
4
5
6
7
8
9
10
11
12
13
import multiprocessing
import time

def square(x):
    return x * x  # 计算平方并返回

if __name__ == "__main__":
    with multiprocessing.Pool(processes=4) as pool:  # 创建包含4个进程的进程池
        inputs = [0, 1, 2, 3, 4, 5, 6, 7]  # 定义输入列表
        results = pool.map(square, inputs)  # 并行计算平方
        pool.close()  # 关闭进程池
        pool.join()  # 等待所有任务完成
    print(results)  # 输出计算结果

此示例演示了如何使用进程池来管理多个进程并高效地处理一组任务。

示例 3：Queue 对象进行进程间通信

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import multiprocessing
import time

def worker(queue, name):
    time.sleep(2)
    queue.put(f'Worker {name} has finished')  # 将消息放入队列

if __name__ == '__main__':
    queue = multiprocessing.Queue()  # 创建队列
    processes = []
    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(queue, i))  # 创建进程
        processes.append(p)
        p.start()  # 启动进程
    
    for p in processes:
        p.join()  # 等待所有进程结束
    
    while not queue.empty():
        print(queue.get())  # 打印队列中的所有消息

该示例展示了如何使用 Queue 对象在多个进程间通信，传递消息和数据。

在以上范例中，我们涵盖了 Process、Pool 以及 Queue 等 multiprocessing 库的常用功能，说明了其在并发处理中的实际应用。

作为一名博主，我一直在努力精确地整理和分享优秀的 Python 教程。关注我们的博客（全糖冲击博客），不仅可以获得最新、最全的 Python 标准库使用教程，还能节省你大量的时间和精力。这将极大地提升你的编程效率和代码质量，成为你学习 Python 道路上的绝佳助手。期待你的关注和支持，一起探索更广阔的 Python 编程世界！

软件版本可能变动

如果本文档不再适用或有误，请留言或联系我进行更新。让我们一起营造良好的学习氛围。感谢您的支持！ - Travis Tang