Python多进程怎么使用_Python多进程编程方法与实例讲解_技术教程

Python多进程编程通过multiprocessing模块实现并行计算，1. 使用Process类创建独立进程，target指定函数，args传参，start启动，join等待结束；2. 用Pool进程池管理大量任务，map同步执行，map_async异步执行，apply处理单任务；3. 进程间通信可用Queue（多生产者消费者）或Pipe（双向通信）；4. 共享内存通过Value和Array实现，需指定类型码如'i'、'd'。掌握这些可应对多数场景。

Python多进程编程主要用于提升程序在多核CPU上的执行效率，尤其适合CPU密集型任务。通过multiprocessing模块，Python能够绕过GIL（全局解释器锁），真正实现并行计算。

1. multiprocessing基础：创建进程

最简单的多进程方式是使用Process类启动独立进程。

示例：

from multiprocessing import Process import os

def worker(name):
print(f'进程名称: {name}, 进程ID: {os.getpid()}')

if name == 'main':
processes = []
for i in range(3):
p = Process(target=worker, args=(f'Worker-{i}',))
processes.append(p)
p.start()

for p in processes:  
    p.join()  

print('所有子进程完成')

说明：

target 指定要运行的函数
args 是传递给函数的参数（元组）
start() 启动进程
join() 等待进程结束

2. 使用进程池（Pool）批量处理任务

当需要并发执行大量任务时，Pool更高效，能自动管理进程数量。

示例：并行计算平方

from multiprocessing import Pool

def square(x):
return x * x

if name == 'main':
with Pool(processes=4) as pool:
result = pool.map(square, [1, 2, 3, 4, 5])
print(result) # 输出: [1, 4, 9, 16, 25]

常用方法：

pool.map(func, iterable)：同步执行，阻塞直到完成
pool.map_async(func, iterable)：异步执行，立即返回结果对象
pool.apply(func, args)：单个任务同步执行
pool.apply_async(func, args)：单个任务异步执行

3. 进程间通信与数据共享

多个进程默认不共享内存。可通过Queue或Pipe进行通信。

使用Queue通信示例：

from multiprocessing import Process, Queue

def producer(q):
q.put('Hello from producer')

def consumer(q):
msg = q.get()
print(f'Received: {msg}')

if name == 'main':
q = Queue()
p1 = Process(target=producer, args=(q,))
p2 = Process(target=consumer, args=(q,))

p1.start(); p2.start()  
p1.join(); p2.join()

说明：

Queue是线程和进程安全的，适合多生产者多消费者场景
Pipe更适合两个进程之间的双向通信

4. 共享内存：Value和Array

若需共享简单数据，可用Value或Array。

from multiprocessing import Process, Value, Array import ctypes

def modify(n, arr):
n.value = 3.14
for i in range(len(arr)):
arr[i] = arr[i] * 2

if name == 'main':
num = Value('d', 0.0) # 'd' 表示double类型
arr = Array('i', [1, 2, 3, 4, 5]) # 'i' 表示int类型

p = Process(target=modify, args=(num, arr))  
p.start()  
p.join()  

print(num.value)        # 输出: 3.14  
print(list(arr))        # 输出: [2, 4, 6, 8, 10]

注意类型码如'i'（整型）、'd'（浮点型）需正确设置。

基本上就这些。掌握Process、Pool、Queue和共享内存，就能应对大多数多进程场景。关键是理解进程隔离特性，并合理选择通信机制。