流程互通是指流程之间的数据交换。有必要在进程之间交换数据以开发并行应用程序。下图显示了多个子进程之间同步的各种通信机制
各种沟通机制
在本节中,我们将了解各种通信机制。机制如下所述 -
队列
队列可以与多进程程序一起使用。 多处理 模块的queue类与 queue.queue 类相似。因此,可以使用相同的api。 多处理 .queue为我们提供了一个线程和进程安全的fifo(先进先出)进程之间的通信机制。
例
下面是一个简单的例子,它来自python官方文档的多处理,以理解queue类的多处理的概念。
from multiprocessing import process, queue import queue import random def f(q): q.put([42, none, 'hello']) def main(): q = queue() p = process(target = f, args = (q,)) p.start() print (q.get()) if __name__ == '__main__': main()
输出
[42, none, 'hello']
管道
它是一种数据结构,用于在多进程程序中的进程之间进行通信。pipe()函数返回一个由管道连接的连接对象,默认情况下是双工(双向)。它以下列方式工作 -
- 它返回一对连接对象,表示管道的两端。
- 每个对象都有两个方法 - send() 和 recv() ,以便在进程之间进行通信。
例
下面是一个简单的例子,它取自python官方文档的多处理,以理解多处理的 pipe() 函数的概念。
from multiprocessing import process, pipe def f(conn): conn.send([42, none, 'hello']) conn.close() if __name__ == '__main__': parent_conn, child_conn = pipe() p = process(target = f, args = (child_conn,)) p.start() print (parent_conn.recv()) p.join()
产量
[42, none, 'hello']
manager
manager是一类多处理模块,它提供了一种在所有用户之间协调共享信息的方法。管理器对象控制服务器进程,该进程管理共享对象并允许其他进程操作它们。换句话说,管理者提供了一种创建可在不同流程之间共享的数据的方法。以下是经理对象的不同属性
- 管理器的主要属性是控制管理共享对象的服务器进程。
- 另一个重要属性是在任何进程修改它时更新所有共享对象。
例
下面是一个示例,它使用manager对象在服务器进程中创建列表记录,然后在该列表中添加新记录。
import multiprocessing def print_records(records): for record in records: print("name: {0}\nscore: {1}\n".format(record[0], record[1])) def insert_record(record, records): records.append(record) print("a new record is added\n") if __name__ == '__main__': with multiprocessing.manager() as manager: records = manager.list([('computers', 1), ('histoty', 5), ('hindi',9)]) new_record = ('english', 3) p1 = multiprocessing.process(target = insert_record, args = (new_record, records)) p2 = multiprocessing.process(target = print_records, args = (records,)) p1.start() p1.join() p2.start() p2.join()
输出
a new record is added name: computers score: 1 name: histoty score: 5 name: hindi score: 9 name: english score: 3
管理器中命名空间的概念
manager class带有命名空间的概念,这是一种跨多个进程共享多个属性的快捷方法。命名空间没有任何可以调用的公共方法,但它们具有可写属性。
例
以下python脚本示例帮助我们利用名称空间在主进程和子进程之间共享数据 -
import multiprocessing def mng_nasp(using_ns): using_ns.x +=5 using_ns.y *= 10 if __name__ == '__main__': manager = multiprocessing.manager() using_ns = manager.namespace() using_ns.x = 1 using_ns.y = 1 print ('before', using_ns) p = multiprocessing.process(target = mng_nasp, args = (using_ns,)) p.start() p.join() print ('after', using_ns)
产量
before namespace(x = 1, y = 1) after namespace(x = 6, y = 10)
ctypes-array和value
多处理模块提供array和value对象,用于将数据存储在共享内存映射中。 array 是从共享内存分配的ctypes数组, value 是从共享内存分配的ctypes对象。
为了使用,从多处理导入process,value,array。
例
以下python脚本是一个从python文档中获取的示例,它利用ctypes array和value在进程之间共享一些数据。
def f(n, a): n.value = 3.1415927 for i in range(len(a)): a[i] = -a[i] if __name__ == '__main__': num = value('d', 0.0) arr = array('i', range(10)) p = process(target = f, args = (num, arr)) p.start() p.join() print (num.value) print (arr[:])
输出
3.1415927 [0, -1, -2, -3, -4, -5, -6, -7, -8, -9]
通信顺序进程(csp)
csp用于说明系统与具有并发模型的其他系统的交互。csp是一个通过消息传递编写并发或程序的框架,因此它对描述并发性很有效。
python库 - pycsp
为了实现csp中的核心原语,python有一个名为pycsp的库。它使实现非常简短和可读,因此可以非常容易地理解它。以下是pycsp的基本流程网络
在上面的pycsp过程网络中,有两个过程 - 过程1和过程2.这些过程通过两个通道传递消息进行通信 - 通道1和通道2。
安装pycsp
借助以下命令,我们可以安装python库pycsp
pip install pycsp
例
以下python脚本是一个相互并行运行两个进程的简单示例。它是在pycsp python libabary的帮助下完成的
from pycsp.parallel import * import time @process def p1(): time.sleep(1) print('p1 exiting') @process def p2(): time.sleep(1) print('p2 exiting') def main(): parallel(p1(), p2()) print('terminating') if __name__ == '__main__': main()
在上面的脚本中,创建了两个函数,即 p1 和 p2 ,然后使用 @process 进行修饰,以将它们转换为进程。
输出
p2 exiting p1 exiting terminating