平行算法并行机与多处理机并行机并行机就其控制方式分为单指令多数据(Single-Instruction-Multiple-Data缩写为SIMD)和多指令多数据(MIMD)两大类，每一时刻分别按一条和多条指令处理多个数据;就主存储器设置方式又可分为共享存储器型和分布存储器型两大类，共享型集中设置存储器为各处理机公用，分布型则将存储器附设于各处理机.迄今，大多并行机是MIMD机，它们有单程序多数据(Single-Program-Multiple-Data缩写为SPMD)和多程序多数据(MPMD)两种计算模式，各处理机分别执行同一和不同程序处理各自的数据集.针对不同类型及计算模式的并行机需设计不同类型的算法，好的算法应考虑到并行机的处理机之间的通信方式与能力这一影响效率的重要因素

并行算法可以分成三大类：SIMD算法

同步MIMD算法，同步指算法中有些进程的某些步骤必须在完成其他进程的一些步骤之后方可执行

异步算法，其各进程之间不需同步，基本上是混乱迭代法.问题是算法怎样设计与分析

并行计算依赖于一个简单事实：独立的计算可以同时执行，所谓独立计算是指其每个结果元只出现一次的计算.由此产生“分而治之”和“重新排序”两种非常基本的并行算法设计思想

并行计算机有以下五种访存模型：均匀访存模型（UMA）、非均匀访存模型（NUMA）、全高速缓存访存模型（COMA）、一致性高速缓存非均匀存储访问模型（CC-NUMA）和非远程存储访问模型（NORMA）

不像串行计算机那样，全世界基本上都在使用冯·诺伊曼的计算模型；并行计算机没有一个统一的计算模型

不过，人们已经提出了几种有价值的参考模型：PRAM模型，BSP模型，LogP模模型等

多处理机多处理机（Multi processor）是具有多个处理机的计算机，能够大大提高计算机的处理速度

共享存储器结构:多个处理单元通过网络（内部连接）共享集中的主存储器，主存储器由多个并行的存储体组成，而每个CU都有自己的控制单元（这是与并行处理机的不同点）

系统资源易管理、利用，程序员易编程；但是处理机数目少，不易扩充

分布式存储多处理机：每个处理机都有自己的控制器、自己的存储单元，CU及存储器等构成多个较为独立的部分，各个部分通过网络（内部连接）协调工作

其特点是结构灵活、易扩充，但是，任务传输以及任务分配算法复杂，通常要设计专有算法

使用多台计算机协同工作来完成所要求的任务的计算机系统都是多处理机系统

传统的狭义多处理机系统是指利用系统内的多个CPU并行执行用户多个程序，以提高系统的吞吐量或用来进行冗余操作以提高系统的可靠性

以上内容由大学时代综合整理自互联网，实际情况请以官方资料为准。