并行程序設(shè)計(jì)原理

前言

隨著多核體系結(jié)構(gòu)的出現(xiàn)和快速發(fā)展，使得并行計(jì)算科學(xué)的硬件基礎(chǔ)設(shè)施發(fā)生了很大變化，如果把并行硬件基礎(chǔ)設(shè)施看成是“經(jīng)濟(jì)基礎(chǔ)”，則其相應(yīng)的上層并行軟件就可以視為“上層建筑”。由于“經(jīng)濟(jì)基礎(chǔ)”的變化，作為其中重要的“上層建筑”之一的并行程序設(shè)計(jì)技術(shù)，必須進(jìn)行相應(yīng)的變化以適應(yīng)新的“經(jīng)濟(jì)基礎(chǔ)”。因此如何在多核體系結(jié)構(gòu)上進(jìn)行高效的并行程序設(shè)計(jì)以充分利用多核所提供的硬件并行性，從而大幅度地提升并行計(jì)算性能指標(biāo)就顯得非常重要。本書的主要論題之一便是環(huán)繞這一問(wèn)題展開(kāi)的。并行程序設(shè)計(jì)比順序程序設(shè)計(jì)要困難得多，一是因?yàn)椴⑿谐绦蛟O(shè)計(jì)的平臺(tái)不是唯一的，存在多種不同的并行體系結(jié)構(gòu)，而順序程序設(shè)計(jì)只有唯一的馮·諾依曼體系結(jié)構(gòu)；二是因?yàn)椴⑿谐绦蛴卸鄠€(gè)進(jìn)程或線程在同時(shí)運(yùn)行，它們之往往需要進(jìn)行通信和同步，這就使并行程序設(shè)計(jì)變得復(fù)雜，特別是在要獲得線性加速比時(shí)尤為如此；三是因?yàn)椴⑿谐绦蛟O(shè)計(jì)沒(méi)有順序程序設(shè)計(jì)中如C及Java那樣通用和普及的并行程序設(shè)計(jì)語(yǔ)言，因此只能針對(duì)不同的體系結(jié)構(gòu)選擇使用不同的并行語(yǔ)言或例程庫(kù)，例如對(duì)于共享地址空間的體系結(jié)構(gòu)就必須選擇如OpenMP、Java Threads或POSIX Threads那樣的語(yǔ)言，而對(duì)于分布地址空間的體系結(jié)構(gòu)就不得不選擇如MPI或PVM那樣的例程庫(kù)語(yǔ)言。此外若要開(kāi)發(fā)數(shù)據(jù)并行性，則就需要選用高性能的如Fortran（HPF）那樣的語(yǔ)言。本書另一個(gè)主要論題便是環(huán)繞這一問(wèn)題展開(kāi)的。本書側(cè)重論述并行程序設(shè)計(jì)的基本原理，解釋各種現(xiàn)象，并分析為何這些現(xiàn)象意味著成功進(jìn)行并行程序設(shè)計(jì)的機(jī)遇或是阻礙。并行的硬件基礎(chǔ)設(shè)施和并行的軟件設(shè)計(jì)環(huán)境隨著時(shí)間的變遷會(huì)不斷發(fā)生變化，但原理則永遠(yuǎn)不會(huì)過(guò)時(shí)。以原理作為第一要素進(jìn)行論述是本書的特色之一。本書的另一個(gè)特色是，它側(cè)重可擴(kuò)展性和可移植性，即所設(shè)計(jì)的并行程序具有在任何數(shù)目處理器系統(tǒng)上和在任何并行體系結(jié)構(gòu)平臺(tái)上運(yùn)行良好的能力。這一概念在多核時(shí)代是非常關(guān)鍵的，這是因?yàn)椋菏紫?，使得并行?jì)算具有可擴(kuò)展能力的大多數(shù)技術(shù)與在多核芯片上生成高效求解的技術(shù)是相同的；其次，雖然目前的多核芯片所具有的處理器數(shù)目還比較小，通常是2～8個(gè)，但今后每個(gè)芯片上的核數(shù)將會(huì)急劇增加，這就使得可擴(kuò)展并行概念與之直接相關(guān)；最后，顯然我們應(yīng)該側(cè)重研究和開(kāi)發(fā)那些在現(xiàn)在和將來(lái)都能很好工作的方法。內(nèi)容非常實(shí)用是本書的又一特色。這是因?yàn)楸緯诮榻B并行程序設(shè)計(jì)系統(tǒng)的同時(shí)，還敘述如何在這些系統(tǒng)中應(yīng)用并行程序的設(shè)計(jì)原理。作者通過(guò)自身豐富的實(shí)踐經(jīng)驗(yàn)為讀者介紹了在從事并行程序設(shè)計(jì)時(shí)應(yīng)遵循的方法學(xué)。譯者認(rèn)為從事并行程序設(shè)計(jì)者應(yīng)注重對(duì)并行程序設(shè)計(jì)方法學(xué)的了解、掌握，以及有關(guān)素質(zhì)的培養(yǎng)，唯此才能開(kāi)發(fā)出性能良好以及生命力持久的并行程序，并提高編制并行程序的能力和生產(chǎn)率。翻譯本書的原因有兩個(gè)：一是本書的內(nèi)容相當(dāng)新，涉及現(xiàn)代的并行硬件和軟件技術(shù)，包括多核體系結(jié)構(gòu)及其并行程序設(shè)計(jì)技術(shù)；二是本書論述了并行程序設(shè)計(jì)中的一些深層次問(wèn)題，如可擴(kuò)展性、可移植性以及并行程序設(shè)計(jì)應(yīng)遵的方法學(xué)等。本書的不足之處在于對(duì)一些性能問(wèn)題的定量分析不夠充實(shí)，此外所介紹的并行機(jī)抽象模型也不夠全面，只有一個(gè)CTA模型。但這些瑕疵并不會(huì)影響本書的閱讀價(jià)值。本書是計(jì)算機(jī)科學(xué)專業(yè)本科高年級(jí)學(xué)生或一年級(jí)碩士生的理想教科書，對(duì)專業(yè)程序員來(lái)講則是從事并行程序設(shè)計(jì)的一本理想入門書。本書對(duì)軟件工程師和計(jì)算機(jī)系統(tǒng)設(shè)計(jì)師也是非常值得一讀的參考書。本書的翻譯工作由陸鑫達(dá)教授負(fù)責(zé)和組織。陸鑫達(dá)教授翻譯了目錄、前言、第1~4章以及第10~11 章，林新華老師翻譯了第5~9章。譯稿全文由陸鑫達(dá)教授統(tǒng)稿審校。原書只分章不分節(jié)，為方便讀者閱讀，我們統(tǒng)一進(jìn)行了分節(jié)。值此中譯本出版之際，譯者特向機(jī)械工業(yè)出版社華章公司的策劃和編輯人員表示深切的謝意。書中的術(shù)語(yǔ)翻譯，我們盡量采用已公布的計(jì)算機(jī)科學(xué)技術(shù)名詞（第二版），對(duì)于一些未公布的術(shù)語(yǔ)（包括一些新出現(xiàn)的術(shù)語(yǔ)）我們盡量采用行的譯法。由于時(shí)間較為倉(cāng)促，翻譯中的錯(cuò)誤或不妥之處在所難免，敬請(qǐng)廣大讀者不吝指正。

內(nèi)容概要

本書內(nèi)容新穎，涉及現(xiàn)代并行硬件和軟件技術(shù)，包括多核體系結(jié)構(gòu)及其并行程序設(shè)計(jì)技術(shù)。本書側(cè)重論述并行程序設(shè)計(jì)的原理，并論述了并行程序設(shè)計(jì)中一些深層次問(wèn)題，如可擴(kuò)展性、可移植性以及并行程序設(shè)計(jì)應(yīng)遵循的方法學(xué)等。　　本書是高等院校計(jì)算機(jī)專業(yè)高年級(jí)本科生或低年級(jí)研究生的理想教科書，同時(shí)也是專業(yè)程序員從事并行程序設(shè)計(jì)的理想入門書?！　《嗪梭w系結(jié)構(gòu)的出現(xiàn)使得并行程序設(shè)計(jì)技術(shù)對(duì)軟件工程師和計(jì)算機(jī)系統(tǒng)設(shè)計(jì)師變得日益重要。本書著重論述并行計(jì)算的基本原理，解釋各種現(xiàn)象，并分析為何這些現(xiàn)象是成功進(jìn)行并行程序設(shè)計(jì)的機(jī)遇或阻礙?！　”緯歉叩仍盒Ｓ?jì)算機(jī)專業(yè)高年級(jí)本科生或低年級(jí)研究生的理想教科書，同時(shí)也是專業(yè)程序員從事并行程序設(shè)計(jì)的理想入門書。

作者簡(jiǎn)介

作者：(美國(guó))Calvin Lin (美國(guó))Lawrence Snyder 譯者：陸鑫達(dá) 林新華

書籍目錄

出版者的話推薦序譯者序第一部分　基礎(chǔ)　第1章　導(dǎo)論　　1.1 并行的威力和潛能　　1.2 考察順序程序和并行程序　　1.3 使用多指令流實(shí)現(xiàn)并行　　1.4 目標(biāo)：可擴(kuò)展性和性能可移植性　　1.5 小結(jié)　　歷史回顧　　習(xí)題　第2章　認(rèn)識(shí)并行計(jì)算機(jī)　　2.1 用可移植性衡量機(jī)器特征　　2.2 6種并行機(jī)介紹　　2.3 順序計(jì)算機(jī)的抽象　　2.4 PRAM：一種并行計(jì)算機(jī)模型　　2.5 CTA：一種實(shí)際的并行計(jì)算機(jī)模型　　2.6 存儲(chǔ)器訪問(wèn)機(jī)制　　2.7 進(jìn)一步研究通信　　2.8 CTA模型的應(yīng)用　　2.9 小結(jié)　　歷史回顧　　習(xí)題　第3章　性能分析　　3.1 動(dòng)機(jī)和基本概念　　3.2 性能損失的原因　　3.3 并行結(jié)構(gòu)　　3.4 性能協(xié)調(diào)　　3.5 性能度量　　3.6 可擴(kuò)展性能　　3.7 小結(jié)　　歷史回顧　　習(xí)題第二部分　并行抽象　第4章　并行程序設(shè)計(jì)起步　第5章　可擴(kuò)展算法技術(shù)第三部分　并行程序設(shè)計(jì)語(yǔ)言　第6章　線程程序設(shè)計(jì)　第7章　MPI和其他局部視圖語(yǔ)言　第8章　ZPL和其他全局視圖語(yǔ)言　第9章　對(duì)并行程序設(shè)計(jì)現(xiàn)狀的評(píng)價(jià)第四部分　展望　第10章　并行程序設(shè)計(jì)的未來(lái)方向　第11章　編寫并行程序術(shù)語(yǔ)表參考文獻(xiàn)

章節(jié)摘錄

插圖：并行是我們熟悉的一個(gè)概念。雜耍（juggling）是人類能完成的一個(gè)并行任務(wù)。房屋建造是一種并行活動(dòng)，因?yàn)閹讉€(gè)工人能同時(shí)完成不同的工作，如電線配線、水管安置、鍋爐管道安裝等等。大多數(shù)的工業(yè)產(chǎn)品如汽車、吹風(fēng)器、速凍食品，都以流水線方式進(jìn)行生產(chǎn)，在流水線上正在建造的許多單件產(chǎn)品是同時(shí)進(jìn)行加工或裝配的。呼叫中心則是另一種應(yīng)用并行的結(jié)構(gòu)，其中有許多雇員在同時(shí)為顧客服務(wù)。雖然熟悉，但應(yīng)注意這些并行形式是不同的。例如呼叫中心在本質(zhì)上與房屋建造有所不同：呼叫通常是獨(dú)立的，因此能以任意次序提供服務(wù)，而且工作人員之間幾乎沒(méi)有交互。而在建房時(shí)，某些任務(wù)能同時(shí)完成，如電線配線和水管安置，而另外一些任務(wù)則必須依次進(jìn)行，例如配線架必須在配線之前進(jìn)行安裝。這種順序限制了能同時(shí)進(jìn)行的并行量，從而也就限制了一個(gè)建設(shè)項(xiàng)目完成的進(jìn)度。順序性也增加了工人之間的交互程度。制造業(yè)的流水線與前兩者又有所不同，因?yàn)樗鼈冇袊?yán)格的順序約束，制造產(chǎn)品的各個(gè)階段通常以順序方式進(jìn)行，并行性來(lái)自干流水線上同時(shí)在生產(chǎn)許多單件產(chǎn)品。雜耍則屬于事件驅(qū)動(dòng)的并行，當(dāng)一個(gè)事件（一個(gè)落下的球）發(fā)生時(shí)將引起有關(guān)操作的執(zhí)行（抓球、拋球）以響應(yīng)該事件。這些熟悉的并行形式也將出現(xiàn)在我們要討論的并行計(jì)算中。

編輯推薦

《并行程序設(shè)計(jì)原理》由機(jī)械工業(yè)出版社出版。

圖書封面

圖書標(biāo)簽Tags

無(wú)

評(píng)論、評(píng)分、閱讀與下載

---

    并行程序設(shè)計(jì)原理 PDF格式下載

---