云計(jì)算

前言

說起云計(jì)算，很多人都會(huì)不知所云?；叵肫饚字芮霸诒本┱匍_的Hadoop技術(shù)峰會(huì)上，看到與會(huì)的博士生面對MapReduce編程方式時(shí)懵懂的眼神；回想起與一些企業(yè)IT主管在晚宴閑聊中，我向他們講述云計(jì)算的價(jià)值和意義時(shí)他們疑惑的神情，我不禁要由衷地感嘆，中國高等學(xué)府中的師生，研究機(jī)構(gòu)的專家學(xué)者，IT公司的程序員和研發(fā)部門主管，還有企業(yè)的ITO甚至CEO，以及工信部、發(fā)改委、國資委的官員，面對云計(jì)算，你們OUT了嗎？ 當(dāng)然，在國內(nèi)，我也欣喜地看到了國人對云計(jì)算的關(guān)注和跟進(jìn)。清華大學(xué)的一些學(xué)生選修了Google的101課程；百度和新浪的研發(fā)人員正在研究搜索領(lǐng)域里神化了的Google；李德毅院士、倪光南院士等科學(xué)家，他們心系國家科技強(qiáng)國的夢想而成立了中國云計(jì)算專委會(huì)；中國移動(dòng)研究院的“大云”云計(jì)算研發(fā)團(tuán)隊(duì)也在云計(jì)算的處女地上努力耕耘了兩年；等等。 云計(jì)算在中國還是一種小荷才露尖尖角的狀況，這恰恰與美國舊金山灣區(qū)風(fēng)起“云”涌，大大小小的云計(jì)算公司迅速涌現(xiàn)的情形形成鮮明對比。在灣區(qū)，無論是SunnyVallie街角的咖啡館里，還是Mountain View鬧市區(qū)的意大利比薩餅店中，抑或是San Jose的開源社區(qū)的聚會(huì)上，人們見面的時(shí)候都會(huì)互相寒暄：“你Twitter了嗎？”或者“你云計(jì)算了嗎？” 兩天前，我通過WI-FI下載Google的語音搜索客戶端并將其安裝到手機(jī)上才用了不到1分鐘?，F(xiàn)在我都是用語音完成搜索，準(zhǔn)確度非常的高。例如，我開車去“蘇浙匯”吃飯，不知道該怎么走了，于是我拿出手機(jī)，對著它說：“蘇浙匯?！笔謾C(jī)屏幕上立馬顯示蘇浙匯的地址和路線以及地圖，而且顯示結(jié)果里的店恰恰是我所在地（北京）附近的那家蘇浙匯，而不是杭州的什么蘇浙匯。其實(shí)，這就是Google最近推出的一個(gè)基于云計(jì)算的語音識(shí)別和搜索引擎服務(wù)。 當(dāng)然，講上面這個(gè)案例我絕沒有給蘇浙匯或者Google做廣告的想法，雖然蘇浙匯的菜肉大餛飩我很愛吃，Google也是我超級崇拜的一家公司。相反，當(dāng)我寫這本書的時(shí)候，是越寫越覺得擔(dān)憂。當(dāng)我越是將Google的故事津津道來的時(shí)候，我越是感覺到一種隱憂。 假如，Google的云計(jì)算平臺(tái)越來越先進(jìn)，它的成本也越來越低，那么，這個(gè)世界上，將來就只有一臺(tái)“計(jì)算機(jī)”了，那就是Google；雅虎首先看出了這個(gè)問題，也在推進(jìn)Hadoop，也在打造其基于云計(jì)算的互聯(lián)網(wǎng)服務(wù)，那么或許還好，將來，這個(gè)世界上除了Google，可能還有一臺(tái)小點(diǎn)兒的計(jì)算機(jī)，它叫做雅虎；后來，微軟和IBM覺得不行，豁了老命在技術(shù)和商業(yè)模式上跟進(jìn)云計(jì)算，如果運(yùn)氣好的話，那么將來世界上可能還有兩臺(tái)更小一些的“計(jì)算機(jī)”，分別叫做微軟和IBM。但是大家注意到了沒有，這里面，沒有中國什么事兒。這不得不讓我們這些中國的IT從業(yè)者捫心自問：“Google到底動(dòng)了誰的奶酪？” Google和雅虎還有最近的微軟都在玩什么？不約而同地都是基于云計(jì)算的搜索。搜索是最成功的云計(jì)算的實(shí)現(xiàn)，但它不僅僅是搜索，而是信息計(jì)算，是從海量信息中經(jīng)過計(jì)算處理解決現(xiàn)實(shí)問題。另外它是面向大眾的互聯(lián)網(wǎng)體驗(yàn)，所以它在免費(fèi)為大眾提供服務(wù)的同時(shí)，實(shí)際是在聚集大眾的智慧，并把用戶的習(xí)慣和行為以及智慧進(jìn)行徹底的數(shù)據(jù)挖掘，再下一步，它將可以仿真每一個(gè)人的智慧。這個(gè)叫做Google的云計(jì)算，它知道你是誰，你喜歡什么，你要什么，你想什么，甚至能知道你的潛意識(shí)！這是不是很可怕？！ 的確，Google云計(jì)算的能量太大了，首先它有每天遞增的全世界的信息數(shù)據(jù)，它的搜索爬蟲日以繼夜地在爬；其次它向大家免費(fèi)提供高體驗(yàn)度的互聯(lián)網(wǎng)應(yīng)用，從而擁有了幾乎全世界的用戶；再者它有對每個(gè)用戶的數(shù)據(jù)挖掘和分析；再加上Google基于云計(jì)算的數(shù)據(jù)平臺(tái)上有海量數(shù)據(jù)的存儲(chǔ)能力，有強(qiáng)大的計(jì)算力，而其成本是同業(yè)者（例如雅虎、百度）的四十分之一；還有，Google的那些天才科學(xué)家，每天都在變著法子地讓Google的云計(jì)算系統(tǒng)變得更厲害。天呀，Google它有一個(gè)可以生長和進(jìn)化的計(jì)算系統(tǒng)!無論對誰，這都是來自Google云計(jì)算的挑戰(zhàn)！面對挑戰(zhàn)，中國IT科技，應(yīng)該何去何從？ 中國是個(gè)有著幾千年文明的古老國家，我們不能讓那些記載著我們的文明和智慧的數(shù)據(jù)都存在北美的云計(jì)算服務(wù)器上!我認(rèn)為面對這樣一個(gè)像神話一樣的企業(yè)，只有一個(gè)破解的方法，那就是擁有能與Google抗衡的中國的云計(jì)算系統(tǒng)。所以，我們一定得了解云計(jì)算，一定得研發(fā)和掌握云計(jì)算的關(guān)鍵技術(shù)，并且把云計(jì)算技術(shù)及其商業(yè)模式加以充分實(shí)踐和應(yīng)用。 就全球范圍來說，云計(jì)算方興未艾。倪光南院士說：“正是因?yàn)樵朴?jì)算夠新，而且不成熟，于中國，才是機(jī)會(huì)?！边@話我堅(jiān)決同意。由于云計(jì)算的出現(xiàn)，現(xiàn)在正是我國信息技術(shù)和信息產(chǎn)業(yè)追趕世界先進(jìn)水平難得的契機(jī)，抓住了這個(gè)機(jī)遇，對我國的科學(xué)技術(shù)領(lǐng)域以及產(chǎn)業(yè)結(jié)構(gòu)調(diào)整乃至整個(gè)經(jīng)濟(jì)發(fā)展都有十分重要的意義！ 中國移動(dòng)通信研究院在黃曉慶院長的帶領(lǐng)下，已經(jīng)腳踏實(shí)地地投入云計(jì)算研發(fā)兩年多了。也正是由于參與了中國移動(dòng)的云計(jì)算研發(fā)項(xiàng)目，我們較早較深入地接觸了云計(jì)算，對云計(jì)算有了一定的認(rèn)識(shí)。我們真正體會(huì)到了云計(jì)算為人類社會(huì)帶來的價(jià)值及其對我國科技乃至經(jīng)濟(jì)發(fā)展的戰(zhàn)略意義。我們?yōu)榇硕?dòng)不已，因而迫不及待地想把我們所了解到的這些內(nèi)容告訴大家。這就是我們編寫本書的初衷。 本書的編寫，要感謝以下諸位同志。其中5．1節(jié)由徐萌、高丹、鄧超、羅治國和孫少陵幫助編寫完成；5．2節(jié)由鄭健平、孫悅、周文輝幫助編寫完成；5．3節(jié)中部分內(nèi)容由韓金宇、胡珉、孫宏偉幫助編寫完成。同時(shí)，也要特別說明的是，書中圖2-11、3-3、3-4、3-5、4-13、10-1，引用自中國移動(dòng)研究院“大云”研發(fā)團(tuán)隊(duì)的研究成果。 本書的編寫，更要特別感謝黃曉慶院長的教導(dǎo)，兩年半前，他把云計(jì)算的研發(fā)項(xiàng)目帶給了中國移動(dòng)，并為研發(fā)工作明確了思路和方向，因而我對云計(jì)算的認(rèn)識(shí)和理解，處處無不映射著他的前瞻和創(chuàng)新思考的光芒。

內(nèi)容概要

本書概述了云計(jì)算的起源、發(fā)展以及商業(yè)模式，介紹了云計(jì)算的關(guān)鍵技術(shù)、典型應(yīng)用以及開源軟件和社區(qū)。   　云計(jì)算既是機(jī)遇也是挑戰(zhàn)，中國科技何去何從？需要從國家層面重視云計(jì)算，在教育、普及、重點(diǎn)研發(fā)、示范工程等諸多領(lǐng)域?qū)ζ溥M(jìn)行統(tǒng)籌規(guī)劃，從而推動(dòng)云計(jì)算在中國的發(fā)展,并最終使云計(jì)算造福百姓,惠及國民經(jīng)濟(jì),推動(dòng)科技創(chuàng)新與進(jìn)步。 　  本書語言生動(dòng)，案例豐富，適合所有想了解云計(jì)算的讀者。

作者簡介

張為民，現(xiàn)就職于中國移動(dòng)通信研究院，在通信和IT技術(shù)領(lǐng)域有十六年的從業(yè)經(jīng)驗(yàn)；從2008年開始參加中國移動(dòng)云計(jì)算研發(fā)團(tuán)隊(duì)，主要從事業(yè)務(wù)發(fā)展和產(chǎn)業(yè)推進(jìn)方面的工作。 唐劍峰，現(xiàn)任職中國移動(dòng)通信研究院，高級工程師，享受國務(wù)院特殊津貼的專家，中國移動(dòng)技術(shù)咨詢委員會(huì)委員，在移動(dòng)應(yīng)用技術(shù)和移動(dòng)終端領(lǐng)域有多年的工作經(jīng)驗(yàn)。羅治國，工學(xué)博士，現(xiàn)任中國移動(dòng)通信研究院云計(jì)算大項(xiàng)目經(jīng)理，具體負(fù)責(zé)“大云(Big Cloud)計(jì)劃”的實(shí)施和應(yīng)用落地。錢嶺，工學(xué)博士，現(xiàn)任中國移動(dòng)通信研究院云計(jì)算大項(xiàng)目技術(shù)架構(gòu)師，負(fù)責(zé)“大云（Big Cloud）計(jì)劃”總體設(shè)計(jì)和研發(fā)工作。

書籍目錄

第1章  初識(shí)云計(jì)算  1.1  Animoto的創(chuàng)業(yè)故事   1.2  云計(jì)算就在我們身邊   1.3  風(fēng)起“云”涌   1.4  讓我們走入云計(jì)算 第2章  云計(jì)算的前世今生   2.1  高高在上的大型計(jì)算機(jī)的時(shí)代   2.2  合久必分：PC機(jī)時(shí)代的到來   2.3  分久必合：Internet讓PC機(jī)合在了一起   2.4  合中有分，分中有合：云計(jì)算時(shí)代來臨   2.5  眾說紛紜的云計(jì)算概念   2.6  云計(jì)算的分類   2.7  云計(jì)算的特點(diǎn)優(yōu)勢   2.8  Google云計(jì)算成功的秘訣之一 第3章  云計(jì)算的典型商業(yè)模式   3.1  三種主流的云計(jì)算商業(yè)模式   3.2  云計(jì)算商業(yè)模式的成功秘密   3.3  云計(jì)算的優(yōu)勢   3.4  云里乾坤，誰主沉?。?  3.5  云計(jì)算的未來預(yù)測 第4章  云計(jì)算關(guān)鍵技術(shù)   4.1  云計(jì)算技術(shù)框架概述   4.2  虛擬化技術(shù)   4.3  海量分布式存儲(chǔ)技術(shù)   4.4  并行編程模式   4.5  數(shù)據(jù)管理技術(shù)   4.6  分布式資源管理技術(shù)   4.7  云計(jì)算平臺(tái)管理技術(shù)   4.8  云計(jì)算是一種多粒度和變粒度計(jì)算   4.9  綠色節(jié)能技術(shù) 第5章  豐富多彩的云應(yīng)用   5.1  云計(jì)算讓商業(yè)智能如虎添翼   5.2  云計(jì)算助力IDC大展身手   5.3  回歸云計(jì)算的起源——豐富多樣的搜索應(yīng)用 第6章  云計(jì)算與開源  6.1  虛擬化平臺(tái)軟件Xen與KVM   6.2  云基礎(chǔ)設(shè)施管理平臺(tái)Eucalyptus與OpenNebula   6.3  分布式計(jì)算框架Hadoop   6.4  云平臺(tái)訪問接口適配層libcloud與Dasein Cloud API   6.5  開源精神 第7章  從云到端   7.1  Chrome   7.2  FireFox   7.3  IE 8   7.4  Android   7.5  iPhone   7.6  OMS與Ophone   7.7  云端精彩 第8章  因云制宜云計(jì)算   8.1  因云制宜   8.2  尚無標(biāo)準(zhǔn)的云計(jì)算   8.3  云中漫步安全嗎？   8.4  掣肘的并非是技術(shù)   8.5  云觀念的接受很容易嗎？   8.6  云計(jì)算在節(jié)省金錢方面的功績有多大？ 第9章  云計(jì)算深刻改變未來   9.1  云計(jì)算對于技術(shù)的影響   9.2  云計(jì)算對各產(chǎn)業(yè)的影響   9.3  面對云計(jì)算，中國科技何去何從？ 第10章  企業(yè)在云計(jì)算領(lǐng)域的實(shí)踐與創(chuàng)新   10.1  中國移動(dòng)在云計(jì)算領(lǐng)域的實(shí)踐和創(chuàng)新   10.2  美地森科技在云存儲(chǔ)和云計(jì)算IDC構(gòu)建的實(shí)踐和創(chuàng)新   10.3  八百客在云計(jì)算領(lǐng)域的實(shí)踐和創(chuàng)新   10.4  友友新創(chuàng)在云計(jì)算領(lǐng)域的實(shí)踐和創(chuàng)新   10.5  世紀(jì)互聯(lián)進(jìn)行的中國IaaS服務(wù)的實(shí)踐和創(chuàng)新   10.6  播思在云計(jì)算存儲(chǔ)及關(guān)鍵技術(shù)上的實(shí)踐和創(chuàng)新   10.7  小結(jié) 第11章  不得不看的八大云計(jì)算寶典   11.1  寶典1：搜索引擎論文   11.2  寶典2：GFS論文   11.3  寶典3：MapReduce論文   11.4  寶典4：BigTable論文   11.5  寶典5：Google及其“云”智慧   11.6  寶典6：Hadoop開源項(xiàng)目   11.7  寶典7：中國云計(jì)算網(wǎng)   11.8  寶典8：中國移動(dòng)云計(jì)算網(wǎng)參考文獻(xiàn)后記

章節(jié)摘錄

插圖：并行編程模式為了高效地利用云計(jì)算的資源，使用戶能更輕松的享受云計(jì)算帶來的服務(wù)，云計(jì)算的編程模型必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計(jì)算采用MapReduce編程模式，將任務(wù)自動(dòng)分成多個(gè)子任務(wù)，通過Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計(jì)算節(jié)點(diǎn)中的調(diào)度與分配。MapReduce是由Google公司發(fā)明，近些年新興的并行編程系統(tǒng)。它將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡等放在一個(gè)庫里，而將系統(tǒng)對數(shù)據(jù)的所有操作都?xì)w結(jié)兩個(gè)步驟：Map階段和Reduce階段。程序員向MapReduce提交的并行處理作業(yè)程序中只需定義Map函數(shù)和Reduce函數(shù)，MapReduce系統(tǒng)即可根據(jù)輸入數(shù)據(jù)的大小以及作業(yè)的配置等信息，自動(dòng)將該作業(yè)初始化為多個(gè)相同的Map任務(wù)和Reduce任務(wù)、分別讀取不同的輸人數(shù)據(jù)塊并調(diào)用.Map函數(shù)和Reduce函數(shù)進(jìn)行處理。MapReduce系統(tǒng)主要由三個(gè)模塊組成，其系統(tǒng)架構(gòu)如圖4-7所示?？蛻舳耍–lient）用于將用戶撰寫的并行處理作業(yè)提交至Master節(jié)點(diǎn)；主節(jié)點(diǎn)（Master）自動(dòng)將用戶作業(yè)分解為Map任務(wù)和Reduce任務(wù)，并將任務(wù)調(diào)度到工作節(jié)點(diǎn)（Worker）；工作節(jié)點(diǎn)（worker）用于向master請求執(zhí)行任務(wù)，同時(shí)多個(gè)Worker節(jié)點(diǎn)組成的分布式文件系統(tǒng)用于存儲(chǔ)MapReduce的輸入／輸出數(shù)據(jù)[1，2]（MapReduce的輸入／輸出數(shù)據(jù)也可以保存在專門的文件系統(tǒng)或數(shù)據(jù)庫系統(tǒng)中）。MapReduce主要應(yīng)用于海量數(shù)據(jù)處理，其任務(wù)調(diào)度策略的一大特色即是優(yōu)先將任務(wù)調(diào)度至數(shù)據(jù)所在的節(jié)點(diǎn)。這種基于數(shù)據(jù)位置的調(diào)度方案，使得當(dāng)請求任務(wù)的worker節(jié)點(diǎn)保存有任務(wù)處理的數(shù)據(jù)時(shí)，Map任務(wù)可以在本地讀取并處理數(shù)據(jù)，從而降低了網(wǎng)絡(luò)的開銷，提高了系統(tǒng)性能。后來的Hadoop開源化也沿襲了Google發(fā)明的這種基于GFS和MapReduce的分布式并行編程模式，只不過Hadoop把它叫做HDFS和MapReduce。筆者覺的下面有必要介紹一下基于Hadoop路線的MapReduce分布式并行編程模式，因?yàn)楫吘故情_源化的，更便于讀者體會(huì)并且實(shí)踐。

后記

寫這本書，全然是在每天的深夜和不加班的周末。真真正正是偷來了睡眠和休息的時(shí)間而完成的。所以必須得感謝我的太太和小女兒，因?yàn)樗齻兊闹С?，我才有了時(shí)間寫這本書。我對女兒說過："其實(shí)爸爸這寫的不是云計(jì)算，而是寂寞。"把閨女逗得前仰后合。其實(shí)，我說的是真心話，我的寂寞來自下面這兩個(gè)親身經(jīng)歷的故事。在兩周前的Hadoop中國峰會(huì)上，一位清華大學(xué)的在讀計(jì)算機(jī)博士和我聊了很久，我發(fā)現(xiàn)他對云計(jì)算、MapReduce以及BigTable真的知之甚少。另外一個(gè)故事也發(fā)生在前不久，在與一位從省里來的同事共進(jìn)晚餐時(shí)，他和我辯論，他的觀點(diǎn)是云計(jì)算根本就不是什么新鮮玩意兒，不就是主機(jī)托管嗎？在后來整整一頓飯的功夫里，我試圖跟他講明白他的認(rèn)識(shí)的局限，但我發(fā)現(xiàn)這似乎很困難?？梢姡瑳]有通過系統(tǒng)的了解，云計(jì)算是很難走進(jìn)每個(gè)人的認(rèn)識(shí)中去的。面對云計(jì)算，我們OUT了嗎？我相信很多人，也包括那些回答：No的，可能真的OUT了。說起云計(jì)算，我突然想到了兩個(gè)很古老的詞："德先生"和"賽先生"。我不知如今的90后，也包括80后，他們知道這兩個(gè)詞兒的意思嗎？1919年1月15日，中國人迎來了兩位陌生人：德先生和賽先生。這兩位來自西洋的先生成為中國啟蒙運(yùn)動(dòng)最深人人心的形象，他們對未來的中國帶來的影響極其深遠(yuǎn)，幾乎成了新文明理想的代名詞。德先生和賽先生實(shí)際上就是democracy和science，即民主與科學(xué)。按照當(dāng)時(shí)的語言習(xí)慣，根據(jù)原來英語發(fā)音起了個(gè)非常中國化的名詞。兩個(gè)充滿人性化的啟蒙先生便在九十年前的中國誕生了，他們在風(fēng)雨如晦的暗夜里為國人點(diǎn)亮了耀眼的燈塔，照亮人們前行的目標(biāo)和方向。如今，他們又在信息爆炸的海洋中為我們扯起了云計(jì)算的風(fēng)帆，讓我們長風(fēng)破浪會(huì)有時(shí)，直掛云帆濟(jì)滄海。讓我們一起用德先生和賽先生的觀點(diǎn)來看看云計(jì)算。

媒體關(guān)注與評論

本書對云計(jì)算的起源和發(fā)展，云計(jì)算涉及的關(guān)鍵技術(shù)，基于云計(jì)算的典型應(yīng)用及其商業(yè)模式，作了詳盡的分析和介紹，可以幫助讀者進(jìn)一步地認(rèn)識(shí)云計(jì)算、理解云計(jì)算和思考云計(jì)算。 　　——中國移動(dòng)通信集團(tuán)公司總裁 王建宙 云計(jì)算將讓人類變得更加智慧，更好更快地感知這個(gè)地球上發(fā)生的一切。如果要問為什么，請你閱讀此書，她會(huì)幫你理解云計(jì)算，幫你云中漫步，幫你騰云而飛?！　　袊こ淘涸菏?李德毅 本書論述了“云計(jì)算”的方方面面，文筆生動(dòng)、深入淺出，是在中國傳播“云計(jì)算”的理想讀物。 　　——中國工程院院士 倪光南

編輯推薦

《云計(jì)算深刻改變未來》：面對云計(jì)算，你OUT了嗎？Google動(dòng)了誰的奶酪？應(yīng)對云計(jì)算挑戰(zhàn)，中國IT科技，應(yīng)何去何從？眾說紛紜，且聽為民深刻剖析！中國移動(dòng)總裁王建宙和中國工程院兩大院士李德毅、倪光南特別推薦《云計(jì)算深刻改變未來》。叢書介紹：中國移動(dòng)通信研究院作為中國移動(dòng)“技術(shù)創(chuàng)新的引擎”,努力踐行科學(xué)發(fā)展觀，積極開展技術(shù)創(chuàng)新，廣泛推動(dòng)產(chǎn)業(yè)合作，不斷增強(qiáng)核心競爭力。為了展現(xiàn)創(chuàng)新成果、推動(dòng)研發(fā)創(chuàng)新、與業(yè)界同仁探討信息通信業(yè)未來發(fā)展，中國移動(dòng)通信研究院發(fā)起設(shè)立了“中國移動(dòng)創(chuàng)新系列叢書”圖書出版項(xiàng)目，以此來傳播先進(jìn)文化思想，推動(dòng)產(chǎn)業(yè)發(fā)展?！爸袊苿?dòng)創(chuàng)新叢書”的目標(biāo)是：加強(qiáng)基礎(chǔ)理論與企業(yè)應(yīng)用及行業(yè)發(fā)展的聚合力、展現(xiàn)千里文化思想、推動(dòng)產(chǎn)業(yè)科技創(chuàng)新。這套叢書在科學(xué)理論與產(chǎn)業(yè)應(yīng)用之間的成功結(jié)合填補(bǔ)了國內(nèi)圖書市場輸電網(wǎng)空白，全層面多角度適應(yīng)了廣大讀者的渴求，對于提高社會(huì)大眾對我國信息通信產(chǎn)業(yè)的理解，增強(qiáng)工業(yè)界對信息通信業(yè)發(fā)展愿景的關(guān)注度，培養(yǎng)業(yè)內(nèi)各類技術(shù)和管理人才都具有十分重要的戰(zhàn)略和實(shí)踐意義。

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    云計(jì)算 PDF格式下載

---