高可用性的HDFS

內(nèi)容概要

　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》專注于hadoop分布式文件系統(tǒng)（hdfs）的主流ha解決方案，內(nèi)容包括：hdfs元數(shù)據(jù)解析、hadoop元數(shù)據(jù)備份方案、hadoop
backup node方案、avatarnode解決方案以及最新的ha解決方案cloudrea ha name
node等。其中有關backup
node方案及avatarnode方案的內(nèi)容是本書重點，尤其是對avatarnode方案從運行機制到異常處理方案的步驟進行了詳盡介紹，同時還總結了各種異常情況下avatarnode的各種處理方案。
　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》從代碼入手并結合情景分析、案例解說對hdfs的元數(shù)據(jù)以及主流的hdfs
ha解決方案的運行機制進行了深入剖析，力求使讀者在解決問題時做到心中有數(shù)，不僅知其然還知其所以然。
　　本書光盤包含本書部分操作的視頻教程以及所有源代碼、腳本等開發(fā)文件。
　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》讀者主要為云計算相關領域的研發(fā)人員、云計算系統(tǒng)管理維護人員，也適合作為高校研究生和高年級本科生的專業(yè)課輔助教材。

作者簡介

文艾，解放軍理工大學講師，7年Linux分布式系統(tǒng)開發(fā)經(jīng)驗，完成科研項目10余項，發(fā)表學術論文9篇，獲得部級科技進步獎3項。自2008年關注云計算方向以來，參與完成了《云計算》教材編寫，負責首屆全國高校教師暑期云計算培訓班實驗課程教學，與國內(nèi)外知名企業(yè)合作，完成多項云計算科研項目及培訓任務，其中《面向3G視頻監(jiān)控的云存儲系統(tǒng)》在2009年中國首屆云計算大會上作了大會演示。對GFS、HDFS、MooseFS等云存儲系統(tǒng)的運行原理和實現(xiàn)機制進行過深入研究，此外感興趣的方向還包括分布式智能視頻處理，目前的主要研究方向為云計算高可用性及云存儲系統(tǒng)。王磊，南京云創(chuàng)存儲科技有限公司云計算工程師，專注于分布式平臺下任務調(diào)度和可靠性。發(fā)表多篇分布式環(huán)境下任務調(diào)度和可靠性論文。深度分析Hadoop源代碼，熟悉運行機制和原理，掌握HDFS具體流程細節(jié)，深入理解分布式計算理論及Hadoop的運行機制和原理，熟悉HDFS、MapReduce和Hbase的具體實現(xiàn)方式。在HDFS、MapReduce的數(shù)據(jù)一致性方面和故障恢復上也有深入研究，并提供高效自動恢復方案。參與開發(fā)了多個與Hadoop相關的大型項目和產(chǎn)品，熱衷于改進Hadoop代碼以及研究如何提高Hadoop的可靠性。

書籍目錄

第1章 hdfs ha及解決方案
　1.1 hdfs系統(tǒng)架構
　1.2 ha定義
　1.3 hdfs ha原因分析及應對措施
　1.3.1 可靠性
　1.3.2 可維護性
　1.4 現(xiàn)有hdfs ha解決方案
　1.4.1 hadoop的元數(shù)據(jù)備份方案
　1.4.2 hadoop的secondarynamenode方案
　1.4.3 hadoop的checkpoint ode方案
　1.4.4 hadoop的backupnode方案
　1.4.5 drdb方案
　1.4.6 facebook的avatarnode方案
　1.5 方案優(yōu)缺點比較
第2章 hdfs元數(shù)據(jù)解析
　2.1 概述
　2.2 內(nèi)存元數(shù)據(jù)結構
　2.2.1 inode
　2.2.2 block 　
　2.2.3 blockinfo和datanodedescriptor
　2.2.4 小結
　2.2.5 代碼分析——元數(shù)據(jù)結構
　2.3 磁盤元數(shù)據(jù)文件
　2.4 format情景分析
　2.5 元數(shù)據(jù)應用場景分析
第3章 hadoop的元數(shù)據(jù)備份方案
　3.1 運行機制分析
　3.1.1 namenode啟動加載元數(shù)據(jù)情景分析
　3.1.2 元數(shù)據(jù)更新及日志寫入情景分析
　3.1.3 checkpoint過程情景分析
　3.1.4 元數(shù)據(jù)可靠性機制
　3.1.5 元數(shù)據(jù)一致性機制
　3.2 使用說明
第4章 hadoop的backup node方案
　4.1 backup node概述
　4.1.1 系統(tǒng)架構
　4.1.2 使用原則
　4.1.3 優(yōu)缺點
　4.2 運行機制分析
　4.2.1 啟動流程
　4.2.2 元數(shù)據(jù)操作情景分析
　4.2.3 日志池（journal spool）機制
　4.2.4 故障切換機制
　4.3 實驗方案說明
　4.4 構建實驗環(huán)境
　4.4.1 網(wǎng)絡拓撲
　4.4.2 系統(tǒng)安裝及配置
　4.4.3 安裝jdk
　4.4.4 虛擬機集群架設
　4.4.5 namenode安裝及配置
　4.4.6 backup node安裝及配置
　4.4.7 data node安裝及配置
　4.4.8 clients安裝及配置
　4.5 異常解決方案
　4.5.1 異常情況分析
　4.5.2 namenode配置
　4.5.3 backup node配置
　4.5.4 data node配置
　4.5.5 namenode宕機切換實驗
　4.5.6 namenode宕機讀寫測試
　
第5章 avatarnode運行機制
　5.1 方案說明
　5.1.1 系統(tǒng)架構
　5.1.2 思路分析
　5.1.3 性能數(shù)據(jù)
　5.2 元數(shù)據(jù)分析
　5.2.1 類fsnamesystem
　5.2.2 類fsdirectory
　5.2.3 avatarnode的磁盤元數(shù)據(jù)文件
　5.3 avatarnode primary啟動過程
　5.4 avatarnode standby啟動過程
　5.4.1 avatarnode的構造方法
　5.4.2 standby線程的run()方法
　5.4.3 ingest線程的run()方法
　5.4.4 ingest線程的ingestfsedits ()方法
　5.4.5 standby線程的docheckpoint()方法
　5.5 用戶操作情景分析
　5.5.1 創(chuàng)建目錄情景分析
　5.5.2 創(chuàng)建文件情景分析
　5.6 avatarnode standby故障切換過程
　5.7 元數(shù)據(jù)一致性保證機制
　5.7.1 元數(shù)據(jù)目錄樹信息
　5.7.2 data node與block數(shù)據(jù)塊映射信息
　5.8 block更新同步問題
　5.8.1 問題描述
　5.8.2 結論
　5.8.3 源碼分析
第6章 avatarnode使用
　6.1 方案說明
　6.1.1 網(wǎng)絡拓撲
　6.1.2 操作系統(tǒng)安裝及配置
　6.2 使用avatar打補丁版本
　6.2.1 hadoop源碼聯(lián)機build
　6.2.2 hadoop源碼本地build
　6.2.3 nfs服務器構建
　6.2.4 avatar分發(fā)與部署
　6.2.5 primary（namenode0）節(jié)點配置
　6.2.7 data node節(jié)點配置
　6.2.8 client節(jié)點配置
　6.2.9 創(chuàng)建目錄
　6.2.10 掛載nfs
　6.2.11 啟動ucarp
　6.2.12 格式化
　6.2.13 系統(tǒng)啟動
　6.2.14 檢查
　6.2.15 namenode失效切換寫文件實驗
　6.2.16 namenode失效切換讀文件實驗
　6.3 avatar facebook版本的使用
　6.3.1 hadoop facebook版本安裝
　6.3.2 節(jié)點配置
　6.3.3 啟動hdfs
　6.3.4 namenode失效切換
第7章 avatarnode異常解決方案
　7.1 測試環(huán)境
　7.2 primary失效
　7.2.1 解決方案
　7.2.2 寫操作實驗步驟
　7.2.3 改進寫操作機制
　7.2.4 讀操作實驗步驟
　7.2.5 小結
　7.3 standby失效
　7.4 nfs失效（數(shù)據(jù)未損壞）
　7.4.1 解決方案
　7.4.2 寫操作實驗步驟
　7.4.3 讀操作實驗步驟
　7.4.4 小結
　7.5 nfs失效（數(shù)據(jù)已損壞）
　7.5.1 解決方案
　7.5.2 寫操作實驗步驟
　7.5.3 讀操作實驗步驟
　7.5.4 小結
　7.6 primary先失效，nfs后失效（數(shù)據(jù)未損壞）
　7.6.1 解決方案
　7.6.2 寫操作實驗步驟
　7.6.3 讀操作實驗步驟
　7.6.4 小結
　7.7 primary先失效（數(shù)據(jù)未損壞），nfs后失效（數(shù)據(jù)損壞）
　7.7.1 解決方案
　7.7.2 寫操作實驗步驟
　7.7.3 讀操作實驗步驟
　7.7.4 小結
　7.8 nfs先失效（數(shù)據(jù)未損壞），primary后失效
　7.8.1 解決方案
　7.8.2 寫操作實驗步驟
　7.8.3 讀操作實驗步驟
　7.8.4 小結
　7.9 nfs先失效（數(shù)據(jù)損壞），primary后失效（數(shù)據(jù)損壞）
　7.9.1 解決方案
　7.9.2 寫操作實驗步驟
　7.9.3 讀操作實驗步驟
　7.9.4 小結
　7.10 實驗結論
第8章 cloudera ha namenode使用
　8.1 ha namenode說明
　8.2 cdh4b1版本hdfs集群配置
　8.2.1 虛擬機安裝
　8.2.2 nn1配置
　8.2.3 dn1~dn3配置
　8.2.4 hdfs集群構建
　8.3 ha namenode配置
　8.3.1 nn1配置
　8.3.2 其他節(jié)點配置
　8.4 ha namenode使用
　8.4.1 啟動ha hdfs集群
　8.4.2 第1次failover
　8.4.3 模擬寫操作
　8.4.4 模擬active name node失效，第2次failover
　8.3.5 模擬新的standby namenode加入
　8.5 小結
　
　　

編輯推薦

《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》編輯推薦：如果您是一位Hadoop集群管理維護人員，請閱讀本書，它將向您展示當前主流的HDFS HA解決方案，通過文字說明和視頻展示這些方案的實現(xiàn)機制和操作細節(jié)，使您能夠在最短的時間內(nèi)消化和吸收這些技術，您可以根據(jù)自己的需要選擇和部署實施最合適的HA方案。如果您是一位Hadoop應用開發(fā)者，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，您將會在此尋找到如何與HDFS的HA相結合，編寫出更為健壯的應用程序的答案。如果您是一位分布式文件系統(tǒng)研發(fā)人員，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，它將向您深入剖析HDFS這一最有影響力的開源云計算分布式存儲系統(tǒng)的各種HA方案及其實現(xiàn)機制。如果您是一位云計算技術的愛好者，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，它會從零開始，一步一步地帶您掌握云計算相關技術的基本操作，并加深概念的理解，為您日后深入云計算技術打下基礎。

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    高可用性的HDFS PDF格式下載

---