信息論與編碼

前言

信息論與編碼理論是50多年前由美國科學家C．E．Shannon、R．W．Hamming等人創(chuàng)立的。它以Shannon的不朽名著《通信的數(shù)學理論》為里程碑。幾十年來許多優(yōu)秀的學者、工程師共同努力推動了信息論與編碼的理論和實踐的發(fā)展，現(xiàn)在信息論與編碼理論已成為信息科學的基礎(chǔ)理論，也成為20世紀后半葉數(shù)字化革命的主要理論和技術(shù)支柱。國外的一流學校在20世紀50年代末就開始設(shè)立信息論與編碼課程，目前國內(nèi)各高等院校的電子信息類專業(yè)本科生、研究生也都已把信息論與編碼作為一門重要的專業(yè)基礎(chǔ)理論課。由于信息論與編碼的許多思想和方法已廣泛地滲透到許多領(lǐng)域，它的許多研究成果也具有普遍意義，因此信息論與編碼在許多領(lǐng)域，如在計算機、系統(tǒng)科學、統(tǒng)計學、物理學、生物學、經(jīng)濟學甚至社會學中都獲得了成功的應(yīng)用。信息論與編碼理論對于從事這些相關(guān)領(lǐng)域工作和學習的人員來說也極具參考價值。本書在作者多年教學經(jīng)驗和研究實踐的基礎(chǔ)上編寫而成，由于信息論與編碼本身既是一門工程科學，同時又是一門應(yīng)用數(shù)學，因此作為教材必須既保持論述的科學性、嚴謹性，又要求深入淺出、通俗易懂，能為工程師所理解。本書中對于抽象的概念輔以必要的例子予以說明，對于復(fù)雜的證明則著重講清證明思路而忽略繁瑣的細節(jié)。本書所要求的數(shù)學基礎(chǔ)是初等的，只要具有概率論、隨機過程、線性代數(shù)和離散數(shù)學中的初等知識就足夠了，但也要求讀者具有一定的抽象思維能力。對于像Shannorl理論中的精華——典型列理論和隨機編碼方法必須要慢慢地咀嚼、細細地品味才能體會它的真諦。信息論與編碼是一門應(yīng)用科學，它最基本的應(yīng)用背景是通信。著名的通信理論家Viterbi說過，如果把現(xiàn)代通信技術(shù)比喻成飛船，則晶體管是它的引擎而信息論是它的方向盤。在本書中突出了信息論和編碼的應(yīng)用，特別強調(diào)在通信中的應(yīng)用。這樣理論與應(yīng)用結(jié)合，有助于讀者了解產(chǎn)生理論和解決問題的實際背景，也提高了工科學生的學習興趣。

內(nèi)容概要

　　《信息論與編碼》是“十五”國家級規(guī)劃教材。信息論和編碼是研究信息傳輸和信息處理過程中一般規(guī)律和具體實現(xiàn)的一門應(yīng)用科學，是現(xiàn)代信息科學和技術(shù)工程的基礎(chǔ)理論?！缎畔⒄撆c編碼》是在吸取了國內(nèi)外經(jīng)典教材的優(yōu)點，結(jié)合作者教學經(jīng)驗的基礎(chǔ)上編寫而成?！缎畔⒄撆c編碼》寫得深入淺出，既保持理論的完整性、系統(tǒng)性，又概念清楚、易讀好懂，同時介紹了信息論的新發(fā)展。教材主要介紹Shannon信息理論和相關(guān)的編碼技術(shù)。內(nèi)容包括如下11章：緒論、嫡和互信息、離散無記憶信源的無損編碼、信道、信道容量及信道編碼定理、率失真理論和保真度準則下的信源編碼、受限系統(tǒng)和受限系統(tǒng)編碼、線性分組糾錯編碼、循環(huán)碼、卷積碼、Turbo碼與選代譯碼、多用戶信息論與多用戶編碼。　　《信息論與編碼》適合作為高等院校電子信息類專業(yè)的高年級本科生和研究生教材，對于從事信息科學和技術(shù)領(lǐng)域工作和研究的人員也極具參考價值。

書籍目錄

第1章　緒論第2章　熵和互信息2．1　隨機變量的熵和互信息2．1．1事件的自信息和互信息2．1．2條件事件的互信息與聯(lián)合事件的互信息2．1．3隨機變量的平均自信息——熵2．1．4熵的性質(zhì)2．1．5凸函數(shù)2．1.6隨機變量間的平均互信息2．1．7概率分布的散度（相對熵）2．1．8關(guān)于疑義度的Fano不等式2．1．9馬爾可夫鏈和數(shù)據(jù)處理定理2．1．10Shamon信息度量與集合論之間的聯(lián)系2．1．11信息論與博弈之間的關(guān)系2．2　連續(xù)隨機變量的互信息和微分熵2．2．1連續(xù)隨機變量的互信息2．2.2連續(xù)隨機變量的熵——微分熵2．2．3微分熵的極大化2．3　平穩(wěn)離散信源的熵2．3．1平穩(wěn)離散信源的一般概念2．3．2平穩(wěn)信源的熵2．3．3馬爾可夫信源2．4平穩(wěn)隨機過程的信息量與熵習題第3章　離散無記憶信源（DMs）的無損編碼3．1　離散無記憶信源的等長編碼3．1．1等長編碼3．1．2Shannon編碼定理和典型列解釋3．1．3漸近等分性質(zhì)（AEP）與Shamon定理的證明3．2　離散無記憶源（DMs）的不等長編碼3．2．1不等長編碼的惟一可譯性和譯碼延時3．2．2Kraf不等式3．2．3不等長編碼定理3．3　幾種不等長編碼算法3．3．1最佳不等長編碼（Huffman編碼）3．3．2Shannon編碼法3．3．3Fano編碼3．3．4ShannOn-Fano-EIias編碼3．3．5算術(shù)編碼3．3．6通用信源編碼算法3．3．7壓縮編碼與離散隨機數(shù)發(fā)生3．4　平穩(wěn)信源和馬爾可夫信源的編碼定理3．4．1平穩(wěn)信源的編碼3．4．2馬爾可夫信源的編碼習題第4章　信道、信道容量及信道編碼定理4．1　信道、信道模型和分類4．2　離散無記憶信道（DMC）及其容量4．2．1信道容量定義及例子4．2．2離散無記憶信道（DMC）的容量定理4．2．3對稱離散無記憶信道容量的計算4.　2．4轉(zhuǎn)移概率矩陣可逆信道的容量計算4．2．5離散無記憶信道（DMC）容量的迭代計算4．3　信道的組合4．3．1積信道（平行組合信道）4．3．2和信道4．3．3級聯(lián)信道4．4　離散無記憶信道（DMC）的編碼定理4．4．1幾個有關(guān)定義4．4．2二元對稱信道編碼定理的證明4．4．3一般離散無記憶信道編碼定理的證明（典型列方法）4．4．4信道編碼定理之逆4．4．5具有理想反饋的離散無記憶信道的容量4.　4．6信源、信道編碼分離定理和信源、信道聯(lián)合編碼4．5　加性高斯噪聲（AwGN）信道4．5.1高斯信道的容量4．5．2高斯信道編碼定理4．5．3高斯信道編碼定理之逆4．5．4帶有獨立高斯噪聲的平行信道4．5．5帶有相關(guān)高斯噪聲的平行信道4.　5．6MIMO高斯信道的容量4．6　模擬信道的信道容量4．6．1帶限、加性白高斯噪聲信道4．6．2帶限、有色高斯噪聲信道習題第5章　率失真理論和保真度準則下的信源編碼5．1　率失真函數(shù)的定義5．2　簡單信源的率失真函數(shù)計算5．2．1Hamming失真度量下的貝努利信源5．2．2高斯信源5．2．3高斯矢量信源5．3　率失真函數(shù)的性質(zhì)5．3．1R（D）的非零區(qū)域（Dmin,Dmax）5．3．2R（D）的向下凸性5．3．3R（D）為單調(diào)遞減的連續(xù)函數(shù)5．3．4利用信源的對稱性來計算率失真函數(shù)5．4　率失真函數(shù)解的充要條件和參數(shù)方程5．5　率失真函數(shù)的交替迭代計算5．6　保真度準則下離散無記憶信源編碼定理5．6．1可達性證明5．6．2逆定理證明5．6．3信道編碼定理與限失真信源編碼定理之間的對偶5．7　無記憶連續(xù)信源的率失真函數(shù)5．7．1無記憶連續(xù)信源的率失真函數(shù)定義5．7．2平方誤差失真度量下連續(xù)隨機變量的率失真函數(shù)的上、下限5．8　平方誤差失真度量下有記憶高斯信源的率失真函數(shù)5．8．1有記憶信源的率失真函數(shù)定義5．8．2高斯信源的特征5．8．3離散時間平穩(wěn)高斯信源的率失真函數(shù)5．8．4連續(xù)時間平穩(wěn)高斯信源的率失真函數(shù)習題第6章　受限系統(tǒng)和受限系統(tǒng)編碼6．1　受限系統(tǒng)概述6．1．1受限信道6．1．2序列的自相關(guān)函數(shù)和功率譜6．2　受限系統(tǒng)的表示和容量計算6．2．1受限系統(tǒng)的概念6．2．2RLL（d，k）序列6．2．3受限系統(tǒng)的有限狀態(tài)轉(zhuǎn)移圖表示6．2．4受限系統(tǒng)的容量6．2．5受限系統(tǒng)容量的計算6．2．6最大熵游程受限序列的功率譜6．3　受限系統(tǒng)編碼方法6．3．1定長分組編碼6．3．2碼長最短的定長分組碼6．3．3可變長度固定速率編碼6．3．4向前看（LA）編碼技術(shù)6．4　基于ACH狀態(tài)分裂算法的有限狀態(tài)編碼器6．4．1狀態(tài)分裂6．4．2近似本征矢量6.　4．3一致分裂6．4．4ACH狀態(tài)分裂算法第7章　線性分組糾錯編碼7．1分組糾錯編碼的一般概念7．1．1用于糾錯和檢錯的信道編碼7．1．2二元對稱信道的差錯概率和差錯分布7．1．3檢錯和糾錯……第8章　循環(huán)碼第9章　卷積碼第10章　Turbo編碼與迭代譯碼算法第11章　多用戶信息論與多用戶編碼參考文獻

章節(jié)摘錄

插圖：

圖書封面

評論、評分、閱讀與下載

---

    信息論與編碼 PDF格式下載

---