信息論與編碼

內(nèi)容概要

　　信息論與編碼是研究信息傳輸和信息處理過程中一般規(guī)律和具體實(shí)現(xiàn)的一門應(yīng)用科學(xué)，是現(xiàn)代信息科學(xué)和工程技術(shù)的基礎(chǔ)理論。《信息論與編碼（第2版）》在吸取了國內(nèi)外經(jīng)典教材的優(yōu)點(diǎn)，結(jié)合作者們長期教學(xué)和科研實(shí)踐經(jīng)驗(yàn)的基礎(chǔ)上編寫而成。本書深入淺出，既保持理論的完整性、系統(tǒng)性和嚴(yán)謹(jǐn)性，又概念清晰、易讀好懂，同時還介紹了信息論與編碼技術(shù)的新發(fā)展。本書主要介紹Shannon信息論和相關(guān)的編碼技術(shù)。內(nèi)容包括如下11章：緒論，熵和互信息，離散無記憶信源的無損編碼，信道、信道容量及信道編碼定理，率失真理論和保真度準(zhǔn)則下的信源編碼，受限系統(tǒng)和受限系統(tǒng)編碼，線性分組糾錯編碼，循環(huán)碼，卷積碼，先進(jìn)的信道編碼技術(shù)，多用戶信息論。　　《信息論與編碼（第2版）》適合作為高等院校電子信息類專業(yè)的高年級本科生和研究生教材，對于從事信息科學(xué)和技術(shù)領(lǐng)域工作和研究的人員也極具參考價值。

書籍目錄

第1章 緒論第2章 熵和互信息2.1 隨機(jī)變量的熵和互信息2.1.1 事件的自信息和互信息2.1.2 條件事件的互信息與聯(lián)合事件的互信息2.1.3 隨機(jī)變量的平均自信息——熵2.1.4 熵的性質(zhì)2.1.5 凸函數(shù)2.1.6 隨機(jī)變量間的平均互信息2.1.7 概率分布的散度（相對熵）2.1.8 關(guān)于疑義度的Fano不等式2.1.9 馬爾可夫鏈和數(shù)據(jù)處理定理2.1.10 Shannon信息度量與集合論之間的聯(lián)系2.1.11 信息論與博弈之間的關(guān)系2.2 連續(xù)隨機(jī)變量的互信息和微分熵2.2.1 連續(xù)隨機(jī)變量的互信息2.2.2 連續(xù)隨機(jī)變量的熵——微分熵2.2.3 微分熵的極大化2.3 平穩(wěn)離散信源的熵2.3.1 平穩(wěn)離散信源的一般概念2.3.2 平穩(wěn)信源的熵2.3.3 馬爾可夫信源2.4 平穩(wěn)隨機(jī)過程的信息量與熵習(xí)題第3章 離散無記憶信源的無損編碼3.1 離散無記憶信源的等長編碼3.1.1 等長編碼3.1.2 Shannon信源編碼定理敘述3.1.3 漸近等分性質(zhì)與Shannon定理的證明3.2 離散無記憶信源的不等長編碼3.2.1 不等長編碼的唯一可譯性和譯碼延時3.2.2 Kraft不等式3.2.3 不等長編碼定理3.3 幾種不等長編碼算法3.3.1 最佳不等長編碼（Huffman編碼）3.3.2 Shannon編碼法3.3.3 Fano編碼3.3.4 Shannon-Fano-Elias編碼3.3.5 算術(shù)編碼3.3.6 通用信源編碼算法3.3.7 壓縮編碼與離散隨機(jī)數(shù)發(fā)生3.4 平穩(wěn)信源和馬爾可夫信源的編碼定理3.4.1 平穩(wěn)信源的編碼3.4.2 馬爾可夫信源的編碼習(xí)題第4章 信道、信道容量及信道編碼定理4.1 信道、信道模型和分類4.2 離散無記憶信道及其容量4.2.1 信道容量定義及例子4.2.2 離散無記憶信道的容量定理4.2.3 對稱離散無記憶信道容量的計算4.2.4 轉(zhuǎn)移概率矩陣可逆信道的容量計算4.2.5 離散無記憶信道容量的迭代計算4.3 信道的組合4.3.1 積信道（平行組合信道）4.3.2 和信道4.3.3 級聯(lián)信道4.4 離散無記憶信道的編碼定理4.4.1 幾個有關(guān)定義4.4.2 二元對稱信道編碼定理的證明4.4.3 一般離散無記憶信道編碼定理的證明（典型列方法）4.4.4 信道編碼定理之逆4.4.5 具有理想反饋的離散無記憶信道的容量4.4.6 信源、信道編碼分離定理和信源、信道聯(lián)合編碼4.5 加性高斯噪聲信道4.5.1 高斯信道的容量4.5.2 高斯信道編碼定理4.5.3 高斯信道編碼定理之逆4.5.4 帶有獨(dú)立高斯噪聲的平行信道4.5.5 帶有相關(guān)高斯噪聲的平行信道4.5.6 MIMO高斯信道的容量4.6 模擬信道的信道容量4.6.1 帶限、加性白高斯噪聲信道4.6.2 帶限、有色高斯噪聲信道習(xí)題第5章 率失真理論和保真度準(zhǔn)則下的信源編碼5.1 率失真函數(shù)的定義5.2 簡單信源的率失真函數(shù)計算5.2.1 Hamming失真度量下的貝努利信源5.2.2 高斯信源5.2.3 高斯矢量信源5.3 率失真函數(shù)的性質(zhì)……第6章 受限系統(tǒng)和受限系統(tǒng)編碼第7章 線性分組糾錯編碼第8章 循環(huán)碼第9章 卷積碼第10章 先進(jìn)的信道編碼技術(shù)第11章 多用戶信息論參考文獻(xiàn)

章節(jié)摘錄

眾所周知，自然界的信號都是連續(xù)的，無論是語音信號、圖像信號或各種傳感信號，不可能用有限比特不失真地表示它們。因此問題在于如何設(shè)計一種編碼方法，使其在給定的許可失真范圍內(nèi)，用最少的比特表示它們，或者說如何用給定的比特數(shù)來表示這個連續(xù)信號，使失真最小。這就是保真度意義下的壓縮編碼。幾十年來，在這方面已發(fā)展了許多成功的實(shí)用壓縮編碼方法，比如矢量量化、預(yù)測編碼、變換編碼、子帶編碼等技術(shù)，其中許多技術(shù)已成為國際標(biāo)準(zhǔn)，例如ITU中關(guān)于語音壓縮和圖像壓縮的標(biāo)準(zhǔn)。正是由于這些有損壓縮編碼技術(shù)的應(yīng)用使得語音、圖像信號的碼率可以成十倍甚至上百倍地降低，同時使由壓縮編碼引起的信號質(zhì)量下降不為人類感官所覺察。這些編碼技術(shù)是當(dāng)前各種多媒體技術(shù)的核心。信道編碼也就是通常所說的糾錯編碼，是另一大類信息編碼技術(shù)。這類編碼的目的在于檢測或糾正傳輸中的錯誤，提高信息在傳輸中的可靠性。糾錯編碼中最早的Hamming碼是幾乎與香農(nóng)信息論同時被提出來的。早期糾錯碼研究集中在線性分組碼，采用的數(shù)學(xué)工具是矩陣?yán)碚?。?0世紀(jì)60年代，由于以有限域理論為主的抽象代數(shù)工具的引入使線性分組碼的研究突飛猛進(jìn)。循環(huán)碼，特別是BCH碼、RS碼等的研究，不僅為線性編碼的研究打下堅實(shí)的基礎(chǔ)，而且由于代數(shù)構(gòu)造的引入使得譯碼復(fù)雜性大為下降。20世紀(jì)70年代以后基于概率譯碼的序貫編碼理論，特別是卷積碼，獲得了極大的發(fā)展。……

圖書封面

評論、評分、閱讀與下載

---

    信息論與編碼 PDF格式下載

---