信息論基礎(chǔ)

用戶評論 (總計30條)

•   　　信息論基礎(chǔ)
  　　評分：8.5 權(quán)重8 （課程共耗時6361，其中本書2339）
  　　從課程講到典型集之后換用這本書學(xué)信息論部分。目前只自己看了這本書的很小一部分，包括二三五七章的部分。使用了本書之后感覺《信息論與編碼理論》真是本傻逼教材，受不了它了。。這本書總體比信息論與編碼的書好多了，第二章只發(fā)現(xiàn)了一個錯誤。層次分明的排版，簡潔明了的公式、定理及其證明，讓人賞心悅目，在閱讀的時候有一種美學(xué)享受（不要小看這一點，這是非常影響學(xué)習(xí)情緒從而影響學(xué)習(xí)效率的；）。我在學(xué)習(xí)這本書的時候，常常是剛剛洗澡完，然后一回來就情不自禁如饑似渴的對著本書一直看，等到一抬頭已經(jīng)12點多，舍友都在催我睡覺了；可以說完全進(jìn)入了一種高度專注的“心流”的學(xué)習(xí)狀態(tài)，這不僅要拜我當(dāng)時的良好狀態(tài)所賜，也與教材有極大關(guān)聯(lián)；那些錯漏百出的爛書是絕對不可能如此吸引我并且能提供如此連續(xù)而密集的智力活動體驗的。本書的每個章節(jié)的最后還都有專門列舉了本章所有的重要公式定理，簡直是太貼心了。這本書還將每個知識點的外延也都包括在書中，列舉了大量的信息論知識在其他領(lǐng)域如統(tǒng)計、隨機(jī)過程、博弈論的應(yīng)用（后面章節(jié)還有更多方面的，我還沒看到）。最能說明其效力的莫過于漸進(jìn)均分性這一章，我當(dāng)時沒有這本教材，聽老師上課講了兩節(jié)課基本什么都沒有聽懂，完全一頭霧水（當(dāng)然，不能完全怪老師，我本來就不是audio learner，上課就當(dāng)是預(yù)習(xí)/復(fù)習(xí)，而是明顯的visual learner，課下自己看才是重頭戲）,在用短短幾個小時看了本書的這一章節(jié)后就豁然開朗，很快就融會貫通了。這本書的習(xí)題量也非常多，而且有理由相信它們都是很經(jīng)典的，可惜只有很少的部分在網(wǎng)上有英文版的答案。這本書文字和公式都太精要了，以至于我想畫一些重點和做高亮記號都無從下手，因為幾乎所有內(nèi)容都沒有什么廢話，所有內(nèi)容都是信息量很大的重點，復(fù)習(xí)的時候可以直接閱讀。但是這本書似乎有點太精要了，經(jīng)常出現(xiàn)不認(rèn)識的符號或者沒有說明清楚的地方，似乎不是面向初學(xué)者的，以至于我有不少地方不太看得懂或者感覺牽扯了太多非課程內(nèi)容。因此，這本書如果在掌握了更高深的知識后過來復(fù)習(xí)，會有更大的效力，能夠打通并構(gòu)建出更完整龐大的知識網(wǎng)絡(luò)。我與這本書的緣分必然不會就此終結(jié)，以后必然還會繼續(xù)復(fù)習(xí)以及學(xué)習(xí)這本書的其他部分，屆時對它的理解可能更加深入，本書的評分也可能會相應(yīng)的繼續(xù)提高。
  　　
•   　　比起同類書，是相當(dāng)容易懂。但是數(shù)學(xué)的條理邏輯性就不明顯了。具體說來，其他書基本都是直接先把用到的數(shù)學(xué)基礎(chǔ)擺出來，在后面章節(jié)中直接用（如El Gamal & Kim的NETWORK INFORMATION THEORY）。而這本書不是的。
  　　
  　　組織結(jié)構(gòu)上可能有些難以把握。僅僅在通信上的應(yīng)用，最起碼包括信道編碼和信源編碼，兩者是對偶，需要跳來跳去，會弄的讀者一頭霧水。本書又包括了算法復(fù)雜度，還有股票投資什么的，建議這部分先跳過去。
  　　
  　　此書入門，入門后看El Gamal & Kim的書。然后再后頭看這本另有收獲。BTW，本書主要用弱典型，El Gamal & Kim的是強(qiáng)典型。強(qiáng)典型容易點。
•   　　剛剛讀完這本書，的確是一本好書，把信息論的主要思想，以及這些思想在包括博弈、金融、數(shù)學(xué)、物理、算法復(fù)雜性等理論的應(yīng)用都講出來了，而且能夠把信息論之中蘊(yùn)含的深刻科學(xué)思想講出來，的確是一本好書。
  　　但我認(rèn)為，這本書仍然存在以下一些不足之處：
  　　1、這并不是一本入門級別的書
  　　不知道評價這本書的其他朋友怎么看，不知道各位都是什么級別的人士。但是，我作為一名也算是理工科背景出身的高校教師，仍然覺得這本書很難真正讀懂。信息論中有很多艱深的思想以及數(shù)學(xué)證明包含了本書之中，這些證明不花上一定的力氣不可能學(xué)會。所以，相比較來說，我并不覺得這是一本信息論入門書籍。（相比較來說，入門書籍應(yīng)該更加淺顯一些，而且不要涉及太多的數(shù)學(xué)證明）。
  　　2、內(nèi)容過于分散，很難讓初學(xué)者抓住主線
  　　本書的優(yōu)點之一就是將信息論設(shè)計的很多相關(guān)學(xué)科也介紹的非常清楚，例如金融、博弈、物理、最大熵原理、統(tǒng)計等等，但是這也恰恰形成了讀者，尤其是初學(xué)者閱讀這本書的障礙。我更不能理解的是，作者似乎按照兩條主線來敘述這些東西。一條主線是比較清晰的傳統(tǒng)信息論和編碼、通信理論，另外一條主線是信息論涉及到的邊邊角角的知識，而且這兩條主線是交錯地在各個章節(jié)呈現(xiàn)的。
  　　3、翻譯的語言過于學(xué)術(shù)化
  　　翻譯還是不好，有些語言太死板了，有把簡單的概念復(fù)雜化的趨勢。
  　　
  　　但是，這本書還是有相當(dāng)多的閃光點，比如對Entropy這個概念的完整介紹，比如Kolmogorov復(fù)雜性理論的介紹。我覺得作者應(yīng)該進(jìn)一步突出Entropy這個概念，用它貫穿所有的內(nèi)容。
•   　　公認(rèn)的
  　　書中包括的內(nèi)容極其豐富
  　　并且定理推導(dǎo)都不算復(fù)雜
  　　可謂是初學(xué)者接觸信息論的最好教材
  　　再加上是二版
  　　這個是標(biāo)準(zhǔn)的美版
  　　哎
  　　只可惜俺沒錢買
  　　長期只能pdf……
•   　　感覺挺明白淺顯的，本科的老師用的這本教材，不過她明顯沒有好好備課，講的亂七八糟的，都是自己看的，還不錯，現(xiàn)在還記得一些印象。
  　　不過我對翻譯的書都沒什么好印象，所以還是建議大家去讀英文版的吧。
•   　　Cover先生是牛人，IEEE的Fellow。
  　　
  　　這本書網(wǎng)上也有英文的電子版。可以試一試直接看英文版。也是不錯的。
  　　講的最后兩章指明了現(xiàn)在和將來信息論可能的研究方向。
•   　　雖然概念比較難懂，但如果能找到切入點很容易明白。建議看
  　　www.googlechinablog.com 的數(shù)學(xué)之美系列文章。
•   Cover的數(shù)學(xué)條理邏輯很好的啊，由道入術(shù)。
•   說是入門書的，都是在裝逼，不用介意。
•   基礎(chǔ)不是入門啊，這個是專業(yè)基礎(chǔ)，外行人不知道什么叫基礎(chǔ)吧，呵呵
•   我承認(rèn)，這本書的不少證明我都是跳過去了的，但是這也似乎是國內(nèi)能找到最好的信息論入門教材了，不然就得去看給學(xué)通信的工科生寫的教材....
  至于貼近普及讀物的一本信息論介紹的書，至今還沒找到
•   我覺得信息論和概率統(tǒng)計都需要極深厚的賭博業(yè)背景``
•   Obviously, information theory is more complex than what they said in the book~
•   我感覺著本書還是比較基礎(chǔ)的，至少對于相關(guān)專業(yè)而言。
  其實，熵只是一個簡單的概念。更為重要的如何去在傳遞過程中盡量降低信息的損失。
  信息論涉及到的數(shù)學(xué)主要是初等概率論，以及一些重要的不等式。
•   實話實說，對于信息論來說，這還真就是個入門的書籍。這個入門不是指得科普讀物，而是在大學(xué)教育過程中，接觸信息論的第一本書籍。而且Cover已經(jīng)在刻意降低理論的深度，把這個口子開得很寬，沒有說太深奧的東西。
  幾項基本的東西像 Jenson 不等式，數(shù)據(jù)處理不等式，F(xiàn)ano不等式，利用typical set 給出的證明，還有就是 random binning 。再深的東西都沒有涉及，像dirty paper coding, Gelfand-Pinsker定理，degraded broadcast channel, interference channel統(tǒng)統(tǒng)都涉獵不深。
  還有，學(xué)習(xí)又不是玩，信息論這樣的東西更是需要大量的腦力勞動。不客氣地說，在國內(nèi)信息論的研究幾乎就是個0，如果學(xué)生想靠自己從頭研究是不現(xiàn)實的。如果你想走馬觀花的看看，那也沒這個必要，什么也學(xué)不到；如果想認(rèn)認(rèn)真真地學(xué)，那就需要花點時間。
  如果去看看Csiszar的書，才知道什么叫難懂。
  如果是做研究，Abbas El Gamal的書其實不錯，屬于可以指導(dǎo)研究的講義。
•   就是基礎(chǔ)才要把證明寫得很清楚啊……
•   這本書書名翻譯的有問題，人家寫的是elements of information theory
  又不是basics of information theory或者introduction to information theory
•   這本書在第一版前言明確說明本書適合大四（senior year) 和研究生一年級的教材， 并且學(xué)過概率，有扎實的數(shù)學(xué)基礎(chǔ)（with a background of at least one good semester course in probability and a solid background in mathematics.），這樣的教材怎么能叫入門教材？我理解的入門教材應(yīng)該
  是有高中甚至初中數(shù)學(xué)背景的人都能讀懂，國外的很多intro 開頭的教材都是這樣
•   這就是信息論的入門經(jīng)典，但是需要花很大力氣才能讀懂并理解的。這就是這么學(xué)科的特點，信息論本身屬于概率統(tǒng)計，應(yīng)用數(shù)學(xué)的分支之一。讀這本書一方面要有較扎實的數(shù)學(xué)功底，另一方面對于無線通信、編碼要有一定了解，這樣就能很好的入門。這是經(jīng)典學(xué)術(shù)著作，而不是科普。十分同意@dcc1031的說法。
•   樓上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入門教材了，附錄怕你不知道求和號，寫著[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]]，第1145頁
•   信息論不用大量證明就不是信息論了。Shannon的信息熵本身就是對probabilistic uncertainty的量化。Cover把很多基于概率統(tǒng)計（我指的是三年級以上的概率統(tǒng)計）的理論都recast了一下，反而比統(tǒng)計理得更清楚。
•   作為非EE專業(yè)的學(xué)生 個人覺得讀起來相當(dāng)有意思 花些時間和耐心可以讀得很懂 但是problem好難! 這個Problem肯定不是入門級的!
•   翻譯的有問題。Elements of Information Theory，又不是Elementary。
•   樓主可能把這書當(dāng)科普類的看了，不過這可是教材
  教材的話，數(shù)學(xué)多才是負(fù)責(zé)任的表現(xiàn)
  數(shù)學(xué)的參與是大部分學(xué)科目前的趨勢，所以呢，讀者不應(yīng)該建議作者，反而應(yīng)該改變自己
•   確實是基礎(chǔ)，只不過這個基礎(chǔ)知識，需要兩三年才能建立好。我目前都6年了，也就那樣。
•   哪里有pdf下？急需555
•   gigapedia上面肯定有，你可以google下書名加PDF，多找找，應(yīng)該也有的。我的是別人直接拷給我的
•   嗯，的確寫得不錯。推薦。
•   我看了數(shù)學(xué)之美才找到這本書的，太有感觸了！
•   信息論也很美

相關(guān)圖書

• 實戰(zhàn)STRUTS
• 信息整合的新競爭力
• 戰(zhàn)略管理
• 6個月扭虧為盈
• 管理的現(xiàn)在和未來
• 品牌組合戰(zhàn)略
• 書畫家實用手冊
• 探訪性文化之旅
• 世界現(xiàn)代設(shè)計史
• 寫給大家的歐美現(xiàn)代美術(shù)史
• 第二次世界大戰(zhàn)史畫（上下冊）
• 公共基礎(chǔ)知識教程及模擬考場
• 行政職業(yè)能力測驗歷年試題·套題預(yù)測
• 申論歷年試題·套題預(yù)測合訂本
• 狗娘養(yǎng)的戰(zhàn)爭
• 行政職業(yè)能力測驗·申論合訂精編本
• 行政職業(yè)能力測驗教程及模擬考場
• 簡明經(jīng)濟(jì)小法典
• 簡明民商小法典
• 簡明勞動和社會保障小法典
• 最后沖刺
• 公務(wù)員管理法律文件選編
• 申論教程及模擬考場
• 《中華人民共和國公務(wù)員法》學(xué)習(xí)問答
• 公共基礎(chǔ)知識歷年試題·套題預(yù)測合訂本