情報理論のページ

本科2年生の情報理論の補足などを行うページです．授業で配布した資料が置いてあります

1. 表紙
2. 情報理論の概要，条件付確率の復習
3. マルコフ情報源，正規マルコフ情報源の性質
4. エルゴードマルコフ情報源の性質と演習問題　（エルゴードマルコフ情報源はやらないかも）
5. 一意復号化可能な符号について　瞬時符号，クラフトの不等式などを勉強する．
6. 情報源符号化定理（シャノンの第１定理）　符号化により1情報源記号あたりの平均符号長をどこまで下がられるかを論ずる定理です．ファイル圧縮の限界を与える結果と思ってよいでしょう．
7. ハフマン符号化
8. ハフマン符号化のプログラミング演習　 テンプレート　インクルードファイル　
9. マルコフ情報源のエントロピー
10. 中間試験問題
11. ランレングス符号化，ユニバーサル符号化（LZ77符号化）
12. 平均情報量，相互情報量
13. 通信路符号化定理（シャノンの第2定理） 符号化率（伝送レート）と通信路容量との関係を論じた大変重要な定理．情報科学の最も重要な結果の1つであることに異論を唱える人はいないだろう．この定理で存在が示されている符号を具体的に構成することが，符号理論の究極の目標である．
14. ハミング符号
15. 期末試験の予想問題