情報理論

科目区分	専門教育科目（情報）	対象学年(以上)	2年
科目名称	情報理論	単位数	2.00単位
講義題目	情報科学の基礎理論	曜日・時限	水曜1限
担当教員	臼田　毅	開講時期	2019年度前期
到達目標	情報量とエントロピーの関係について，特に，情報を得ることとあいまいさの関係という観点で，理解し説明できる．エントロピーの基本的性質を理解し説明できる．情報源の数学的モデルについて理解し，独立生起情報源とマルコフ情報源に関する基礎事項を理解し説明できる．情報源符号化の基礎と情報源エントロピーとの関連，通信路符号化の基礎と通信路容量との関連を理解し説明できる．
授業概要	情報科学のための基礎理論である情報理論について学ぶ．情報科学は，20世紀半ばのShannonによる情報の定量化にはじまる情報理論の成立により，学問として独立した．本講義では，情報の定量化，データ圧縮とその限界，伝送情報量の限界と符号化との関連について学習し，理解することを目標とする．まず情報理論の成立過程について解説し，情報とは何か，情報量はどのように定義されるべきかを考えさせる．その上で，情報量とエントロピーの関係について解説する．また，情報の意味・内容あるいは質ではなく，（情報）量を扱う場合，符号化が本質的な役割を果たすことを理解させ，符号化が情報源符号化と通信路符号化の2種類に大別されることを解説する．その中で，基本的な情報源や最短符号化，通信路符号化の基礎について，理解させる．さらに，情報源や通信路の数学的モデルについて解説し，情報源符号化定理および通信路符号化定理という2つの符号化定理により，符号化と情報源エントロピーおよび通信路容量が密接に関連していることを理解させる．
授業計画	第1回　　情報理論の概要と歴史第2回　　情報量とエントロピー（1）情報とは？第3回　　情報量とエントロピー（2）情報の定量化　自己情報量とエントロピー第4回　　情報量とエントロピー（3）エントロピーの性質，各種エントロピー第5回　　情報量とエントロピー（4）各種エントロピーと相互情報量の性質第6回　　情報源のモデル（1）情報源の数学モデル，独立生起情報源とエントロピー第7回　　情報源のモデル（2）マルコフ情報源，状態遷移図，定常確率第8回　　情報源のモデル（3）マルコフ情報源のエントロピー第9回　　情報源符号化（1）情報源符号化の条件第10回　情報源符号化（2）符号の木，クラフトの不等式，平均符号長第11回　情報源符号化（3）情報源符号化定理第12回　情報源符号化（4）ハフマン符号第13回　通信路のモデル，伝送情報量と通信路容量第14回　通信路符号化と通信路符号化定理第15回　まとめ定期試験
授業外学習	教科書の該当箇所の予習，講義ノート等をもとにした復習を基本とし，レポートが出題された際には，レポート課題にじっくり取り組むこと．必要に応じ，参考書も参照すると良い．
履修上の注意	受講要件：1年次の数理科目で講義された内容を理解していること．
成績評価の方法	評価基準：情報量とエントロピーの関係について，特に，情報を得ることとあいまいさの関係という観点で，理解しているか．エントロピーの基本的性質を理解しているか．情報源の数学的モデルについて理解し，独立生起情報源とマルコフ情報源に関する基礎事項を理解しているか．情報源符号化の基礎と情報源エントロピーとの関連，通信路符号化の基礎と通信路容量との関連を理解しているか．評価方法：期末試験，小テスト・レポート，演習時間における解答（発表）の状況および受講態度により総合的に評価する．各項目の成績評価に占める比率は，以下を目安とする．期末試験（65％），小テスト・レポート（35％），演習時間における解答（発表）の状況（優秀な解答を行った者に対し，加点方式．標準的な問題1問につき，成績評価1~5％程度の加点），受講態度（減点方式．普通に受講していれば減点しない）
教科書	汐崎陽著「情報・符号理論の基礎」オーム社または内匠逸編著「新インターユニバーシティ　情報理論」オーム社を開講時に指定 ※教科書に採用しなかった方も最重要参考書と位置づけられる
参考書	今井秀樹著「情報理論」オーム社