日曜日

東工大での講義に向けて、情報理論の整理。

まず、情報源符号化定理を通して、圧縮限界からシャノンエントロピーを特徴づける、という話。時間を考えて、prefix code に限って話をして、kraft 不等式との対応は絵だけで理解して、圧縮限界のheuristic からシャノンをだして、ちゃんと証明する、というパタンにする。prefix code なので証明もテクニカルではなくて、高校数学だけで分かる。だから特別な準備なしで短時間で理解ができる。これは、シャノンエントロピーのひとつの本質をいっていて、ランダムネス(複雑性)との相性もいい。(順番を変えただけで、本質的にはどの本にも書いてある基礎的事項である。)

しかし、その一方、このいきかたは、熱力学との相性が悪いので、どうも満足できない。そこで、先日学んだ、測度保存写像による情報損失(言葉悪いな、不確かさの損失;つまり、情報の獲得だと思う)を講義で紹介できないか考える。定理は無茶苦茶綺麗で、写像に対して情報ゲインを考え、合成、相加、示量、連続の4つの性質を要求すると、本質的に一意にけっていされる。それを30分で消化するのは無理なので、何かこう本質的な部分だけ伝えることはできないだろうかと色々書いた。結局、測度保存写像に対して4つの性質をみたす情報ゲインがあると、シャノンの差でかけることをいうのは大体いえそうなので、これでいこうか。これは熱力学の香がする。特に、Lieb-Yngavason と似ている。その前のGiles のともってにている。感じだと思う。ただ、比較公理がなくてなぁ。。また、熱力学のときに大事だった補償の概念もついてこない。ともかく、だいぶ、気持ちが分かってきた。高いエントロピー状態をつくっておいて、そこからおりてくる感じで構成すればいい。

さて、シャノンエントロピーのこの二つの顔の関係はよくわからんな。そこが分かったらもっと楽しいのだが。。