東工大での講義に向けて、情報理論の整理。まず、情報源符号化定理を通して、圧縮限界からシャノンエントロピーを特徴づける、という話。時間を考えて、prefix code に限って話をして、kraft 不等式との対応は絵だけで理解して、圧縮限界のheuristic からシ…