AP対策日記 2/15

留年がほぼ確なので資格を取ろうと思い、同級生に便乗してAP申し込みました。
なるべく楽しくやっていこうと思います。

今日やったとこ

命題と論理

学校で一万回やった

情報量

ある事象Jが起きた時の情報量は、底を2とするJの生起確率の逆数の対数です。変形すると確率の対数に-1をかけた形になります。
確率は1以下になるので正の値を得るためにマイナスをかけてるんですね、多分。
式からわかるように確率が小さいほど情報量はでかいです。
情報量が多い写真を見ると直感的にわかる。

kogusoku.com

事象Aと事象Bが独立な場合、それらが同時に起こる時の情報量は、それぞれの情報量の和で表せます。
情報量は確率の対数なので、その和は確率同士の積の対数に変形できますね。
加法性を利用するのは、事象A, Bが同時に起きる確率を求めてから情報量を計算するのと同じことっぽい。

すべての事象の平均的な情報量を平均情報量（エントロピー）といい、各事象の生起確率と情報量の積の総和で求められます。
式の形からわかるように情報量の期待値です。

符号化

ハフマン符号化とランレングス符号化が参考書には出てくる。

ハフマン符号化は以下の記事がわかりやすかった。

www.mnc.toho-u.ac.jp

これは実装したことがある。一年前だが。

ランレングス符号化は、元の符号列を、符号と、符号が連続する数から1を引いた数の組で表現するというもの。

2値画像の圧縮にも利用されるらしい。