確率分布とは，確率変数と確率の対応をとったものです． ある事象がある値をとるときの確率は〜という言い方をします． 例えば，サイコロを振った時に出る目が1となる確率はという言い方を日常でも使うと思います． このとき，サイコロを振ったときに出る目…

情報量，エントロピーなどの単語についてのメモです． 情報とは データとは 情報量 エントロピー（平均情報量） 交差エントロピー 相対エントロピー（KLダイバージェンス，KL情報量） 結合エントロピー（同時エントロピー） 条件付きエントロピー 相互情報量…