情報量，エントロピーなどの単語についてのメモです． 情報とは データとは 情報量 エントロピー（平均情報量） 交差エントロピー 相対エントロピー（KLダイバージェンス，KL情報量） 結合エントロピー（同時エントロピー） 条件付きエントロピー 相互情報量…