青の統計学-DS Playground-
学習を始める
便利ツール
各種リンク
線形代数、確率、微分積分などAI・機械学習の基礎となる数学の問題
3クラスの確率が $P(A)=0.5, P(B)=0.25, P(C)=0.25$ のとき、エントロピー $H=-\sum_i P(i)\log_2 P(i)$ を求めなさい。（$\log_2(0.5)=-1,\ \log_2(0.25)=-2$）
エントロピーは、確率分布の不確かさを表す指標です。3クラス以上でも式は同じで、各クラスの $-p\log_2 p$ を合計します。
ステップ別に計算
したがって答えは 1.5ビット です。
解釈
実務でのつながり