情報量エントロピー

問題:

ある3つのクラス (A, B, C) があり、それぞれの出現確率が $P(A)=0.5, P(B)=0.25, P(C)=0.25$ であるとします。この確率分布のエントロピー \(H\) を計算してください。エントロピーは $H = -\sum_{i} P(i) \log_2 P(i)$ で計算され、\(\log_2(0.5) = -1, \log_2(0.25) = -2\) です。