#信息论的一些基本概念

信息熵

$$H(X)=E[I(X)]=E[-ln(P(X))]$$

其中$P$ 为$X$的概率质量函数,$E$为期望函数,而$I(x)$是$X$的信息量(又称自信息).

$$H(X)=\sum_iP(x_i)I(x_i)=-\sum_iP(x_i)\log_bP(x_i)$$ $$\begin{matrix} b & S\cr 2 & bit\cr e & nat\cr 10 & Hart \end{matrix}$$

条件熵(Conditional Entropy)

特征$x$ 固定为$x_i$时:$H(c|x_i)$

特征$x$ 整体分布已知时:$H(x|X)$

信息增益(Information Gain)

$$IG(X) = H(c)-H(c|X)$$

基尼系数(基尼不纯度Gini impurity)

$$Gini(D)=1-\sum_i^np_i^2$$ $$Gini(D|A)=\sum_i^n\frac {D_i}{D}$$

信息增益比率(Information Gain Ratio)与分裂信息(Split information)

$$GR(D|A)=\frac {IG(D|A)}{SI(D|A)}$$ $$SI(D|A)=-\sum_i^n\frac {N_i}{N}\log_2\frac{N_i}{N}$$

边界熵(boundary entropy)

$$BE(w_1w_2\cdots w_k) = -\sum_{w \in C}p(w\vert w_1w_2\cdots w_k)\log p(w\vert w_1w_2\cdots w_k)$$

$w$是邻接于$w_1w_2 \cdots w_k$ 的字符.

边界多样性(Accessor veriety,AV)

$$AV(w_1w_2\cdots w_k)=\log RL_{av}(w_1w_2\cdots w_k)$$

$RL_{av}$ 表示邻接于字符串$w_1w_2 \cdots w_k$的不同字符个数.