學習筆記 邏輯斯蒂迴歸與最大熵模型

2022-11-24 18:02:54 字數 433 閱讀 9492

邏輯斯蒂迴歸(logistic regression)是統計學習中的經典分類方法。最大熵是概率模型學習的一個準則,將其推廣到分類問題得到最大熵模型(maximum entropy)。都屬於對數線性模型。

\[p(y=1 | x) = \frac$$$$p(y=0 | x) = \frac

\]

為了方便,將$w$和$x$向量進行擴充,邏輯斯蒂迴歸如下:

$$p(y=1 | x) = \frac$$$$p(y=0 | x) = \frac$$

最大熵模型的學習過程就是求解最大熵模型的過程,形式化為約束最優化問題。

本章後續部分比較複雜,學習完凸優化以後再來補:

(注:本文為讀書筆記與總結,側重演算法原理,**為[《統計學習方法》](一書第六章)

出處:[