机器学习数学基础

无穷范数的证明

证明: $$L_\infty = \displaystyle\lim_{p \to \infty}(\sum_i^n|x_i|^p)^{\frac{1}{p}} = max(|x_i|)$$

不妨设$x_m$为绝对值最大的数，即$|x_m| > |x_i|$. 若$|x_i| = |x_m|$, 则

$$\displaystyle\lim_{p \to \infty}(\frac{|x_i|}{|x_m|})^p = 1$$

若$|x_i| < |x_m|$, 则

$$\displaystyle\lim_{p \to \infty}(\frac{|x_i|}{|x_m|})^p = 0$$

所以: $$L_\infty = \displaystyle\lim_{p \to \infty}(\sum_i^n|x_i|^p)^{\frac{1}{p}} =\displaystyle\lim_{p \to \infty}(|x_m|^p\sum_i^n(\frac{|x_i|}{|x_m|})^p)^{\frac{1}{p}} =$$

$$|x_m|\displaystyle\lim_{p \to \infty}(\sum_i^n(\frac{|x_i|}{|x_m|})^p)^{\frac{1}{p}}$$

令$a = \sum_i^n(\frac{|x_i|}{|x_m|})^p$, 则 $0 < a <= n$, 所以 $$L_\infty = |x_m|\displaystyle\lim_{p \to \infty}(\sum_i^n(\frac{|x_i|}{|x_m|})^p)^{\frac{1}{p}} = |x_m|\displaystyle\lim_{p \to \infty}m^{\frac{1}{p}} =$$ $$|x_m| = max(|x_i|)$$

最大似数与最大后验

https://zhuanlan.zhihu.com/p/32480810

频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计) 贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)

目前主流的模型都是用MLE来训练出来一个可用的模型。当数据量趋于无穷时，MLE估计出来的模型是精准的，但是现实中是不可能出来无穷的数据的。大量的数据可以近似，所以该方法不适合小样本。

• 先验: $p(\theta)$, 比如疾病2分类，根据人的经验，假设患病的概率为0.1, 则$p(\theta)$ = 0.1

• 似然： $p(x|\theta)$, 给定一个模型，观察到数据X

• 后验: $p(\theta|x)$, 给定训练数据X, 得到的模型

• 随着数据量越来越多，先验的影响越来越小

• 如果先验是随机分布，则MAP等同于MLE

逗号，分号和竖线

• 逗号: 联合概率分布
• 分号: $P(x|\theta)$, 分号后面的表示是待估的参数，$P(x|\theta)$表示一个关于$\theta$的函数，而函数值是给定一个$\theta$时，采样到x的概率
• 竖线: 表示条件概率