塞进裤子ヾ(≧O≦)〃嗷~

0%

数学

求导

$$y = \frac{1}{4}\sum_i3(x_i+2)^2$$

y对$x_i$求导得:$\frac{1}{4} * 3 * 2(x_i+2)$

re:https://www.zhihu.com/question/67307437

$\frac{\partial||w||^2_2}{\partial w} = 2w$

联合概率

joint probability
$P(x_1,x_2,x_3,x_4) = P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)P(x_4|x_1,x_2,x_3)$

条件独立

conditional independence

x和y条件独立于z

$P(x,y|z) = P(x|z)P(y|z)$

精确率 召回率

precision recall

precision是对预测结果而言的。
recall是对原样本而言的。

precision和recall 是互斥的,通常定义一个阈值,满足P>threshold和R>threshold

如何解释召回率与精确率? - Charles Xiao的回答 - 知乎
https://www.zhihu.com/question/19645541/answer/91694636

F1-score

$$f1-measure = \frac{2×precision×recall}{precision+recall}$$

例子

L1 Norm

$w=(w_1,w_2,w_3)$

$||w||_1=|w_1|+|w_2|+|w_3|$ 绝对值相加

$||A||1=\sum{i=1}^m\sum_{j=1}^n|a_{ij}|$ A是一个矩阵

L1-norm会产生稀疏性的解,即多个$w_i$为0

L2 Norm

$w=(w_1,w_2,w_3)$

$||w||_2^2=w_1^2+w_2^2+w_3^2$

$\frac{\partial||w||^2_2}{\partial w} = 2w$

最大似然估计

(maximum likelihood estimate,MLE)

常见的构建目标函数的方法,核心思想是根据预测的结果去反推其中的未知参数,根据观测值去推测什么参数最可能导致这样的结果。

最大后验估计

(maximum a posteriori estimation, MAP),比MLE多了先验

MLE是求参数$\theta$使似然函数$P(D|\theta)$最大,

MAP是求参数$\theta$使似然函数$P(D|\theta)*P(\theta)$最大,$P(\theta)$是先验概率。

当数据非常多的时候,MAP的解趋向于MLE的解(先验起的作用越来越小)。

Re:

https://blog.csdn.net/baidu_38172402/article/details/89074482

https://mp.weixin.qq.com/s/gRmYCMqTkwU-QPcQks5R8g

相似度

两个向量a,b

余弦相似度

$$cos(a,b)=\frac{\sum_{i=1}^n(a_i × b_i)}{\sqrt{\sum_{i=1}^n(a_i)^2}×\sqrt{\sum_{i=1}^n(b_i)^2}}=\frac{a·b}{||a||_2×||b||_2}$$

取值范围【-1,1】,相同时为1,正交时为0,相反时为-1,越大越相似

余弦距离

1-cos(a,b)

RMSE

均方根误差Root Mean Square Error

$$RMSE=\sqrt{\frac{\sum_{i=1}^n(y_i-\hat y_i)^2}{n}}$$

n是样本个数,$\hat y_i$是预测值,y是真实值。

个别的离群点(Outlier)会造成RMSE高

MAPE

平均绝对百分比误差Mean Absolute Percent Error

$$MAPE=\sum_{i=1}^n|\frac{y_i-\hat y_i}{y_i}|×\frac{100}{n}$$

比RMSE的鲁棒性更好,MAPE相当于把每个嗲你的误差都进行了归一化,降低了个别离群点带来的绝对误差的影响。

if help:小手一抖点个广告 or 大手一挥资助一下