跳到主要内容

· 阅读需 1 分钟

Hodgepodge记录各种奇怪乱七八糟的东西,Bricklayers自由发挥的地方,有什么希望Bricklayers写的内容,欢迎contact us👏

最下面有分类的tag,可以根据感兴趣的tag看对应内容

· 阅读需 4 分钟
Zhiying Liang

ROC、AUC

img

  • 正确率(Precision):

    Precision=TPTP+FPPrecision = \frac{TP}{TP + FP}

  • 真阳性率(True Positive Rate, TPR),灵敏度(`Sensitivity),召回率(Recall):

    Sensitivity=Recall=TPR=TPTP+FNSensitivity = Recall = TPR = \frac{TP}{TP + FN}

  • 真阴性率(True Negative Rate, TNR),特异度(Specificity):

    Specificity=TNR=TNFP+TNSpecificity = TNR = \frac{TN}{FP + TN}

  • 假阴性率(False Negatice Rate, FNR),漏诊率(= 1 - 灵敏度):

    FNR=FNTP+FNFNR = \frac{FN}{TP + FN}

  • 假阳性率(False Positice Rate, FPR),误诊率(= 1 - 特异度):

    FPR=FPFP+TNFPR = \frac{FP}{FP + TN}

  • 阳性似然比(Positive Likelihood Ratio (LR+) ):

    LR+=TPRFPR=Sensitivity1SpecificityLR+ = \frac{TPR}{FPR} = \frac{Sensitivity}{1-Specificity}

  • 阴性似然比(Negative Likelihood Ratio (LR-) ):

    LR=FNRTNR=1SensitivitySpecificityLR- = \frac{FNR}{TNR} = \frac{1-Sensitivity}{Specificity}

  • Youden指数(Youden index):

    Youden index = Sensitivity + Specificity - 1 = TPR - FPR

如下面这幅图,(a)图中实线为ROC曲线,线上每个点对应一个阈值

img

(a) 理想情况下,TPR应该接近1,FPR应该接近0。ROC曲线上的每一个点对应于一个threshold,对于一个分类器,每个threshold下会有一个TPR和FPR

比如threshold最大时,TP=FP=0,对应于原点;threshold最小时,TN=FN=0,对应于右上角的点(1, 1)

  • 横轴FPR:1-TNR,1-Specificity,FPR越大,预测正类中实际负类越多
  • 纵轴TPR:Sensitivity(正类覆盖率),TPR越大,预测正类中实际正类越多
  • 理想目标:TPR=1,FPR=0,即图中(0, 1)点,故ROC曲线越靠拢(0, 1)点,越偏离45度对角线越好,Sensitivity、Specificity越大效果越好

(b) P和N得分不作为特征间距离d的一个函数,随着阈值theta增加,TP和FP都增加

img

机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率

模型评估指标AUC(area under the curve)_Webbley的博客-CSDN博客_auc指标

Delong’s test

比较AUC显著性差异

Delong test_liuqiang3的博客-CSDN博客_delong检验

McNemar’s test

如何计算McNemar检验,比较两种机器学习分类器 - 腾讯云开发者社区-腾讯云

C-index

临床研究中常用的评价指标AUC和C-index

Topic 13. 临床预测模型之一致性指数 (C-index)

P-value、confidence interval

显著性检验:P值和置信度Chipei Kung的博客-CSDN博客显著性检验p值

灵敏度和特异度的置信区间怎么算?mjiansun的博客-CSDN博客敏感性置信区间

img

img

Non-inferiority

临床试验中如何选择非劣效界值

T-test

t-test

Kappa指数

kappa系数_百度百科

Kappa系数简单介绍_gltangwq的博客-CSDN博客_kappa值

多分类AUC

多分类ROC曲线及AUC计算脚踏实地仰望星空的博客-CSDN博客多分类roc曲线

· 阅读需 1 分钟
Zhiying Liang

【转】LaTeX 符号命令大全

  1. 把下标放在某个文字或者符号正下方 \limits

    符号是数学符号:\sum\limits _{i=0}^n {x_i} \Rightarrow

    i=0nxi\sum\limits_{i=0}^n {x_i}

    不是数学符号: \mathop{argmin}\limits _{w,b} L(w,b) \Rightarrow

    argminw,bL(w,b)\mathop{argmin}\limits_{w,b} L(w,b)

  2. 偏导符号:\partial

    \frac{\partial }{\partial w} \Rightarrow w\frac{\partial }{\partial w}

  3. 箭头

    \leftarrow \leftarrow

    \rightarrow \rightarrow

    \Leftrightarrow \Leftrightarrow

    \leftrightarrow \leftrightarrow

    \Rightarrow \Rightarrow

  4. 括号

    ( \frac{1}{2} ) \Rightarrow (12)( \frac{1}{2} )

    \left( \frac{1}{2} \right) \Rightarrow (12)\left( \frac{1}{2} \right)

  5. 矩阵

    \begin{matrix} w \\ b \end{matrix}** \Rightarrow wb\begin{matrix} w \\ b \end{matrix}

  6. 取整函数/取顶函数

    \left \lfloor \frac{a}{b} \right \rfloor \Rightarrow ab\left\lfloor \frac{a}{b} \right \rfloor

    \left \lceil\frac{c}{d} \right \rceil \Rightarrow cd\left \lceil\frac{c}{d} \right \rceil

  7. 大于等于、小于等于

    \geq 、\leq \Rightarrow \geq \leq