精确率-召回率曲线
精确率-召回率曲线随阈值扫过,把精确率(阳性预测值)对召回率(灵敏度)画出来。与 ROC 曲线 不同,它 对类别不平衡比例不敏感、完全聚焦在正类上 —— 所以稀有事件的场景(欺诈、罕见病、信息检索)用的就是它。
曲线下的面积(AUC-PR)概括性能:1.0 是完美,而「没有技巧」的基线是位于先验水平的一条横线。
SELECT kuva_render(to_json({
'title': 'Precision–recall curve',
'x_axis': {'name': 'recall'},
'y_axis': {'name': 'precision'},
'series': [{
'type': 'pr',
'groups': [{
'label': 'Classifier',
'predictions': preds,
'auc_label': true
}]
}]
})) AS chart
FROM (
SELECT list({'score': score, 'label': (label = 1)}) AS preds
FROM read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
);
分组收的是原始预测 [score, is_positive],曲线、AUC-PR 与先验基线都从它推出来。
最优 F1 阈值
optimal_point 标出让 F1(精确率与召回率的调和平均)最大的那个阈值。两者同样重要时,它是最自然的操作点;
其中一个更重要时,就自己在曲线上读阈值,别让 F1 替你决定。
SELECT kuva_render(to_json({
'title': 'F1 optimum',
'x_axis': {'name': 'recall'},
'y_axis': {'name': 'precision'},
'series': [{
'type': 'pr',
'groups': [{
'label': 'Classifier',
'predictions': preds,
'optimal_point': true
}]
}]
})) AS chart
FROM (
SELECT list({'score': score, 'label': (label = 1)}) AS preds
FROM read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
);
多个模型
一个模型一个分组,颜色取自调色板,每条图例自动带上 AUC-PR。
SELECT kuva_render(to_json({
'title': 'Model comparison',
'x_axis': {'name': 'recall'},
'y_axis': {'name': 'precision'},
'legend': {'position': 'outside_right_top'},
'series': [{
'type': 'pr',
'groups': [
{'label': 'all predictions', 'predictions': preds, 'auc_label': true},
{'label': 'high confidence only',
'predictions': (SELECT list({'score': score, 'label': (label = 1)}) FROM
read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
WHERE score > 0.5),
'auc_label': true,
'optimal_point': true}
]
}]
})) AS chart
FROM (
SELECT list({'score': score, 'label': (label = 1)}) AS preds
FROM read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
);
预计算的曲线点
曲线来自别处时,直接给 (recall, precision) 点,按召回率递增排好。这个模式下从点里看不出先验,所以要靠
prevalence 把基线放到对的位置 —— 不给的话基线落在 0.5,而那几乎永远是错的。
SELECT kuva_render(to_json({
'title': 'From pre-computed points',
'x_axis': {'name': 'recall'},
'y_axis': {'name': 'precision'},
'series': [{
'type': 'pr',
'groups': [{
'label': 'external model',
'points': [{"recall": 0, "precision": 1}, {"recall": 0.1, "precision": 0.91}, {"recall": 0.25, "precision": 0.84}, {"recall": 0.4, "precision": 0.76},
{"recall": 0.55, "precision": 0.67}, {"recall": 0.7, "precision": 0.55}, {"recall": 0.85, "precision": 0.42}, {"recall": 1, "precision": 0.1}],
'prevalence': 0.1
}]
}]
})) AS chart;
线型
颜色既过不了灰度印刷,也照顾不到所有类型的色觉障碍,所以出版级图还应该用线型区分模型。
SELECT kuva_render(to_json({
'title': 'Greyscale-safe',
'x_axis': {'name': 'recall'},
'y_axis': {'name': 'precision'},
'legend': {'position': 'outside_right_top'},
'series': [{
'type': 'pr',
'groups': [
{'label': 'model A', 'predictions': preds, 'color': 'black', 'line_width': 2},
{'label': 'model B',
'predictions': (SELECT list({'score': score, 'label': (label = 1)}) FROM
read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
WHERE score > 0.5),
'color': 'black', 'line_width': 1.5, 'dasharray': '6 3'}
]
}]
})) AS chart
FROM (
SELECT list({'score': score, 'label': (label = 1)}) AS preds
FROM read_csv_auto('{{DFK_BASE_URL}}data/pr.tsv')
);
字段
| 字段 | 类型 | 设置什么 |
|---|---|---|
groups | group[] | 必填。 每个分类器一项。 |
predictions | [number, boolean][] | 原始 [score, is_positive] 对。 |
points | [number, number][] | 预计算的 [recall, precision] 点。 |
label | string | 这一组的图例文字。 |
prevalence | number | points 模式下基线的先验(默认 0.5)。 |
color | string | 曲线颜色。 |
optimal_point | boolean | 标出 F1 最优的阈值点。 |
auc_label | boolean | 在图例后加 AUC = …(默认开)。 |
line_width / dasharray | number / string | 曲线的描边。 |
show_baseline | boolean | 画先验基线(默认开)。 |
baseline_color / baseline_dasharray | string | 基线的外观。 |
说明
groups不能为空,且每组必须给predictions或points。- 两者同时给时,
predictions优先。 points模式下不给prevalence,基线就是一个猜测 —— 默认的0.5与真实先验说的是两件事,这也是 PR 曲线 最常见的误导来源。- 真实分类器在召回率为
0处曲线是没有定义的:精确率从先验开始,而不是从1.0开始。 - PR 曲线的 y 轴默认不从零开始;把「掉了一点」读成「掉了很多」之前,先看清轴。
另见
- kuva — 精确率-召回率曲线 —— 绘图库自己的图型参考。
- ROC 曲线 —— 类别均衡时的对应物。
- 火山图 —— 差异表达分析最后会落到的那张图。