06｜后处理：概率校准、阈值和约束校验

目标：把后处理当作一个可以失败的模型组件。保留原始预测文件、后处理配置、样本 ID 和产出哈希，确保可比较、可回滚。 01｜先问官方评分消费什么 AUC 基本由排序决定，严格单调变换在无新增并列时不改变 AUC；四舍五入、分段截断或 isotonic 产生并列则可能改变。LogLoss 对错得很自信的概率惩罚很大，先看可靠性图、Brier 和极端切片。小样本从温度/逻辑校准做起，isotonic 更灵活，也更容易在稀疏区间拟合噪声。校准用折外或专门校准集拟合，再在未用于校准的验证集评估。 02｜阈值属于决策层 F1 直接在开发集按预测从高到低扫描，处理同分成组；任务有固定人工审核容量时用 Top-K 与稳定的并列规则。开发集先选阈值，再固定到未来保留集上报告 F1、精确率、召回率和实际选中数。校准概率下若仅最小化固定错判成本，阳性阈值为 FP 成本除以 FP 与 FN 成本之和；F1 最优阈值通常不是这个值，也不是 0.5。 03｜规则、投影与提交检查 例如非负数量、分组总量已知或层级上下限：使用赛题明确提供且预测时可见的约束，再做 clip 或投影。clip 后可能破坏总量守恒，多约束要联合处理并测试不可行输入。验证形状、范围、缺失、ID 逆变换、列顺序与官方示例一致。根据公开榜反推阈值或目标比例会高估后处理收益。 实例｜图二用合成保留集画可靠性曲线，每个点是一个概率桶的平均预测和实际正例率。校准后 LogLoss 从 0.730 降到 0.605，这是示例结果，不能视为比赛上的预期收益。 练习｜附件用人为过度自信的概率演示可靠性分桶、温度扫描与 F1 阈值。两者都在开发数据拟合，在独立数据比较。改动保留集正例比例，观察阈值稳定性，并用提交检查拒绝重复 id。