表格竞赛 · 验证
02|验证切分:让线下分数预测真正的榜单
区分随机、分组、前向时间切分和标签窗口清洗;用配对重采样理解折间差异,识别假提分。
章节 · 数据与验证
登录后可保存进度和领取学习积分。
目标:建立一份可保存、可重放的折分配表,让不同模型的 OOF 预测可以逐行比较。OOF 指每个训练样本由未见过该样本的模型得到的折外预测。
01|按目标场景选择约束
新用户评估按 user_id 分组;已知用户的未来订单按时间向前滚动,允许用户历史出现在过去,但所有特征要做时点截断。若赛题同时要求未来且新实体,在前向切分后另外隔离实体,分别报告两种人群。对 7 天退款标签,训练行 t₀ + 7 天 ≤ 验证起点才有完整标签;若标签入仓还延迟 2 天,就用真实可见时间。简单固定 gap 只有在采样间距和标签窗口匹配时才成立。
02|预处理与模型一起做折外
用折训练部分拟合补缺、类别字典、标准化、特征选择和目标编码;内层验证负责调参和早停,最终保留一段未参与选择的未来时段。输出 oof 文件至少含 row_id、fold、label、prediction、model_version。验证重复窗口时不能用「最后一个预测覆盖」;明确唯一折外归属,或者定义重复预测聚合规则后再比较。
03|报增益,也报它有多稳定
同一组 OOF 样本上计算新旧分数差。时间任务用按周的块重采样,实体任务用用户为抽样单位,对两套预测做配对;不要把同一用户的多条订单当成独立证据。非线性指标如 AUC,需在每个重采样数据集上分别重算两组 AUC。折均分和拼接 OOF AUC 也可能不同,尤其各折模型分数尺度不一致,报告两者并说明采用哪个用于决策。
练习|附件生成重复用户和带窗口的时间数据,运行后比较随机切分的实体重叠、按组切分与前向切分。修改标签成熟期,记录边界移除多少训练行。产出一份「切分假设、正例数、泄漏断言、独立保留集」四栏的验证合同。