#模型评估
带有“模型评估”标签的文章1篇
标签文章
按从新到旧显示带有“模型评估”标签的文章。

AI性能
前沿模型越强越“僵硬”?用生产轨迹回放检验模型更换
重度RLHF被指让前沿模型语气生硬、拒答增多,这是一位CTO的判断。记忆存储缺陷可能要3到6个月后才显现,检索缺陷可立即验证。更换模型时,写作质量和拒答行为要与任务完成率分开衡量。用生产环境的真实轨迹回放新旧模型,而非只看基准分数。削减成本前,先在仿真中确认便宜模型的任务完成率不下滑。
带有“模型评估”标签的文章1篇
按从新到旧显示带有“模型评估”标签的文章。

重度RLHF被指让前沿模型语气生硬、拒答增多,这是一位CTO的判断。记忆存储缺陷可能要3到6个月后才显现,检索缺陷可立即验证。更换模型时,写作质量和拒答行为要与任务完成率分开衡量。用生产环境的真实轨迹回放新旧模型,而非只看基准分数。削减成本前,先在仿真中确认便宜模型的任务完成率不下滑。