从学习目标到持续行动
围绕目标生成可审阅的计划,持续跟踪任务与证据;没有新提问时,也结合截止时间、复习安排与历史提醒判断下一步行动,需要时介入,适合等待时保持安静。
由Hy3驱动,把学习目标转化为计划,跟踪任务与作品证据,并在恰当的时机主动提供支持。108秒Demo呈现学习过程,下方报告与实验展示如何评估助手的决策质量。
围绕目标生成可审阅的计划,持续跟踪任务与证据;没有新提问时,也结合截止时间、复习安排与历史提醒判断下一步行动,需要时介入,适合等待时保持安静。
比较不同质量的固定回复与操作记录,重复评分并对照人工参考,检查评测方法。下方展示具体实验与结果。
评测结果
应用实验检查助手处理学习任务的表现;方法验证检查评测器能否辨别决策质量。以下结果来自同一套已归档实验。
学习规划、主动介入、成果验收、计划调整各12项,每项实际运行一次。评分结合用户条件、助手回复、工具结果与状态变化,满分100分。
| 决策类型 | 任务数 | 自动评分 | 人工参考 |
|---|---|---|---|
| 学习规划 | 12 | 95.0 | 92.0 |
| 主动介入 | 12 | 98.3 | 99.8 |
| 成果验收 | 12 | 100.0 | 98.8 |
| 计划调整 | 12 | 100.0 | 95.1 |
自动评分达标 48/48 项,人工参考达标 46/48 项。最终分达到70记为决策评分达标;这评价的是助手的判断,正确退回失败作品也可获得高分。
下载48项任务的逐例评分(CSV)23 / 24质量排序正确
选8个情境,各编写正确处理、局部缺陷、严重错误三个版本,共24份固定记录;每份评分3次,共72次评分。每个情境每次评分形成一组排序,合计24组,其中23组按质量依次降分。
46 / 48自动与人工达标结论一致
对同一批48项应用任务,比较自动评分与两位标注者协商后的参考结论。46项对“助手决策是否达标”的判断相同,一致率为95.8%。