星阙观察 · 案例手记2026年10月23日AI记住了你的偏好,为什么还是干不好活?
FrontierMemory研究中的两类失误与日常检验方法
下次少改一遍,比当场说一句记住了更有用。
AI记忆案例复盘AI能复述要求,和交出符合要求的东西,中间隔着好几步。偏好要保存下来,做事时要找到,找到以后还得用对。任何一步出了问题,就需要再次提醒。
Letta最近发布的FrontierMemory研究,换了一个很实在的问法。给AI过去的工作记录,再检查整理出的记忆能不能帮助完成后续任务。评测关注的是工作结果有没有改善。研究原文
对每天用AI写稿、做分析、交付项目的人,这个问题比“保存了多少条用户信息”更有用。记忆的价值,最终要体现在减少重复纠正的时间上。
保存、找到、用对,工作记忆需要走完这几步。
01
PART
存下来了,做事时却没用上
记忆调用
CASE### 案例一 · 保存了,却没有调用
研究里有个案例,两份Skill都涉及同一家公司的业务分析。一份明确写出遇到这家公司及相关文件时应使用,另一份偏重描述分析内容。测试中,前者被调用,后者没有。研究案例
这类差别很容易在检查记忆文件时被忽略。打开文件,内容确实在,描述也挺专业。但实际任务到来,AI还要判断眼前这件事和哪条旧记录有关。
Anthropic介绍Agent Skills时,解释过这种按需加载机制。系统先提供技能的名称和描述,相关时再读取详细指令。完整流程存在文件里,并不意味着每次任务都会自动加载。技能机制说明
因此,检查一份工作记忆,可以先看描述是否回答了一个问题。
遇到什么任务时,应当读取这条记忆?
“用户重视事实准确”,表达了一种偏好。改成“撰写资讯稿时,逐条核对事件日期和原始来源”,才开始接近可执行的要求。这是根据上述机制整理的写法建议,效果仍需结合实际任务检验。
02
PART
上次的细节,也可能变成下次的障碍
经验整理
CASE### 案例二 · 旧条件无法适用新任务
FrontierMemory还有个案例。完成一项分析时,需要从邮件里补查方法。一条记忆保留了应检查邮件的做法;另一条却把上次文件的字节数写成条件,换个任务就没有触发。研究案例
记录得非常具体,仍然可能学错。
这里值得保留的经验,是怎样发现材料缺口、去哪里补查。文件恰好有多少字节,只是上次出现的细节。下次文件稍作修改,原来的判断就用不上了。
保留查漏补缺的方法,检查旧任务的细节是否成了限制。
用户反馈也有类似问题。Letta在另一项生产场景评测中观察到,有些模型遇到新纠正,只会追加一条记录,旧的规则和冲突内容仍留在原处。反馈被保存下来,要求却没有得到清理和更新。生产场景评测
所以,纠正AI以后,可以先要求展示规则的修改方案。重点检查适用范围是否明确,长期要求与本次例外是否分开,旧记录中需要更新的部分是否已经指出。重要规则应当经过确认再修改。
03
PART
记忆越多,也未必越省心
适用范围
把全部历史记录塞给AI,似乎能免去检索。代价是模型需要在更多信息中判断哪些仍然有效、哪些只适用于旧任务。
Anthropic关于上下文工程的文章提出,应当精选当前任务需要的信息,并通过工具按需读取补充材料。上下文增多后,信息检索和长距离推理的精度可能下降,扩大容量不能代替信息整理。上下文工程说明
对普通使用者,一个可以尝试的办法,是把长期偏好、项目要求和本次任务放在各自明确的范围里。
“行文简洁”属于长期偏好。“客户要求详细列出计算过程”属于项目要求。“本次只需要一个摘要”属于当前任务。保存时如果不注明范围,下次AI面对长报告,可能还会沿用“越短越好”。
选择记忆工具,也不能只凭一张榜单。FrontierMemory首版只有15项任务,且由Letta设计、自家系统也参与评测。研究提供了值得检查的失败案例,还不足以代表不同使用者的长期工作。评测范围
04
PART
用一份新任务,检查记忆是否改善了结果
对照检验
与其继续问AI是否记住,不如拿一项经常返工的工作做个小对照。下面是面向日常使用的检验建议,并非对该研究的复现。
先选一个容易验收的任务,例如把一份活动资料整理成发布稿。开始前写好标准,哪些事实必须保留,缺失信息怎样标注,交付格式有什么要求。标准应当可检查,别只写“更专业”。
接着准备三组隔离的会话,尽量保持模型版本和任务设置一致。
第一组不给历史经验,只提供当前任务和必要材料,作为对照。
第二组允许使用既有记忆,但不在当前消息里重复旧要求。
第三组把同一份相关规则直接附在当前任务后面。这一步用于帮助判断,问题是否发生在记忆的查找和加载环节。
三组隔离会话,对照观察遗漏、事实错误与返工时间。
比较时,记录遗漏了几项要求、出现了几处事实错误,以及把结果修改到可用花了多久。换几份难度相近的新材料,再观察是否重复出现相同差别。材料应当是完成任务所必需的内容,去掉无关的私人信息。
如果第三组反复更好,第二组却没有改善,就该优先检查相关记忆有没有被找到、是否真正加载。这个现象只能提供排查方向,不能单凭一次结果认定原因。
如果三组都做不好,就继续检查任务说明、工具和模型能力。记忆能补充过去的经验,无法保证模型掌握当前资料里缺少的事实。
最后留下一份简单记录,写明这次少改了什么、仍然错在哪里。下次新任务到来,再检查同样的问题是否还需要重复提醒。
检验记录我是星阙运营小助手,星阙是一个专注于 OPC(一人公司 / 超级个体)的投资与孵化平台。