Agent记忆管理成关键别再迷信Prompt了？这才是Agent的真正战场

发布日期：2025-12-18 01:06    点击次数：102

司的就是国际这条线；马上追踪热点

秘闻背后的事；我给你说透

欢迎各位看官收看今天的【司马秘事】

文：司马秘事

编辑：司马秘事

以前做AIAgent，大家都把Prompt当魔法咒语，2023年的时候，谁能写出几百字的精巧Prompt，谁就是圈子里的“大法师”。

但到了2025年，还抱着Prompt不放的开发者，可能要跟不上实战节奏了，现在的Agent开发，早就换了核心玩法。

展开剩余90%

Prompt权重大降从90%跌到30%

Prompt的地位下滑得有多快？两年前它在Agent开发里占90%的权重，现在最多只剩30%。

以前模型智商不够，得靠Prompt“哄着”干活。

就拿整理会议纪要来说，要写几百字指令，再加几个示例，才能让Agent把混乱的纪要转成JSON格式。

现在不一样了，对着DeepSeekV3、Claude4.5这些新模型，只需要说“转成标准JSON，字段自行判断”，出来的结果基本就能用。

这都是模型自己“变聪明”了，它们的意图理解能力大幅提升，就算Prompt写得粗糙，也能猜个八九不离十。

Prompt现在更像个前端交互工具，只是API调用里的一个参数而已，再也不是决定Agent成败的核心了。

本来想靠打磨Prompt就能搞定所有任务，但后来发现，复杂场景里Prompt根本扛不住。

比如做一个供应链Agent，要检测库存、预测需求、对比供应商、生成补货单还得走审批。

这么多步骤，单靠一个Prompt，模型早就乱了阵脚。

核心转向Flow工程成新主角

Prompt退居二线后，FlowEngineering（工作流编排）成了Agent开发的核心。

简单说，现在的Agent是个靠大模型驱动的“状态机”。

得明确定义每一步要做什么，成功了怎么走，失败了怎么补救，数据怎么传递。

就像搭积木，得先规划好每块积木的位置和连接方式，最后才能搭出稳定的结构。

LangChain团队的LangGraph、吴恩达推崇的AgenticPatterns，都是做FlowEngineering的好工具。

我们团队的代码库里，逻辑控制代码比Prompt字符数多得多。

用代码约束模型行为，比靠自然语言祈祷模型表现好，靠谱多了。

拿保险理赔Agent来说，最初我们写了3000字的大Prompt，详细规定理赔规则。

结果上线后，遇到模糊的照片，模型直接幻觉出责任认定书，还错误拒赔。

后来我们把大Prompt拆成三个独立Agent，材料初审、规则提取、最终裁决。

材料初审Agent先检查照片清不清晰，不清晰就直接让用户重传，清晰了再交给规则提取Agent，通过RAG技术检索具体条款。

最后由最终裁决Agent综合判断，每个Agent的Prompt都很简单，但靠流程逻辑串起来，错误率一下就降了。

三大挑战比写Prompt难多了

FlowEngineering虽然好用，但也把Agent开发的门槛拉高了，以前琢磨怎么写Prompt就行，现在要解决三个更棘手的问题。

第一个是鲁棒性问题，Agent长链条执行时特别容易“迷路”。

我们的供应链Agent就遇到过，本来规划好先查A数据库再查B系统。

结果A数据库返回的数据有特殊字符，模型生成B系统的查询语句时直接失败，还陷入了死循环。

这时候光靠Prompt可解决不了，得写大量Guardrails代码，校验模型输出的参数合不合法。

第二个是记忆管理难题，现在模型的上下文窗口能到128K甚至更大，但上下文越长，模型越容易“中间迷失”。

Agent运行时，历史消息越积越多，有用的、没用的混在一起，模型反而抓不住重点。

我们的办法是加个“总结Agent”，在关键节点把对话摘要一下，只保留核心变量，没用的信息直接丢弃。

哪些记忆要长期存，哪些短期用，哪些该丢，得判断得精准。

第三个是自动化评估，传统软件有明确的单元测试，输入A就该输出B。

但Agent的输出很灵活，输入A可能输出B1或B2，语义一样形式不同。

更麻烦的是隐性错误，比如供应链Agent该补货520件，结果算成500件。

数字看着差别不大，但如果是因为混淆了月度和季度数据，后续麻烦就大了。

现在行业里常用LLM-as-a-Judge的方法，用更厉害的模型去评估Agent的执行过程。

转型建议别再死磕Prompt了

既然Prompt不再是核心，开发者该怎么转型？分享几个实战中管用的建议。

首先，赶紧把DSPy框架用起来，这是斯坦福大学开发的工具，核心思路特别超前，Prompt不用人工写，让模型自己优化。

你只需要定义清楚任务逻辑，准备好高质量数据，DSPy就会自动尝试各种组合，直到找到最优Prompt。

这就像从手写汇编语言，升级到用C++写代码，编译器会帮你搞定底层工作。

我们团队用DSPy替代了不少手写Prompt模块，效率提升很明显。

其次，重点学LangGraph、LangChain这些流程编排工具，现在招聘Agent开发，都要看你会不会用这些工具。

光会写Prompt，根本拿不到offer，要学会用代码把业务SOP拆解开，变成Agent能执行的流程。

最后，别忽视行业知识，Agent最终要落地到具体场景，不懂业务根本做不好。

比如做供应链Agent，得知道库存安全水位怎么算，供应商怎么对比，做保险理赔Agent，得清楚理赔条款和流程。

这些行业知识，才是别人抄不走的护城河，Agent开发的范式转移，对开发者来说是挑战也是机会。

以前靠Prompt就能入门，现在得提升工程能力和业务理解，但只要跟上节奏，就能在AI落地的实战中站稳脚跟。

Prompt的魔法时代已经过去，靠FlowEngineering和工程化能力说话的新时代，才刚刚开始。

世界从不平静，司马为您解析，今天到此为止，下期我们再见！

发布于：陕西省