Agent 流式输出,用户体验翻倍
用户输入问题后,界面卡住 30 秒才突然蹦出一大段文字——这是没做流式响应的典型表现。改成流式输出后,首字延迟从 30 秒降到 0.5 秒,用户体验完全不同。
Agent 崩了怎么办?错误处理与重试机制
你的 Agent 调用 OpenAI API,突然返回 RateLimitError。重试?等待?降级?
如何知道你的 Agent 跑得好不好?
用户投诉"Agent 太慢了",你打开日志,全是"请求完成",看不出问题在哪。LLM 调用时间都在 500ms 以内,但整体响应要好几秒——瓶颈可能在工具调用、上下文构建、或者任何一个你没监控到的环节。
Agent 自我进化:让 Agent 从错误中学习
Agent 上线后反复犯同样的错误:忘了加异常处理、文件路径写死、连接没关闭。每次都是人工修复,下次还是犯。怎么让它从错误中真正"学到"?