多 LLM API 统一接入
项目初期用的 OpenAI，后来客户要求用 DeepSeek（成本低），再后来又要接 Claude（长文本能力强）。每次接一个新的 LLM 都要改一遍代码，改了三个月我忍不了了——必须搞一个统一的接入层，让业务代码和具体 LLM 解耦。
Prompt 工程进阶
一开始我觉得 Prompt 不就是写几句话嘛，能有多难？直到我的 Agent 在生产环境连续三天返回错误格式的数据，排查了两天才发现是 System Prompt 里少了一句"请用 JSON 格式返回"。从那以后我才认真对待 Prompt 工程——它不是"写几句话"，而是一门需要系统化方法论的工程学科。
LLM 输出结构化
Agent 需要调用工具时，LLM 必须返回合法的 JSON——函数名、参数类型、参数值，一个字符都不能错。我最初用正则表达式从 LLM 输出中提取 JSON，结果 30% 的情况会解析失败。后来发现了 Structured Output 和 Function Calling，才真正解决了这个问题。
Token 管理与成本优化
上个月看 LLM 的账单差点晕过去——一个月烧了 8000 块。排查发现，System Prompt 每次都重复发送（占 40% 的 Token），Agent 的上下文窗口没做压缩（历史消息越攒越多），很多简单任务用了 GPT-4o（其实 DeepSeek 就够了）。做了三个月优化，成本降到了 2000 块/月，效果还提升了。