性能、成本、并发与模型路由

P01先拆端到端延迟

总延迟 = 鉴权 + 改写 + Embedding + 检索 + Rerank
       + 模型首Token + 生成 + 工具 + 网络排队

每段用Span计时。只知道“总共8秒”就换模型，可能真正瓶颈是数据库。

P02Token和总成本

成本由输入Token、输出Token、Embedding、Rerank、工具和基础设施共同组成。长上下文也增加处理时间和噪声。

模型成本≈输入Token×输入单价+输出Token×输出单价
月成本≈各请求类型平均成本×数量+存储/计算/日志成本

按请求类型记录实际用量，不能用平均值掩盖超长异常请求。

P03四类缓存

P04Cache-aside和失效

缓存读取模式 程序先读缓存，未命中再读权威数据库并写缓存；更新时先写权威库，再删除对应缓存。

知识版本切换要主动失效旧答案。TTL只是过期上限，不能代替版本号。

P05批处理、并发、异步和并行

P06429、退避与Jitter

429一般表示超过速率或配额。指数退避让等待逐次增加，Jitter加入随机抖动，防止所有实例同时重试。

约0.5秒 → 1秒 → 2秒 + 随机抖动
达到上限后排队、降级或明确失败

无限重试会放大故障和费用；写工具重试前先查幂等结果。

P07队列、背压和高峰保护

流量控制 Backpressure背压表示下游处理不过来时，上游必须减速、排队或拒绝，不能无限堆进内存。

P08Model Routing模型路由

后端选型策略 后端按风险、复杂度、语言、延迟和成本选模型。

简单分类 → 快模型+严格Schema
复杂政策解释 → 强模型+RAG引用
高风险审批 → 规则/人工主导
主模型故障 → 已评测备用模型或安全降级

每条路由都独立评测；不同模型的Schema支持和分数阈值可能不同。

P09上下文压缩的边界

可删除重复、限制候选、Rerank后只放关键证据、摘要早期低风险对话、缓存稳定前缀。不能删权限规则、否定条件、版本和引用。

优化顺序：Trace找最大问题→一次改一个变量→同一评测集确认质量→小流量上线。

P10Fine-tuning 的适用条件

模型训练方式 Fine-tuning微调是用一批高质量输入输出示例继续训练基础模型，使其更稳定地学习某类行为、风格或专门任务。它不是把公司数据库直接“塞进模型”。

微调流程包含数据清洗、训练集/验证集隔离、基线比较、安全评测、模型版本和回滚。训练样本质量差会把错误系统性学进去。

P11多模态能力的架构接入

多种输入输出形式 Multimodal多模态指文字之外还处理图片、音频或视频。图片可由视觉模型理解，扫描件可先OCR；语音可先ASR语音识别成文字，输出可用TTS文字转语音。

要额外处理文件大小、格式、恶意文件、隐私、识别置信度、时间轴、成本和人工复核。OCR或语音识别得到的文字仍是不可信模型输出，不能直接触发退款。

P12容量规划与负载测试

用真实请求长度、并发、缓存命中和工具延迟压测。观察每秒请求、连接、队列、P95/P99、错误率、Token速率、数据库连接和内存。

性能工程不是“都并发、都缓存、都用小模型”，而是在质量安全约束下用数据控制瓶颈和过载。