Files
agent/docs/live-model-verification.md
T

41 lines
2.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 真实模型联调验收
日期:2026-09-09。本地开发版本,未部署到公网。
## 使用的连接
- 模型:`Qwen3.8-27B-FP8`。
- 协议:OpenAI Responses。
- 网关:`https://gateway.pencil-stub.com/v1`。
- API Key 仅在当前 Session / Pi 凭证内存中使用,没有写入源代码、配置文件或 Git。
- 仅验收文本能力;未确认该模型的图片能力,当前连接配置为 text-only。Anthropic 协议未做完整链路验收。
## 实测结果
- 简单文字请求返回“连接成功”,SSE 产生文本增量和正常结束事件。
- `ads-analysis`、`report-writer` 均产生 `skill.requested` 和 `skill.loaded`。
- `mock_ads_metrics` 返回演示数据;页面显示 Spend 10000、Revenue 21800、ROAS 2.18。
- 页面出现待审批对话框。点击“批准并保存”后观察到 `approval.resolved: approved`,继而 `save_report_draft` 成功。
- 最终报告实际写入 Session 的 `report.md`,879 字节;包含五个章节并注明模拟数据。
- 模型返回“保存成功:report.md”,运行正常结束。
- 从页面输入并发送测试消息后,真实模型返回“页面发送正常。”;页面未记录 console error。
验收 Session:`ses_ffbe9bca-275c-4004-9fa2-271c2db9cc1a`。该标识仅用于本次本地验收,不是持久会话;重启后不能据此恢复内存数据。
## 修复与回归
- 将 Skill 正文复制到会话内只读快照,并同步运行时索引,保持原有路径守卫。
- 将 Pi 自定义工具的 `result.details` 映射给页面工具卡。
- 不再将工具调用轮次结束误报为整个回复完成;模型错误不再被当成正常完成。
- 模型先调用工具、尚未输出文本时,页面仍即时显示工具卡。
- 本地 Session 和 runtime 目录加入 Git 忽略。
最终检查全部通过:127 条测试(shared 13、harness 71、server 17、web 26)、生产构建、类型检查、Lint、`git diff --check`。构建仍有主 JS 包超过 500 kB 的体积提示,不影响本次功能验收。
## 仍需注意
- 广告数据是内置 fixture,不是真实投放平台数据。
- 本轮首次较长报告在结尾出现不完整句子;最终验收改用短报告并确认完整输出。长报告仍需控制长度或提高模型输出上限,并人工审阅数字与结论。
- Skill 快照目前只包含 `SKILL.md`,额外引用、脚本和资源文件没有自动开放。
- 保留当前页面可继续使用已配置会话;刷新页面、重置会话或重启服务后可能需要重新配置。