Files
agent/docs/live-model-verification.md

2.5 KiB
Raw Permalink Blame History

真实模型联调验收

日期:2026-09-09。本地开发版本,未部署到公网。

使用的连接

  • 模型:Qwen3.8-27B-FP8。
  • 协议:OpenAI Responses。
  • 网关:https://gateway.pencil-stub.com/v1。
  • API Key 仅在当前 Session / Pi 凭证内存中使用,没有写入源代码、配置文件或 Git。
  • 仅验收文本能力;未确认该模型的图片能力,当前连接配置为 text-only。Anthropic 协议未做完整链路验收。

实测结果

  • 简单文字请求返回“连接成功”,SSE 产生文本增量和正常结束事件。
  • ads-analysis、report-writer 均产生 skill.requested 和 skill.loaded。
  • mock_ads_metrics 返回演示数据;页面显示 Spend 10000、Revenue 21800、ROAS 2.18。
  • 页面出现待审批对话框。点击“批准并保存”后观察到 approval.resolved: approved,继而 save_report_draft 成功。
  • 最终报告实际写入 Session 的 report.md,879 字节;包含五个章节并注明模拟数据。
  • 模型返回“保存成功:report.md”,运行正常结束。
  • 从页面输入并发送测试消息后,真实模型返回“页面发送正常。”;页面未记录 console error。

验收 Session:ses_ffbe9bca-275c-4004-9fa2-271c2db9cc1a。该标识仅用于本次本地验收,不是持久会话;重启后不能据此恢复内存数据。

修复与回归

  • 将 Skill 正文复制到会话内只读快照,并同步运行时索引,保持原有路径守卫。
  • 将 Pi 自定义工具的 result.details 映射给页面工具卡。
  • 不再将工具调用轮次结束误报为整个回复完成;模型错误不再被当成正常完成。
  • 模型先调用工具、尚未输出文本时,页面仍即时显示工具卡。
  • 本地 Session 和 runtime 目录加入 Git 忽略。

最终检查全部通过:127 条测试(shared 13、harness 71、server 17、web 26)、生产构建、类型检查、Lint、git diff --check。构建仍有主 JS 包超过 500 kB 的体积提示,不影响本次功能验收。

仍需注意

  • 广告数据是内置 fixture,不是真实投放平台数据。
  • 本轮首次较长报告在结尾出现不完整句子;最终验收改用短报告并确认完整输出。长报告仍需控制长度或提高模型输出上限,并人工审阅数字与结论。
  • Skill 快照目前只包含 SKILL.md,额外引用、脚本和资源文件没有自动开放。
  • 保留当前页面可继续使用已配置会话;刷新页面、重置会话或重启服务后可能需要重新配置。