sandbase-harness
sandbaseai
Local-first, self-hosted AI agent runtime and MCP bridge with sandboxed sessions, memory, credentials, audit/replay, and a local Console.
PROJECT TOPICS
INSTALL REFERENCE
dsh plugin --profile web add github:LeemanCheung/dsh-token-usage
该命令指向仓库当前默认分支;尚无绑定当前 commit 的完整验证结果。
PROJECT README
面向 DeepSeek Harness 的本地优先 Token 可观测性、预算与轨迹审计插件。
持久统计四类 provider Token bucket,提供趋势、预算、公开费率估算、聚合导出,并通过模型目录当前选中的已接入路由按需生成用量和会话轨迹报告。
功能全景 · 功能截图 · 安装 · AI 用量分析 · 轨迹分析 · 已知限制 · 贡献与社区 · 安全
截图采集自当前 DSH 界面;采集前已将用量、日期、路由与报告内容替换为明确标注的示例数据,不对应真实会话、模型配置或账单。
| 领域 | 已实现能力 |
|---|---|
| 本地用量工作台 | 无模型体检、用量收据、版本化价卡、独立辅助分析账本、7/30/90 日变化贡献、项目/标签与金额预算、人工验收实验、缓存/分时试算、脱敏周报,以及默认关闭的同页面只读摘要。详见 工作台说明。 |
| 精确记账 | 分别记录未缓存输入、输出、缓存读取与缓存写入;reasoningTokens 已包含在输出中,不重复计算。流式 usage 先作为临时值,最终消息在同一 attempt 内覆盖它;重试与上下文压缩独立计数。 |
| 多维聚合 | 以 provider / model、会话、UTC 日期和日期×模型聚合普通对话、每次重试和上下文压缩;旧用量无法归因时单独披露,不破坏总量守恒。 |
| 概览与活跃度 | 八项概览指标覆盖总量、输入、输出、缓存结构、公开费用、缓存读取避免费用、费率覆盖和有用量会话;30 周热力图支持四类 bucket 悬停与按日会话下钻。 |
| 近实时确认输出 | Web 端每 5 秒统一采样 provider 已确认的会话输出 bucket,以最多 10 秒窗口平滑突发入账;对话标题区显示当前会话 tok/s,侧栏底部显示全部会话合计和近期有入账的会话数。仅在请求终态上报 usage 的路由会在请求结束后形成脉冲,不代表逐 Token 解码速度。 |
| 趋势与数据质量 | 支持全部路由或单个 provider/model 的 7/30/90 日环比、活跃天数和峰值日;日期×模型 bucket 必须同时与会话总量、模型总量和逐日总量守恒,覆盖不完整或不一致时自动降级,避免旧数据造成低估。 |
| 预算与异常 | 本机持久化全局及精确 provider/model 的滚动 30 日 Token 预算;模型预算提供 80% 预警、100% 超额和 7 个完整 UTC 日运行率预测,并只在日期×模型覆盖完整且守恒时启用。全局异常仍以中位数/MAD 识别近期突增并支持按日下钻。 |
| Agent 效率 | 展示模型尝试数、每次尝试 Token、每百次尝试压缩数、精确压缩 Token 占比、缓存读取占输入、Top 1/Top 3 路由集中度和未归因比例。 |
| 公开价格估算 | 用静态公开费率计算已覆盖路由的 USD 估算与缓存读取避免费用,明确显示费率基准日、Token/路由覆盖和未覆盖项;不冒充 provider 账单。 |
| 模型与会话工作流 | 模型表支持按总 Token、公开费用、每次记录调用 Token 或缓存占比排序;会话表支持搜索、渐进展开、直接打开会话,轨迹分析操作固定在第一列。 |
| 聚合导出 | 导出不含会话正文和标题的 JSON v3、每日 CSV、模型 CSV 与日期×模型 CSV;JSON v3 显式记录逐日/日期×模型覆盖状态,不完整或守恒失败时禁用日期×模型 CSV,避免生成看似完整的低估数据。CSV 单元格防公式注入。 |
| AI 用量优化 | 使用目录自动预选的默认/首个路由,或改选任一当前可列出的已接入 provider/model,对总量、压缩、缓存、路由贡献、可靠日趋势、峰值和波动生成证据化建议;目录可刷新,单个 provider 枚举失败不影响其他路由。 |
| 会话轨迹分析 | 可从设置页会话列表或对话页标题操作区启动同一 Host 流程;同时支持 live 与冷会话,确定性分析调用节点、重试、压缩、工具可靠性、速率、生命周期和 Token 对账。 |
| 合规控制审计 | 配对审批请求与决定,统计单次允许、拒绝、取消、不可用、未闭合和孤立决策;单次决定不存在“永久允许”结果;独立的会话级 approval/policy 事件不在当前报告白名单中,因此持久策略明确标为不可用证据。报告强制区分观测证据、风险假设与不可用证据,不声称法律或认证结论。 |
| 实时分析进度 | 两类模型分析均显示准备/生成/整理阶段、等待时间、流块、字符数和输出 Token;provider usage 到达前明确标注估算值,到达后切换为精确值。缺少终态 finish 的截断流会失败;成功或取消后立即停止轮询且不发布迟到快照。最多同时维护 8 个请求级进度记录,结束即清理。 |
| 报告、导出与历史 | 使用 DSH Markdown 组件展示标题、列表、表格与代码;远程图片降级为链接、原始 HTML 转义为文本。两类报告均可导出;轨迹报告在当前浏览器配置中全局最多保存 24 条,界面按当前会话过滤查看并支持删除。 |
| 紧凑、响应式与可访问 UI | 跟随 DSH 中/英文界面并适配窄屏;大数字使用 K / M / B 且悬停保留精确值,轨迹摘要分为四组;加载状态提供 aria-live、aria-busy 和 reduced-motion 兼容。 |
| 历史预热与生命周期 | Host 启动后顺序预热可读历史并写入 projection cache,不阻塞插件启动;模型目录、调用与中止信号绑定当前 LLM service 生命周期。 |
| 隐私与边界校验 | 持久 projection 只保存统计数据;模型仅接收最小聚合 DTO 或白名单轨迹元数据。私有 RPC 只允许 loopback 页面,非法 bucket、日期、路由、进度 ID 和超限数组会在读取会话或调用 Adapter 前拒绝;Client 会验证报告 schema、时间戳、bucket、节点、signed delta 与最大节点引用。 |
选择的路由只在用户点击生成后调用;目录失败可重试,也不会静默改用默认模型。
轨迹截图使用示例会话指标,展示限制在视口内的滚动预览、完成态摘要、Markdown 表格与导出;继续向下滚动可查看浏览器本地历史,不对应真实会话内容。
dsh plugin --profile web add github:LeemanCheung/dsh-token-usage
安装后重启当前 dsh web 进程并刷新 http://127.0.0.1:3080,再打开 设置 → Token 用量;新增功能位于 设置 → 用量工作台。
在本目录的上一级运行:
dsh plugin --profile web add ./dsh-token-usage
0.5.0 源码已验证兼容 DSH 0.1.2-rc.1 的 Session Controller、Client Store、UI Renderer 与 Connection 接口;验证范围见 docs/compatibility-0.1.2-rc.1.md。CLI 或非 Web profile 不提供仪表盘。token-usage.rolling30DayBudget / token-usage.routeBudgets),以及当前浏览器 localStorage 中最多 24 条的轨迹报告(dsh-token-usage.trajectory-history.v1)。聚合 AI 用量报告不会持久化。dsh plugin --profile web remove dsh-token-usage
卸载后重启 dsh web 并刷新页面;已有会话历史仍存在,但仪表盘和自定义分析入口需要重新安装此插件才能显示。
outputTokens 增量计算速率;对话标题区显示当前会话,侧栏底部显示全部会话合计与近期入账数量。首次挂载先建立基线;projection 回退、来源切换、暂时缺失后重现或时钟异常时都会为该会话建立新 epoch,不跨口径显示假速率。当前 strict session 的 projection 会补充进共享控制器,因此只存在于 addressed 子会话视图、未带 projection 的合成列表行也能计量。该指标只计算 provider 已确认用量;如果路由仅在请求结束时给出 usage,它显示的是完成后的入账速率,不是生成过程中的逐 Token 解码速度。—。| 指标 | 计算方式 |
|---|---|
| 输入 Token | uncachedInputTokens + cacheReadTokens + cacheWriteTokens |
| 总 Token | 输入 Token + outputTokens |
| 缓存读取占输入 | cacheReadTokens / 输入 Token;这是 Token 结构比例,不是请求级缓存命中率 |
| 输出 Token | 使用 provider 上报的 outputTokens;不另加 reasoningTokens |
| 近实时确认输出 | 最近最多 10 秒 outputTokens 增量 ÷ 实际采样间隔;每 5 秒刷新,按会话、计量来源和连续 epoch 计算后求和。只代表已确认输出入账,不把终态脉冲表述为逐 Token 解码速度 |
| 压缩 Token | 所有 compaction/summary provider usage 的四个 bucket 之和;与普通模型尝试分别计数 |
| 每次模型尝试 Token | (总 Token - 压缩 Token) / assistantRequests;重试是独立尝试。若存在未归因旧用量,因缺少对应尝试次数而不显示该比率。 |
同一请求步骤若先后出现流式 usage 与最终消息 usage,最终值会替换该步骤的临时值,避免重复记账;发生 llm/retry 后,每个重试尝试仍会被独立统计。每条 compaction/summary 都计为一次压缩;provider 未附 usage 时只增加次数,不虚构 Token。带 surfaceOp: replace 的消息只改写可见会话表面,不代表新的模型或工具执行,因此不会重复计数。
成本是静态公开费率估算,不是 provider 账单。内置表以 USD / 1M Token 计价,当前按精确 provider: 'openai' 与 model 标签匹配:gpt-5、gpt-5-mini、gpt-5-nano、gpt-4.1、gpt-4.1-mini、gpt-4.1-nano、gpt-4o 和 gpt-4o-mini(及列出的 API 版本别名)。费率依据 OpenAI 官方 API Pricing,表内最近基准日为 2025-08-07,不会联网实时刷新;标签匹配不能验证实际端点、转售关系、合同或账单。
估算 USD = 未缓存输入 × inputRate
+ 输出 × outputRate
+ 缓存读取 × cacheReadRate
+ 缓存写入 × cacheWriteRate
÷ 1,000,000
cacheReadTokens × max(inputRate - cacheReadRate, 0) / 1M;它比较同一静态公开表中的未缓存输入价,不是账单返还。在仪表盘的 AI Token 用量分析 卡片中,目录会自动预选默认路由或首个可用路由;可直接使用,也可改选另一个当前已接入且可列出的 provider/model,再点击 生成用量分析。可使用 刷新模型目录 重新读取实时路由;当前选择也用于下面的设置页会话轨迹分析,但每次分析仍需单独触发。目录仅负责选择和展示,真正生成时仍由 Host LLM adapter 校验路由。查看界面截图。
报告固定覆盖:
| 分析面 | 依据与输出 |
|---|---|
| 总量与结构 | 未缓存输入、输出、缓存读取和缓存写入的占比与变化,以及精确上下文压缩 Token 总量。 |
| 路由贡献 | 按报告内 route-N 别名的 Token、对话次数和压缩次数识别集中度与高消耗路由;不向模型暴露原始路由名。 |
| 时间趋势 | 仅在逐日覆盖完整时,用真实逐日 bucket 分析 UTC 日粒度的活跃度、峰值与波动;长历史最多取最新 366 天进入模型证据。 |
| 风险与不确定性 | 明确数据覆盖边界,不虚构价格、延迟、质量或因果。 |
| 优化建议 | 3–7 条带 P0/P1/P2、证据、预期 Token 效率收益、置信度和实施工作量的建议。 |
route-N 别名、对话/压缩次数和可靠的 UTC 每日 bucket;本地价格匹配、覆盖率、估算 USD、缓存读取避免费用和路由成本均不发送。原始 provider/model、会话 ID、标题、提示词、回复、工具参数或其他会话正文同样不会发送。prepareCall 为准,因此目录刷新与调用之间消失的路由会得到适配器的明确失败,而不是先被过期目录拒绝。可在设置页 会话记录 第一列点击 分析轨迹,也可在对话页会话标题操作区点击 会话 Token 轨迹分析。两个入口调用同一 Host 分析流程:读取 live 会话完整事件日志,或通过 sessionQuery.readSession() 读取冷会话;浏览器分页不会影响结果。分析器先做确定性 fold,再使用当前入口选中的已接入 provider/model 生成报告;设置页沿用仪表盘选择,对话页拥有独立选择器,两者都会自动预选默认或首个可用路由。查看完成态与历史截图。
| 证据 | 口径 |
|---|---|
| 模型调用节点 | ID 为 model:<turn>:<step>:<attempt>;usage chunk 是 provider 上报的 actual/provisional,最终消息在同一 attempt 内替换为 actual/authoritative。 |
| 重试 Token | 收到 llm/retry 时封存当前 attempt;其 provider usage 单独汇总,后续 attempt 不覆盖前次消耗。 |
| 压缩节点 | 每个带 usage 的 compaction/summary 独立归因,ID 为 compaction:<seq>。 |
| 最大用量节点 | 在模型 attempt 与压缩节点中按四个 Token bucket 之和确定。 |
| Token 对账 | canonical 持久 projection 与独立节点归因账本按四个 bucket 分别比较;差异原样显示,不自动归零。 |
| 速率和运行指标 | 基于事件相对时间计算全程与活跃回合 Token/分钟,并统计未结束回合/步骤、工具调用/结果/错误、孤立工具、工具延迟、模型切换、重试和压缩。 |
| 审批控制 | 配对 approval/asked 与 approval/decided,统计已闭环、单次允许、拒绝、取消、不可用、未闭合请求与孤立决策。单次决定不存在“永久允许”结果;独立的会话级 approval/policy 事件不在当前报告白名单中,因此持久策略明确为不可用证据;这不是法律意见或 SOC 2/GDPR/ISO 认证。 |
读取旧版 v1/v2 轨迹报告时,已有的审批请求数与拒绝数仍会展示;只有 v3 新增的闭环、分类结果和审计缺口字段标为不可用,不会用零冒充确定性证据。
当前 provider 只提供未缓存输入、缓存读取、缓存写入和输出四类实际值。系统指令、用户输入、历史、检索、工具结果和子代理结果的细分归因标为不可用;插件不会读取正文进行估算,也不会把估算值伪装成实际值。
完成态先展示四组本地确定性摘要,再渲染模型 Markdown。模型被要求固定覆盖九个部分:资源摘要、调用链与用量节点、Token 对账与构成、合规控制与审计边界、重试与失败、速率与上下文效率、工具与压缩成效、异常模式,以及 3–7 条 P0/P1/P2 分级建议。重要结论必须引用事件 seq、span ID 或确定性指标;截断数据必须标为不可用,不能从缺失正文推断身份、意图、策略违规、质量或成本。
localStorage,包含 sessionId、所选分析 provider/model、确定性 metrics/spans 和模型报告,但不含会话标题或正文。每个浏览器配置跨全部会话全局最多保留 24 条,序列化总量不超过 3,000,000 字符,超限时淘汰最旧记录;若单份报告本身已超限,它仍可在当前界面查看和导出,但不会持久化。历史界面再按当前会话过滤,重新打开只读取本地报告、不重复调用模型;可删除并可导出不含会话标题/ID 的 Markdown。损坏时间戳或无效 schema 会被忽略,损坏 JSON 会清理后恢复;浏览器禁用或耗尽本地存储时会明确提示,当前报告仍可查看和导出。route-N 别名、符合受限标识符规则的工具名称、审批结果、重试序号/上限/等待、通用成功或错误状态、表面改写标记以及 Token bucket;未知扩展事件会省略。/,不能将其误解为“任何看似路径的工具名都被移除”。flowchart LR
A[DSH session log] --> B[Token usage projection]
B --> C[Session projection cache]
C --> D[Settings · Token 用量]
C --> N[Web 端 5 秒采样 / 最多 10 秒窗口]
N --> O[当前会话与全部会话 tok/s]
D --> E[概览、趋势、预算与导出]
D --> F[30 周热力图与会话下钻]
D -->|显式触发| G[确定性用量节点与对账]
G --> H[白名单元数据 DTO]
D -->|显式触发| J[聚合用量 DTO]
H --> K[当前选择器中的已接入模型]
J --> K
K --> I[安全渲染的 Markdown 报告]
I -->|显式操作| L[Markdown 导出]
I -->|仅轨迹报告| M[浏览器本地历史]
本插件吸收了主流 Agent 可观测性产品对 Token、成本、缓存和聚合趋势的做法,例如 LangSmith cost tracking、OpenAI Agents SDK usage、Langfuse token/cost tracking 和 Phoenix LLM metrics。预算和异常部分参考 FinOps Budgeting、Anomaly Management 与 MAD 的稳健统计定义。
取舍是有意的:Host projection 只持久化聚合 bucket、日期、计数、路由归因和日期×模型交叉 bucket;聚合 AI 报告只在当前页面内存中,用户显式生成的轨迹报告才进入当前浏览器 localStorage。插件不保存请求正文、逐请求正文日志或人员/组织归因。模型趋势使用精确日期×模型维度,但异常日当前仍只支持会话贡献下钻,不把全局 MAD 结论冒充为模型级异常。
已完成日期×模型归因与三维守恒门槛、精确路由 Token 预算和 80%/100%/预测告警、覆盖状态导出、目录失败恢复、分析终态校验,以及非法 RPC 早拒绝、轮询清理和证据上限。后续按以下顺序推进:
| 改动类型 | 如何生效 |
|---|---|
| Host 逻辑(projection、事件、统计) | 重启 dsh web,使 Node Host 重新加载插件。 |
| Client/UI(React、CSS) | 仅当同一 DSH checkout 正运行 pnpm run dev:web 监听器时,重建 bundle 后可通过 HMR 更新;否则重启并刷新。 |
| GitHub 源码更新 | 新安装会取得仓库当前默认分支的预构建 bundle;已运行的实例仍按上两行规则更新。 |
| 现象 | 检查方式 |
|---|---|
| 没有可选分析模型 | 刷新模型目录;确认至少一个已接入 provider 能列出模型。 |
| 趋势、预算、运行率或异常显示不可用 | 逐日或日期×模型 bucket 覆盖不足/守恒失败时会刻意停用对应结论;等待完整数据,或查看历史投影是否仍为未归因。 |
费用显示 — |
当前 provider/model 没有匹配内置静态公开费率;这不是账单或调用失败。 |
| 轨迹历史无法保存 | 检查浏览器是否禁用/耗尽 localStorage;当前报告仍可查看和导出。 |
本项目当前以 GitHub 源码插件形式分发,不发布到 npm。源码与 DSH checkout 并排放置,tsdown.config.ts 复用 DSH 的官方 Client bundle preset。
开发命令依赖 DSH workspace 提供的 TypeScript、Vitest 和 tsdown;该私有源码包本身没有声明这些 devDependencies。若脱离 DSH workspace 开发,需要自行安装兼容版本后再运行:
npm test
npm run typecheck
npm run build
构建产物为 lib/index.js 与 lib/client.js,已提交到仓库,确保可直接通过 GitHub 安装。
自动化覆盖 projection、聚合、全局/精确路由预算、覆盖状态导出、分析/RPC、报告安全、浏览器历史和组件行为,包括日期×模型三维守恒降级、80%/100%/预测预算状态、非法 RPC 早拒绝、目录超时后恢复、分析轮询清理,以及 48 路由/366 日证据上限;但不是完整的 DSH Web E2E。工作台另有真实 React 组件与真实 Host RPC、合成事件/模型传输的 Chromium 验收,覆盖中英文、移动端、保存重载、导出和冲突保护;不产生付费模型调用,也不等同于真实提供方账单核对。真实 profile 的安装激活、HMR、Slot/RPC/Schema 版本互操作、英文文案/CSS/reduced-motion 视觉,以及历史预热的全部 fail-soft 分支仍需要人工或浏览器 E2E 验证。费率测试覆盖代表性条目而非完整公开价格目录;修改 src/pricing.ts 的任一行时,应逐项复核公开来源、更新基准日/README,并在发布前完成真实 Web profile 验证。
AbortSignal。挂起调用会在刷新间复用,30 秒冷却后允许一次并行恢复尝试;每个 provider 最多保留两个未决底层调用。若两次都永久挂起,该 provider 仍需等待其中一次结算或 LLM runtime 重建。MIT © LeemanCheung
在设置中打开 用量工作台 / Usage workbench。新增无需模型的体检、用量收据、版本化自定义价卡、辅助分析账本、变化归因、项目预算、优化实验室、情景试算与本地周报。原有 Token 用量页和账本口径保持不变。
配置及辅助账本保存在 Host 的 token-usage-workbench settings;本地体检只读取元数据,不调用模型。价格是参考估算,不是账单;不同币种不相加。详见 工作台使用与数据边界。
工作台新增诊断范围与建议动作、Token 条形节点图、合计可观测用量、价卡修订/回滚、请求 ID 级去重、完整实验指标、跨时段情景对比、参考费用效应分解、优化成果周报及离线收据。已有 v1 摘要保持兼容,v2 独立事件提供预算状态与已确认输出采样。逐项验收映射见 计划验收矩阵。
CLASSIFICATION EVIDENCE
系统优先读取 GitHub Topics,再与站内分类词典和词根规则比对。当前命中: token-usage。