dsh-video-understand

低成本视频理解插件：给 dsh agent 注册 video_understand 工具——B站链接 / BV 号 / 本地视频 → AVIS 信息层 → 摘要+问答（token 压缩 99.95%+，成本约 0.006 元/视频）。

安装

# 0. npm 一键安装（已发布 npm: dsh-video-understand@0.1.0）
npm install dsh-video-understand
# 或 dsh plugin add dsh-video-understand（若 dsh 支持 npm 源）

# 1. 前置：live-clip 引擎（understand_video.py + avis.py）
git clone git@github.com:ilps2/live-clip.git ~/Desktop/live-clip-repo
cd ~/Desktop/live-clip-repo && bash install_models.sh   # 模型走国内镜像，30 秒

# 2. profile 挂载：package.json 加依赖 + bundles 加 "dsh-video-understand"
pnpm install && dsh web   # 重启生效

工具

video_understand(target, questions?, noDownload?, level?, window?)

返回 JSON：video / duration_s / token_compression_pct / cost_cny / answers[]。

配置

结构

dsh-video-understand/
├── package.json        # dsh.bundle manifest
├── cordis.patch.yml    # 挂载插件
├── dsh/index.js        # host 端：注册 video_understand 工具（spawn 引擎）
└── skills/
    └── video-understand/SKILL.md   # 供 agent 了解触发场景

分级实测（2026-08）

实测：电影解说 L1 补出「白色立领衬衫/神情凝重/暗色调诊室」（L0 完全给不出）；舞蹈 L2 逐帧「头部转 15-20°→45°、口型开口→闭合→微笑」。

原理

引擎把视频压缩成信息层（ASR 转写 + 场景结构 + 运动对象轨迹 + YOLO 语义，约 1k token）再喂 LLM，对比逐帧像素（540 万 token）压缩 99.95%+；同一视频重复理解时信息层命中上下文缓存（93%），每次成本约为首次的 1/20。详见 live-clip 的 README。

License

MIT