🖼 dsh-vision-api-localorweb
接入本地识图模型 API —— 给你的 DSH 助手装上一双「本地眼睛」。
用 LM Studio / vLLM / Ollama 里的多模态模型来识图,数据不出本机。
✨ 为什么需要它
DSH 助手默认不「看」图片。这个插件把你本地已有的识图模型(比如 LM Studio 里跑着的 Gemma 4E)接进来:
- 🔌 一行接入:填个 OpenAI 兼容接口地址 + 模型名,即可启用
- 🔒 数据不出本机:图片只发给你自己的模型,不经过任何云端
- ⚙️ 留空即关闭:接口地址留空 = 不启用识图,零副作用
- 🎛 图形化配置:设置界面里直接填,不用碰配置文件
🚀 快速开始
dsh plugin --profile web add "github:TIPSONG/dsh-vision-api-localorweb#main"
本插件声明了 dsh.bundle.patch,dsh plugin add 会自动挂进 profile 层栈,无需手写 insert 行。装完重启 web 生效。
重启后打开 设置 → 可接入识图模型 API:
| 字段 |
填什么 |
示例 |
| 接口地址 |
OpenAI 兼容 base URL |
http://localhost:1234/v1 |
| 模型名 |
本地加载的模型 ID |
gemma-4-e4b |
| API Key |
本地服务留空即可 |
(空) |
点保存,然后对助手说「看看这张图」——助手会调用 local_vision 把图片交给你本地的模型。
🧭 工作原理
📦 能力面
| Tools |
说明 |
local_vision |
读取本地图片 → 交给 OpenAI 兼容识图接口 → 返回文字描述;接口留空时返回「未配置」提示 |
| UI |
说明 |
| 设置 → 可接入识图模型 API |
三个输入框(接口地址 / 模型名 / API Key),留空接口地址即禁用识图 |
🔧 配置字段
| 字段 |
说明 |
baseUrl |
OpenAI 兼容接口的 base URL(http://host:port/v1)。留空 = 禁用识图 |
model |
模型 ID(LM Studio 里加载的名字,如 gemma-4-e4b) |
apiKey |
可选鉴权头;留空则不发送 |
📄 安装说明
git 源(推荐,一行):
dsh plugin --profile web add "github:TIPSONG/dsh-vision-api-localorweb#main"
本地目录:
git clone https://github.com/TIPSONG/dsh-vision-api-localorweb.git
cd dsh-vision-api-localorweb
npm install
npm run build # 产出 lib/index.js + lib/client.js
dsh plugin --profile web add .
本插件声明 dsh.bundle.patch(组合层)+ dsh.client(platform: web)+ exports["./client"](浏览器设置页),main 提供 Node 工具半。安装后重启 web 生效。
🛠 开发
npm install
npm run build # 重新构建 lib/
| 文件 |
说明 |
src/index.ts |
Node 半:settings namespace + local_vision 工具 |
src/client.ts |
浏览器半:设置页 |
scripts/build.mjs |
esbuild 构建脚本(ESM host + __ModuleLoader__ client bundle) |
🔌 支持的模型
任何 OpenAI 兼容 /v1/chat/completions 接口且支持图片输入的多模态模型:
- LM Studio(Gemma、Qwen-VL、LLaVA 等)
- Ollama(
http://localhost:11434/v1)
- vLLM / llama.cpp server
📄 License
MIT