多媒体工坊 LosEcher/dsh-multimedia

dsh-multimedia — DSH 多媒体生成插件

多渠道（fal.ai / ElevenLabs / ComfyUI）文生图、文生视频、TTS 语音合成插件。
会话内「多媒体」tab 提供 生成 / 作品库 / 渠道设置 三区页面；host 侧提供 /multimedia HTTP API 与智能体工具（media_generate / media_list / media_status / media_export），支持产物下载、复制、导出到目录。

界面设计参考调研（LobeHub/LobeChat、OpenWebUI、Sora/可灵、Coze、Dify 等平台的生图/视频/TTS 页面模式），渠道 API 参考 fal.ai docs 与 ElevenLabs 文档。设计文档见 docs/DESIGN.md。

安装

dsh plugin --profile web add github:LosEcher/dsh-multimedia#main
重启 dsh web（host 代码），client 重建后刷新页面即可

配置渠道

渠道种子定义在 cordis.patch.yml 的 multimedia 行；运行时增删改由页面「渠道」区完成，落盘到 <dataDir>/channels.json（0600，运行时优先）。

API Key 策略：apiKeyEnv（环境变量）优先，其次页面输入的 apiKey （存 channels.json，绝不写 patch 文件、绝不回传客户端）。

内置渠道类型：

| type | 能力 | 认证 | 说明 |
| pollinations | 文生图 | 免费无 Key | 匿名免费（限 1 并发/5s），FLUX/Turbo 等 |
| googletts | TTS | 免费无 Key | Google Translate TTS，中英日韩等，≤200 字符/次 |
| cloudflare | 文生图 / TTS | CF_API_TOKEN（免费层 10k neurons/天） | Workers AI：FLUX.1 Schnell + MeloTTS，需 accountId |
| fal | 文生图 / 文生视频 / TTS | Authorization: Key <FAL_KEY> | queue API，异步任务+轮询 |
| elevenlabs | TTS / 文生图 | xi-api-key | 同步 TTS；图片走异步 Flows（免费层 10k credits/月） |
| comfyui | 文生图 / 视频（工作流 JSON） | 无 | 本地 127.0.0.1:8188，需自备工作流 |
| xai | 文生图 / 图生图（编辑）/ 文生视频 / 视频编辑 / 视频扩展 | Bearer <XAI_API_KEY> | OpenAI 兼容 https://api.x.ai/v1；图片同步返回、视频异步轮询（request_id → done） |
| zenmux | 文生图 / 图生图（编辑）/ 图生视频 / 文生视频 / TTS | Bearer <ZENMUX_API_KEY> | OpenAI 兼容聚合网关 https://zenmux.ai/api/v1；图片/TTS 同步（b64），视频原生异步协议（/videos 提交 → 轮询） |

ZenMux 渠道（2026-08-15 新增）：模型 slug 用「供应商/模型名」格式——图片 openai/gpt-image-2（GPT 模型总是返回 b64）、视频 bytedance/doubao-seedance-2.0（原生协议，480p–1080p，支持图生视频 params.image → first_frame，可返回 last_frame 图）、TTS google/gemini-3.1-flash-tts-preview（默认 PCM，自动封装为 WAV 便于播放）。
Key 在 https://zenmux.ai/platform/pay-as-you-go 充值并创建（PAYG 按量付费）。
更多模型 slug 见 https://zenmux.ai/models。

xAI（Grok Imagine）渠道：模型 grok-imagine-image-2.0（图片生成/编辑）、 grok-imagine-video-1.5（视频生成/编辑/扩展）。渠道页面可生成/编辑图片、生成视频；编辑与扩展（需输入素材）由智能体工具驱动：
media_generate(channel:'xai', modality:'image'|'video', prompt, params:{action:'edit'|'extend', image|video: '<http(s) url 或 data: URI>'})。
视频为异步任务，media_status 可查询进度；结果含 xAI 用量（cost_in_usd_ticks）。

独立插件抽取路径（dsh-xai 规划）：xAI 适配器是模块级工厂
createXaiAdapter({req, sleep, log, collect})（lib/adapters.mjs 顶部），
不依赖 Cordis 上下文——未来需要专属控制台（用量看板/编辑工作台）时，直接 import { createXaiAdapter } 复用，UI 与任务队列按需自建。

免费验证路径（2026-08-15 实测全通）：Pollinations 文生图 + Google TTS 语音，零注册零 Key；Cloudflare/ElevenLabs 免费层需注册。视频生成暂无免费 API，可选智谱 CogVideoX / MiniMax / 即梦（每日 66 积分）或本地 ComfyUI。

HTTP API（同源 /multimedia）

- GET /multimedia/channels — 渠道列表（Key 掩码）
- PUT /multimedia/channels {id, patch{enabled|label|baseUrl|apiKey|voice|extra}}
- POST /multimedia/channels / DELETE /multimedia/channels?id=
- POST /multimedia/test {channelId} — 连通性/鉴权测试
- GET /multimedia/models?channelId=&modality= — 模型/音色预设
- POST /multimedia/generate {channelId, modality, prompt, model, params}
- GET /multimedia/tasks[?limit=&modality=&status=&channelId=]
- GET /multimedia/tasks/:id / DELETE /multimedia/tasks/:id
- POST /multimedia/cancel {jobId}
- GET /multimedia/file/:jobId/:idx — 产物流式下载
- GET /multimedia/export?jobId=&idx=&destPath= — 复制产物到目录

智能体工具

media_generate(channel?, modality, prompt, params?, model?, run_in_background?)
media_list(limit?, modality?, status?)
media_status(jobId)
media_export(jobId, outputIndex?, destPath?)

产物默认落在 ~/.dsh/multimedia/results/<jobId>/，任务快照 jobs.json。

开发

node test/run.mjs # host 侧冒烟测试（core + adapters，fake fetch）
node scripts/build.mjs # client 构建（esbuild，CSS Module 内联）

- client 产物由 web 直接 serve 源文件：改 src/client 后重建 + 刷新页面即可；
- host 代码（index.mjs / lib）改动需重启 dsh web。
- 安全：产物 URL 可能含公开签名链接，/multimedia/file 走本地缓存流，不把提供商链接透给客户端页面之外的消费方。