多模态生成工作流tong-io/tongflow

TongFlow：开源、模态优先的 GenAI 平台

English · 简体中文 · 日本語

不同模态。同一工作流。

文本、图像、音频、视频和 3D 都是你的素材。决定它们如何转换与组合，然后为每一步选择背后的模型。每个结果都是你可以再次使用的素材。

开源核心 · 你的模型 · 可自托管 · tongflow.com · 打开画布

演示示例

| 工作流 | 结果 |
| :--: | :--: |
| 基础 — 输入文本（添加），生成图像（转换），然后将它们融合为一个（组合）。 |  |
| 进阶 — （添加主题 → 编写脚本 → 生成语音）+（角色描述 → 生成图像）→ 唇形同步视频 = 说话头像。 |  |
| 高级 — 生成歌词 + 歌曲 + 角色 + 场景 + 分镜 → 制作音乐视频。 |  |

每个输出都会作为素材保留在画布上：从生成的图像分支，将转录文本输入下一步，或替换某个节点背后的模型而保留工作流的其余部分。

如何开始
使用 TongFlow 有三种方式，它们都共享同一个开源核心：TongFlow Cloud（桌面应用或浏览器中的 app.tongflow.com）、自托管（从源码运行 或 使用 Docker），或使用智能体构建（tongflow npm 包 或 dsh 插件）。

TongFlow 桌面应用是一个轻量级（约 10 MB）的外壳，封装了位于 app.tongflow.com 的云端工作室——安装它、登录，然后开始创作。云端工作室也可以在任何现代浏览器中运行。

第 1 步 — 安装桌面应用

下载适用于你平台的安装程序，安装并打开它。

- macOS（通用版 — Apple Silicon 与 Intel）： TongFlow-mac-universal.dmg
- Windows： TongFlow-win-x64.msi

所有构建版本都在 Releases 页面上。

macOS： 这些构建版本尚未经过 Apple 公证，因此 Gatekeeper 会阻止首次启动（“TongFlow 已损坏，无法打开”）。将应用移动到“应用程序”后，清除一次隔离标记，它就能正常打开：

xattr -cr /Applications/TongFlow.app

请直接从本页面下载——通过聊天应用（例如微信）传输的安装程序可能会被重命名或重新标记。

第 2 步 — 登录并创作

使用 Google 或微信登录并开始创作——云端工作室会为你管理插件和执行。

想要完全本地、无需账户的 TongFlow？ 这正是自托管的用途——请参阅从源码运行或使用 Docker 运行，然后按照自托管设置进行操作。（桌面应用在 v0.1.13 之前捆绑了此本地运行时；那些安装程序仍保留在 Releases 页面上。）

模态优先

模态是一种信息形式：文本、图像、音频、视频、3D、文档、URL。TongFlow 将这些作为工作流的构建块。先决定你想用它们做什么，然后为任务选择模型。每一步都是三个独立的决策：

| | 问题 | 示例 |
| :-- | :-- | :-- |
| 素材 | 你有什么？ | 一份文档、一张照片、一段录音、一个想法。 |
| 能力 | 它可以变成什么？ | 理解、生成、转换、组合或拆分。 |
| 实现 | 应该由什么来运行它？ | 一个兼容的插件及其提供的模型。 |

- 每个结果都是一个新的开始。 素材有自己的节点。上传的图像和生成的图像都可以作为下一个兼容操作的输入。从结果出发进行分支，而不是从头开始。
- 先选能力，再选模型。 工作流将某个步骤的职责与运行它的插件分开记录。在保持周边结构不变的同时，切换兼容的实现。
- 四种操作。 添加、转换、组合、拆分与批处理。理解、生成和处理都归属于同一套系统；生成只是其中一种操作。
- 为人与智能体共享的结构。 画布、导出器和智能体工具使用同一套节点注册表。你可以通过可视化方式构建，也可以通过 tongflow 包来构建；DSH 集成让智能体能够创建你可以打开、编辑并再次运行的工作流。
- 开放生态。 ABI 定义了每种能力的输入/输出契约，与由谁实现无关。任何平台都可以以相同方式发布插件，下面这些官方插件几乎覆盖了矩阵中的每一个节点。

延伸阅读：为什么 TongFlow 从模态出发。

能力

下面的每个节点都是来自 ABI 的一种能力，按四种操作分组。素材（文本、图像、音频、视频、3D、文档、URL）是连接它们的节点。

✅ = 通过官方插件开箱即用 · ⬜ = 节点已存在于画布中，但尚无官方插件（计划中）。

添加

- ✅ 文本输入：输入文本并添加一个文本节点。
- ✅ 添加图像：选择本地文件并添加一个图像节点。
- ✅ 添加照片：使用设备相机拍摄并添加一个图像节点。
- ✅ 添加草图：在画布上绘制并添加一个图像节点。
- ✅ 添加音频：选择本地音频文件并添加一个音频节点。
- ✅ 录制音频：使用麦克风录制并添加一个音频节点。
- ✅ 添加视频：选择本地视频文件并添加一个视频节点。
- ✅ 录制视频：使用相机录制并添加一个视频节点。
- ✅ 添加文档：选择本地文件并添加一个文档节点。
- ✅ 添加 URL：从链接抓取页面并添加文本、图像、音频或视频节点。
- ✅ 添加 3D 模型：选择本地模型文件并添加一个 3D 模型节点。

转换

文本

- ✅ 生成 / 改写：根据提示词创建或编辑文案。

图像

- ✅ 图像生成：从文本生成图像。
- ✅ 图像编辑：根据指令进行局部重绘、编辑或重画。
- ✅ 图像理解：从图像生成说明文字、问答或描述。
- ✅ 图像放大：放大以获得更清晰的细节。
- ✅ 姿态检测：308 关键点全身骨架叠加（身体、手部、面部）。
- ✅ 身体部位分割：29 类人体解析叠加。
- ✅ 表面法线：逐像素法线贴图——以人体为中心或完整场景。
- ✅ 抠图：将人物或显著前景抠出为透明 PNG。

视频

- ✅ 视频生成：从文本生成视频。
- ✅ 图像转视频：让静态图像动起来。
- ✅ 首/尾帧视频：用两张关键图像插值生成一段视频。
- ✅ 多图 → 视频：多图参考融合——将多张参考图像加文本生成一个新视频。
- ✅ 全参考视频：将图像、视频和音频参考（外加文本）混合成一个带有原生立体声音频的视频。
- ✅ 视频理解：从视频生成摘要或描述。
- ✅ 视频放大：输出更高分辨率。
- ✅ 提取首帧 / 末帧：抓取一帧作为图像。
- ✅ 视频编辑：根据文本指令编辑视频。
- ✅ 字幕移除：清除视频中的字幕。
- ✅ 水印移除：移除视频中的水印。

音频

- ✅ 音乐生成：从文本生成音乐，可选参考音频条件控制。
- ✅ 音频理解：用文本描述一段音频片段（音乐、语音或环境声）。
- ✅ 音乐重绘：重新生成歌曲中选定的时间范围。
- ✅ 音乐翻唱：通过描述和/或参考曲目重新演绎一首歌曲的风格。
- ✅ 添加音轨 / 补全编曲：在混音上生成一个新的分轨，或补全缺失的音轨。
- ✅ 音乐简报：一句话想法 → 歌词、风格标签、BPM、调性和时长。
- ✅ 语音合成：文本转语音——预设风格、声音克隆（参考音频）或指令驱动。
- ✅ 语音识别：从音频或视频中转写语音。
- ✅ 降噪：对音频进行降噪。
- ✅ 说话人分离：按说话人分离音频。
- ⬜ 声音 / 音色替换：用参考样本替换或克隆声音。
- ✅ 多轨 / 人声伴奏分离：分离人声、鼓、贝斯、吉他以及其他 8 个分轨。
- ✅ 开放词汇声音分离：用文字描述任意声音（“狗叫声”），并将音频拆分为该声音和其他所有内容。

3D、文档与链接

- ✅ 图像 → 3D：从单视图图像生成 3D 模型。
- ✅ 视频 → 动作捕捉：单目视频转骨骼动画（身体 + 手指 + 面部通道，GLB）。
- ✅ 文档 → 文本：从文档中提取纯文本。
- ✅ 链接 → 文本：将页面内容转换为文本。

组合

- ✅ 图像融合：将多个参考混合或编辑成一张图像。
- ✅ 唇形同步：音频 + 视频 → 视频（唇形同步）；也有音频 + 图像 → 视频和音频 + 文本 → 视频变体。
- ✅ 情感语音：文本 + 声音参考 → 以该声音生成语音，并带有情感控制。
- ✅ 角色替换：视频 + 参考（场景混合 / 角色替换），Animate Mix 风格生成。
- ✅ 动作迁移：视频 + 参考（动作 / 重定向），Animate Move 风格生成。
- ✅ 合并文本：将多个文本节点合并为一个。
- ✅ 拼接片段：将多个视频首尾相连。
- ✅ 复用音频 + 视频：合并为一个文件。

拆分与批处理

- ✅ 按镜头拆分：按场景将长视频切分为片段。
- ✅ 拆分视频与音频：将视频解复用为单独的视频和音频轨道。
- ✅ 提取音轨：将音频提取为独立资产。
- ✅ 拆分长文本：将长段落拆分为多个块。
- ✅ 合并 / 整理文本块：合并片段（使用自动合并选项）。
- ✅ 筛选或丢弃片段：按规则或选择丢弃不需要的片段。
- ✅ 排列与批量分组：将文本/片段批次分组并排列，以供下游处理。

官方插件

官方 GPU/CPU 插件目前运行在 Modal 上——每月最多可获得 $30 的免费 GPU 算力（H100/A100 等）。关于 MODAL_TOKEN_ 的设置，请参阅 自托管设置。任何其他平台都可以用同样的方式发布自己的插件。

API 插件

第一方提供商（实验室自有的模型）：

- tongflow-api-gemini — Google Gemini，带有按节点配置的 模型选择器：文本、视觉、图像（Nano Banana / Imagen 4）、Veo 视频、TTS 和转录
- tongflow-api-openai — OpenAI，带有按节点配置的 模型选择器：gen_text、图像生成/编辑/融合（gpt-image-2）、视觉、文档 OCR、Whisper 转录和 TTS
- tongflow-api-deepseek — DeepSeek V4（flash / pro，带有流式 thinking 气泡），用于 gen_text / 文本工具
- tongflow-api-bytedance — 字节跳动火山引擎方舟，带有按节点配置的 模型选择器：豆包文本与视觉、Seedream 图像生成/编辑/融合、Seedance 文本/图像/音频 → 视频
- tongflow-api-xai — xAI Grok，带有按节点配置的 模型选择器：gen_text（Grok 4.x）、图像理解和 Grok Imagine 文生图
- tongflow-api-runway — Runway Dev 统一 API，带有按节点配置的 模型选择器：视频（Gen-4.5、Gen-4 Turbo、Aleph 编辑、Act-Two、Seedance、Veo）、图像（GPT Image 2、Seedream 5、Gemini image 3）和 ElevenLabs TTS

路由器插件

聚合器——一个密钥，即可使用各实验室的众多第三方模型：

- tongflow-router-openrouter — OpenRouter，带有按节点配置的 模型选择器：gen_text（默认免费，另含 GPT-5.5 / Claude / Gemini / Grok / DeepSeek）、视觉/音频理解、图像生成/编辑和转录
- tongflow-router-cometapi — CometAPI 网关，带有按节点配置的 模型选择器，同时列出 CometAPI 的 实时目录：gen_text / 文本工具（GPT-5.5、Claude、Gemini、DeepSeek、Grok、Qwen、Kimi）、图像/视频/音频理解、图像生成/编辑/融合（GPT Image 2、Seedream）、文本/图像 → 视频（Sora 2、Veo 3.1、Seedance、Wan、MiniMax、HappyHorse、Vidu）、视频编辑（Omni）、TTS 和 Whisper 转录
- tongflow-router-toapis — 带逐节点模型选择器的 ToAPIs 网关：gen_text / 文本工具（GPT-5.6、Claude、Gemini、DeepSeek、Qwen、GLM、Kimi、MiniMax）、图像理解、图像生成/编辑/融合（GPT Image 2、Seedream 5、Gemini Image、Flux 2、Grok）、文本 / 图像 / 首尾帧 / 多模态参考 → 视频（Sora 2、Veo 3.1、Seedance 2、Kling、MiniMax H3、Wan、HappyHorse、Vidu）、视频编辑（HappyHorse）；该选择器还会列出实时按密钥的模型列表
- tongflow-router-apimart — 带逐节点模型选择器的 APIMart 网关：图像生成/编辑（Z-Image、Seedream、Nano Banana、GPT-Image）、文本/图像 → 视频（Kling、VEO3、Sora2、Seedance）、gen_text（GPT-5、Claude、Gemini）、Whisper 转录和 TTS
- tongflow-router-replicate — 带逐节点模型选择器的 Replicate，覆盖整个目录：文本、视觉、图像生成/编辑/融合/放大/抠图、文本/图像 → 视频、转录、TTS / 声音克隆、音乐，以及图像 → 3D（FLUX、Seedream、Veo、Kling、Whisper、Hunyuan3D……）
- tongflow-router-fal — 带逐节点模型选择器的 fal.ai：图像（生成/编辑/融合/放大/抠图/姿态/法线/分割）、视频（文本/图像 → 视频、首尾帧、说话头、唇形同步、放大）、音频（转录、TTS、声音克隆、音乐、音源分离）以及图像 → 3D

GPU/CPU 插件

- tongflow-modal-ffmpeg — 转码、复用、媒体流水线
- tongflow-modal-pyscenedetect — 用于拆分片段的镜头边界检测
- tongflow-modal-z-image — Z-Image 文本生成图像
- tongflow-modal-ernie-image — ERNIE Image 文本生成图像（备选）
- tongflow-modal-krea2 — Krea 2 Turbo 文本生成图像（开放权重 12B，8 步，最高 2K）
- tongflow-modal-flux2-klein9b — FLUX.2 Klein 9B 多参考融合 / 图像编辑
- tongflow-modal-qwen-image-edit — Qwen-Image-Edit-2511 指令编辑 / 多图像融合（无头 ComfyUI，fp8 + 8 步）
- tongflow-modal-boogu — Boogu-Image-0.1（fp8）文本生成图像（密集双语文本）及单参考图像编辑
- tongflow-modal-infinitetalk — InfiniteTalk 音频驱动唇形同步（音频 + 图像 / 视频 → 说话头视频）
- tongflow-modal-wan-animate — Wan-Animate 角色替换与动作迁移（视频 + 参考）
- tongflow-modal-scail2 — SCAIL-2 受控角色动画（图像 + 驱动视频；与 wan-animate 相同的两个槽位）
- tongflow-modal-minimax-h3 — MiniMax-H3 33B 视频生成，带原生立体声音频（文本 / 首帧与末帧 / 多图像 / 全参考）
- tongflow-modal-bernini — Bernini-R 1.3B 统一视频渲染器（文本/图像 → 图像/视频、视频编辑、字幕 / 水印去除）
- tongflow-modal-sam3 — SAM 3 / SAM 3.1 文本引导抠图：从图像中抠出所描述概念的每个实例（透明 PNG），或在视频中对其进行跟踪（绿幕遮罩）
- tongflow-modal-triposplat — TripoSplat 单张图像 → 3D 高斯泼溅
- tongflow-modal-sam-3d-objects — SAM 3D Objects 单张图像 → 前景物体的 3D 高斯泼溅（自动蒙版，对遮挡/杂乱场景稳健；替代方案）
- tongflow-modal-sam-3d-body — SAM 3D Body 单张图像 → 全身 3D 人体网格 GLB（多人、MHR 绑定；替代方案），以及视频动作捕捉（逐帧 MHR 回归 → 动画角色 GLB；替代方案）
- tongflow-modal-sapiens2 — Sapiens2（Meta）人体套件：姿态检测、身体部位分割、表面法线、人体抠图、图像 → 3D 点云，以及视频动作捕捉（几何引擎：关键点 + 点图 → 动画 MHR 角色 GLB）
- tongflow-modal-sensenova-vision — SenseNova-Vision（商汤）统一视觉模型：图像理解 / 视觉问答、检测与 OCR 结构化文本、全场景表面法线、显著物体抠图，以及人体姿态叠加（替代方案）
- tongflow-modal-seedvr2 — SeedVR2 图像 / 视频超分辨率
- tongflow-modal-gemma4 — Gemma-4 多模态文本（图像 / 视频理解）
- tongflow-modal-qwen38 — Qwen3.8-27B 多模态文本（文本生成、图像 / 视频理解；替代方案）
- tongflow-modal-qwen3asr — Qwen3 语音识别
- tongflow-modal-qwen3tts — Qwen3 文本转语音
- tongflow-modal-indextts2 — IndexTTS-2.5 情感文本转语音：零样本语音克隆（替代方案）以及基于语音参考的情感控制语音
- tongflow-modal-whisper — 带时间戳的 Whisper 语音识别（备选方案）
- tongflow-modal-moss-transcribe-diarize — MOSS-Transcribe-Diarize 0.9B：一次处理即可完成长音频多说话人转写，带时间戳和说话人标签，并生成每位说话人的独立音轨（支持 50 多种语言，最长约 90 分钟）
- tongflow-modal-ace-step — ACE-Step 1.5 音乐套件：文本生成音乐（可选 sft / base / turbo）、重绘、翻唱、分轨提取、添加音轨、编曲补全、音乐简报和音乐理解
- tongflow-modal-levo — LeVo 2 / SongGeneration 文本生成音乐（多语言，商业级）
- tongflow-modal-minimax-music3 — MiniMax-Music3 11B 歌曲生成：歌词 + 描述 → 带人声的完整歌曲（最长约 5 分钟，32 kHz 立体声）
- tongflow-modal-yue2 — YuE2 歌曲生成：风格 + 歌词 → 可编辑乐谱 → 带人声的完整歌曲（48 kHz 立体声），并可通过 SheetSage2 转写实现翻唱（权重为 CC BY-NC 4.0，非商业用途）
- tongflow-modal-sam-audio — SAM-Audio 文本提示音源分离：降噪、人声分离，以及自由文本分轨提取（如“背景中的钢琴”）
- tongflow-modal-docling — Docling 文档 → 文本
- tongflow-modal-paddle — PaddleOCR 文档 → 文本
- tongflow-modal-unlimited-ocr — Unlimited-OCR 长文档 / PDF → 文本
- tongflow-modal-crawl4ai — Crawl4AI URL / 链接 → 文本
- tongflow-modal-scrapling — Scrapling 隐身浏览器 URL / 链接 → 文本

从源码运行

pnpm install
pnpm plugins:install   # clone official plugins into plugins/
pnpm start:prod        # builds once, then serves at http://localhost:3000

需要 Node（含 pnpm）以及位于 PATH 中的 Python 3.10+ 解释器（可设置 PYTHON 指向特定解释器）。插件作为本地 Python 进程运行；TongFlow 会自动为它们配置隔离的 venv，并在首次使用时安装每个插件的 requirements.txt——无需手动配置 Python。

打开 http://localhost:3000，画布即可使用。然后按照自托管设置操作（凭据填写在应用内的 Settings 对话框中，或项目的 .env 文件中）。

使用 Docker 运行

自托管镜像已发布到 GHCR——无需配置 Node/Python/pnpm：

docker run -d -p 3000:3000 \
-v tongflow-data:/data -v tongflow-plugins:/plugins \
ghcr.io/tong-io/tongflow:latest

然后打开 http://localhost:3000。或者使用 Compose（会克隆本仓库的 docker-compose.yml）：

docker compose up -d

如果你想自己构建镜像而不是拉取：docker build -t tongflow .

数据与凭据。 所有可写内容都存放在 /data 卷中（SQLite 数据库、上传文件、设置）。API 密钥是可选的——可以在应用内的 Settings 对话框中设置，或在启动时传入（-e OPENROUTER_API_KEY=…）；支持的密钥有：OPENROUTER_API_KEY、GEMINI_API_KEY、OPENAI_API_KEY、MODAL_TOKEN_ID / MODAL_TOKEN_SECRET。

插件。 镜像不附带任何插件——请从应用内的插件管理器安装它们（首次安装需要访问 GitHub 的网络）。首次运行时，插件会在 /data/.tongflow/plugin-venv 下配置一个共享的 Python venv（从 PyPI 安装 SDK 以及插件的 requirements.txt），因此首次运行较慢且需要网络。基于 Modal 的插件还需要一个 Modal token。

自托管设置（插件与凭据）

自托管的 TongFlow 不预装任何插件，画布中预加载了一个示例工作流。三步即可让它运行起来：

1 — 安装插件

打开 插件管理器（右上角的方块图标），安装你需要的插件。新安装的插件可立即使用，无需重启。

要运行预加载的 示例工作流（文本 → 图像 → 融合 → 视频），请安装以下三个插件：

- tongflow-modal-z-image — 文本转图像
- tongflow-modal-qwen-image-edit — 图像融合 / 混合
- tongflow-modal-minimax-h3 — 图像转视频

这些插件运行在 Modal 上（每月最多 $30 的免费 GPU 算力）。在 Settings 中添加 MODAL_TOKEN_ID / MODAL_TOKEN_SECRET；在 modal.com/settings/tokens 创建 token。任何其他平台都可以用同样的方式发布自己的插件。

在插件管理器中浏览完整目录——官方 API 插件（OpenAI / Gemini / OpenRouter）以及其他 GPU/CPU 插件。

2 — 配置凭据

打开 Settings（右上角的齿轮图标），添加插件所需的环境变量——例如 API 插件需要 OPENAI_API_KEY，或你的 GPU/CPU 插件所需的凭据。

插件凭据存放在 Settings 中。 TongFlow 与平台无关，不硬编码任何提供商：Settings 对话框是一个通用的键/值编辑器，用于传递给插件的环境变量。每个插件的 README 都会说明它需要的键。值存储在本地，无需重启即可生效。

3 — 运行示例工作流

逐个运行预加载的示例节点，或切换到 Execute Mode 并点击运行按钮，一键运行整个工作流。

在 agent 中使用它（dsh 插件）
TongFlow 也能在你自己的 agent 内运行，作为 DeepSeek Harness 的插件——无需桌面应用，也无需自建服务器：

npx @deepseek-ai/dsh@next plugin --profile web add dsh-tongflow
npx @deepseek-ai/dsh@next web

然后启动一个首条消息以 @tongflow 开头的会话。该会话会转变为 Studio——包含聊天、项目文件夹树、预览 / 编辑器 / 画布，以及运行抽屉——agent 也会获得 TongFlow 的工具。其他任何会话都保持为普通的 dsh。

这种分工正是关键所在：agent 负责设计项目，并将计划、简报和提示词写成普通文件；TongFlow 负责生成，而每个生成的资产都来自一个保存在其输出旁边的 .tongflow.json 工作流——因此你可以在画布上打开它、修改它并再次运行。这里没有“生成图像”工具，也没有项目模板。该插件在首次使用时会自行配置 Python venv 并克隆官方插件，因此画布提供的目录与托管应用相同。

要求与配置：packages/dsh-tongflow/README.md。

自定义插件

每个可运行节点都是一个由契约支撑的能力——该契约即 ABI（packages/tongflow/abi/tongflow.abi.json）——它定义了存在哪些能力以及每个能力的输入/输出是什么样，而与由谁*实现无关。插件则是实现：一个小型 Python 包，它选择一个或多个 ABI 槽位，并提供如何实现，通过 tongflow Python SDK 依据 ABI 生成的类型进行标注。替换节点背后的插件不会改变其周围的工作流。

完整的开发流程——ABI、@node_slot 装饰器、SDK、目录结构以及如何发布——见 docs/plugins.md。

社区

加入 Discord 社区，或扫描下方的微信群二维码。

商务

如有商务咨询，请联系 business@tongflow.com。

- 开源模型所有者：我可以集成你的模型，让用户能够顺畅地试用它们。
- 企业：我可以帮助你在本地 GPU 上部署、构建自定义节点和插件等。
- 平台 / 路由器：我可以集成你的 API。
- 风投：我有兴趣就 TongFlow Cloud（托管工作区）展开合作。

开源

如果你喜欢这个项目，在 GitHub 上点一个 Star 会很有帮助。谢谢。

许可证

TongFlow 采用双许可：

- AGPL-3.0——对个人、研究、开源项目，
以及任何愿意遵守 AGPL（包括其第 13 条
网络/源代码披露义务）的人免费。
- 商业许可证 — 适用于希望在闭源或 SaaS 产品中使用 TongFlow，且无需承担 AGPL 源代码披露义务的组织，或需要保修和平台支持的组织。
请联系 business@tongflow.com。

本许可证涵盖整个仓库，包括 sdk/ 目录（即 tongflow PyPI 包）。贡献内容受我们的 CLA 约束。