智能体编排台 mohdshamii/agentops

AgentOps

个人项目：用开放权重模型探索智能体架构

AgentOps 是我正在做的一个开源项目，用来理解多步 AI 智能体是怎么搭起来的。核心思路是让智能体逻辑不依赖模型服务商：加一层适配器，就能在 LLaMA 3.2、Mistral 7B、Qwen 2.5 Coder 和 DeepSeek R1（通过 Hugging Face router）之间切换，系统其余部分不用改。另外也带了 OpenAI 兼容适配器和本地兜底适配器。

状态：早期学习项目，不是生产系统。 在真正要紧的环境里跑之前，先看 Known Gaps。

截图

对话界面 —— 深色主题、可折叠的会话侧边栏、快捷提示词标签和提示词输入框。

AgentOps Conversational Interface

模型适配器选择器 —— 运行时切换支持的开放权重模型。

Modular Model Selector

设计概览

| 模块 | 做什么 |
| 模型适配器 | ModelAdapterFactory 把智能体逻辑和服务商解耦。提供 Hugging Face router、OpenAI 兼容和本地兜底三种适配器。 |
| 记忆 | 按 token 预算的滑动窗口，管短期上下文；本地向量库用 MiniLM-L6-v2 嵌入，按余弦相似度检索。 |
| 工具 | 网页搜索与抓取、HTTP 客户端、SQL 查询、Python 执行工具，通过 REST API 暴露。 |
| 推理 | ReAct 风格循环；推理步骤通过服务器发送事件（SSE）流式推送到 UI。 |
| 技术栈 | Next.js 14 前端，Python 后端（Flask 和 FastAPI），Docker。 |

架构

+-----------------------------------------------------------------------------+
| Next.js 14 Frontend |
| (Chat UI | Telemetry Dashboard | Workflows | Swarm | Memory | SQL) |
+--------------------------------------|--------------------------------------+
| Server-Sent Events (SSE) / REST
+--------------------------------------v--------------------------------------+
| Python Backend (Flask / FastAPI) |
+--------------------------------------+--------------------------------------+
| Modular Model Adapters | Memory |
| - Hugging Face Router | - Short-Term Sliding Buffer |
| - OpenAI-Compatible Adapter | - Vector Store (MiniLM-L6-v2) |
| - Offline Local Fallback Adapter | - Relational Conversation Store |
+--------------------------------------+--------------------------------------+
| Tools | Orchestration & Multimodal |
| - HTTP / REST API Caller | - Agent Swarm |
| - Web Scraper & DuckDuckGo Search | - Multi-Stage Workflows |
| - SQL 查询与 Schema 工具 | - BLIP 视觉分析 |
| - Python 执行工具（见已知缺口） | - Whisper 语音转文字 |
+-----------------------------------------------------------------------------+

模型适配器

- HuggingFaceAdapter：Hugging Face 路由（https://router.huggingface.co/v1）。
- OpenAIAdapter：任何兼容 OpenAI 的端点。
- LocalFallbackAdapter：自带离线引擎，没有 token 也能跑。

选择器支持的模型：LLaMA 3.2（3B）、Mistral 7B、Qwen 2.5（72B）、Qwen 2.5 Coder（32B）、DeepSeek R1。

工具

- Web：用 BeautifulSoup 和 DuckDuckGo 抓取网页、解析搜索结果。
- HTTP 客户端：GET、POST、PUT、DELETE，请求头和请求体可配置。
- SQL：检查 schema，在 SQLite 和 PostgreSQL 上执行查询。
- Python 执行：运行模型生成的脚本。未针对不可信输入做加固。

记忆

- 短期：按 token 预算的滑动窗口。
- 长期：本地向量库，使用 sentence-transformers/all-MiniLM-L6-v2，按余弦相似度检索。

已知缺口

这是个早期项目。以下是我知道缺失或薄弱的地方：

- 代码执行对不可信输入不安全。 不要把 Python 执行工具暴露给不可信用户或网络。
- API 没有身份验证。
- 还没有评测套件，所以智能体行为和检索质量都没有度量。
- 向量库基于文件（vector_store.json），无法扩展，也没有并发保证。

这些是我接下来打算做的。

欢迎反馈

如果你做智能体系统，我尤其想听听你对这些方面的意见：

- 记忆设计（上下文预算、检索策略、持久化什么）
- 安全的工具执行（沙箱、权限、限制影响范围）

欢迎提 Issue 和 PR。

目录结构

agentops/
|-- backend/
| |-- app/
| | |-- adapters/ # Model adapters (Hugging Face, OpenAI-compatible, Local)
| | |-- agents/ # Multi-agent swarm definitions
| | |-- intelligence/ # Prompts, personas, ReAct reasoning engine
| | |-- memory/ # Sliding context buffer and vector store
| | |-- routes/ # FastAPI routers
| | |-- services/ # Master coordinator, voice, vision
| | |-- tools/ # Web search, scraper, API caller, DB, code runner
| | |-- config.py # Backend configuration settings
| | |-- database.py # SQLAlchemy engine and session factory
| | |-- models.py # Relational database models
| |-- app_flask.py # Flask server with modular adapters
|-- frontend/
| |-- app/ # Next.js 14 layout and page routes
| |-- components/ # UI components (ChatInterface, Composer, Workspace, Sidebar)
| |-- lib/ # API client, types, constants
| |-- styles/ # CSS modules and design tokens
| |-- package.json # Node dependencies
|-- img/ # README screenshots
|-- .env.example # Environment variables template
|-- docker-compose.yml # Multi-container orchestration
-- README.md

快速开始

1. 环境

cp .env.example .env

Hugging Face access token (optional if using the local fallback)
HF_TOKEN=your_token_here
HF_ROUTER_BASE_URL=https://router.huggingface.co/v1
HF_DEFAULT_MODEL=meta-llama/Llama-3.2-3B-Instruct

Database and storage
DATABASE_URL=sqlite:///./ai_agent.db
VECTOR_STORE_PATH=./vector_store.json

Server
HOST=0.0.0.0
PORT=8000

2. 后端

cd backend
pip install -r requirements.txt
python app_flask.py

也可以改用 FastAPI 服务器：

python -m uvicorn app.main:app --host 0.0.0.0 --port 8000 --reload

3. 前端

cd frontend
npm install
npm run dev

打开 http://localhost:3000。

Docker

docker-compose up --build

API 参考

| 方法 | 端点 | 说明 |
| POST | /api/chat/send | 同步发送消息，带 ReAct 推理与工具调用 |
| POST | /api/chat/stream | 以 SSE 流式返回 token 与推理步骤 |
| GET | /api/conversations/ | 列出会话线程 |
| POST | /api/conversations/create | 创建会话线程 |
| DELETE | /api/conversations/<id> | 删除线程及其历史 |
| GET | /api/tools/ | 列出已注册工具及参数规格 |
| POST | /api/tools/execute | 直接调用工具 |
| GET | /api/memory/ | 按余弦相似度查询向量记忆 |
| POST | /api/memory/add | 向向量记忆添加文档 |
| POST | /api/workflows/execute | 运行多阶段工作流 |

许可证

MIT License。