Commit 5efee4de authored by Alex4309h's avatar Alex4309h

补充

parent 5eff829e
...@@ -29,10 +29,23 @@ ChatEngine 编排引擎 ...@@ -29,10 +29,23 @@ ChatEngine 编排引擎
## 核心特性 ## 核心特性
- **模块化插件架构** — ASR、LLM、TTS、Avatar 各环节可独立替换,通过配置文件切换 - **模块化插件架构** — ASR、LLM、TTS、Avatar 各环节可独立替换,通过配置文件切换
- **全部调用外部接口** — ASR、TTS、LLM、数字人等 AI 能力均通过外部 API 接入,本项目不内置模型推理,便于灵活对接不同服务商
- **多种医疗角色** — 内置主治医生、责任护士、健康管理师、临床药师、心理咨询师、营养师 6 种专业角色模板 - **多种医疗角色** — 内置主治医生、责任护士、健康管理师、临床药师、心理咨询师、营养师 6 种专业角色模板
- **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问等主流 LLM 服务 - **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问等主流 LLM 服务
- **实时音视频** — 基于 WebRTC (aiortc) 实现低延迟双向通信 - **实时音视频** — 基于 WebRTC (aiortc) 实现低延迟双向通信
## 外部服务依赖
本项目本身不包含模型推理,所有 AI 能力均通过调用外部接口实现:
| 模块 | 外部服务 | 说明 |
|------|---------|------|
| **ASR(语音识别)** | FunASR API / 讯飞 API | 通过 HTTP 接口调用,将语音转为文本 |
| **LLM(大语言模型)** | OpenAI 兼容 API(DeepSeek、GPT、通义千问等) | 支持任何 OpenAI 兼容的 API 端点 |
| **TTS(语音合成)** | CosyVoice API / 阿里百炼 TTS / Edge TTS | 通过接口将文本转为语音 |
| **数字人(Avatar)** | MuseTalk API / LiteAvatar | 通过接口驱动数字人唇形和表情 |
| **VAD(语音活动检测)** | Silero VAD(本地轻量模型) | 唯一在本地运行的轻量组件 |
## 环境要求 ## 环境要求
- **Python**: >=3.11.7, <3.12 - **Python**: >=3.11.7, <3.12
...@@ -132,11 +145,7 @@ default: ...@@ -132,11 +145,7 @@ default:
│ ├── service/ # HTTP/WebSocket 服务层 │ ├── service/ # HTTP/WebSocket 服务层
│ └── third_party/ # 第三方库 │ └── third_party/ # 第三方库
├── install.py # 安装脚本 ├── install.py # 安装脚本
├── pyproject.toml # 项目元数据与依赖 └── pyproject.toml # 项目元数据与依赖
├── Dockerfile # 容器构建
├── docker-compose.yaml # 容器编排
├── start_all_services.sh # 一键启动
└── stop_all_services.sh # 一键停止
``` ```
## 前端开发 ## 前端开发
...@@ -169,10 +178,9 @@ pnpm build # 生产构建 ...@@ -169,10 +178,9 @@ pnpm build # 生产构建
|------|------| |------|------|
| 后端框架 | FastAPI + Uvicorn | | 后端框架 | FastAPI + Uvicorn |
| 实时通信 | aiortc (WebRTC) | | 实时通信 | aiortc (WebRTC) |
| AI/ML | PyTorch, ModelScope, OpenAI SDK | | AI 接入 | OpenAI SDK, HTTP API |
| 配置管理 | Dynaconf (YAML) | | 配置管理 | Dynaconf (YAML) |
| 前端 | Vue 3, TypeScript, Vite, Ant Design Vue, Pinia | | 前端 | Vue 3, TypeScript, Vite, Ant Design Vue, Pinia |
| 容器化 | Docker (NVIDIA CUDA 12.2 + Ubuntu 22.04) |
## License ## License
......
Markdown is supported
0%
or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment