Commit 5eff829e authored by Alex4309h's avatar Alex4309h

补充

parent c4bb7147
......@@ -9,19 +9,19 @@
## 架构
```
客户端 (Vue 3 WebUI)
客户端
│ WebRTC / WebSocket
FastAPI 服务层 (src/demo.py)
FastAPI 服务层
ChatEngine 编排引擎
├── VAD ──── 语音活动检测 (Silero VAD)
├── ASR ──── 语音识别 (SenseVoice / FunASR)
├── LLM ──── 大语言模型 (DeepSeek / GPT-4o / Qwen / Ollama / Dify)
├── TTS ──── 语音合成 (CosyVoice / EdgeTTS / Bailian TTS)
└── Avatar ─ 数字人驱动 (LiteAvatar / MuseTalk / LAM)
├── VAD ──── 语音活动检测
├── ASR ──── 语音识别
├── LLM ──── 大语言模型
├── TTS ──── 语音合成
└── Avatar ─ 数字人驱动
```
所有模块均基于 **Handler 插件体系**,可通过 YAML 配置自由组合和替换。
......@@ -30,10 +30,8 @@ ChatEngine 编排引擎
- **模块化插件架构** — ASR、LLM、TTS、Avatar 各环节可独立替换,通过配置文件切换
- **多种医疗角色** — 内置主治医生、责任护士、健康管理师、临床药师、心理咨询师、营养师 6 种专业角色模板
- **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问、Ollama、Dify 等主流 LLM 服务
- **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问等主流 LLM 服务
- **实时音视频** — 基于 WebRTC (aiortc) 实现低延迟双向通信
- **数字人驱动** — 支持 LiteAvatar 轻量渲染、MuseTalk 唇形驱动、LAM 表情驱动
- **单机全流程** — 在单台 GPU 服务器上即可运行完整系统
## 环境要求
......@@ -85,9 +83,7 @@ docker-compose up -d
## 配置说明
系统使用 YAML 配置文件驱动,位于 `config/` 目录:
| `chat_with_openai_compatible.yaml` | OpenAI 兼容 API(DeepSeek/GPT 等)+ 本地 ASR + 本地 TTS |
| `chat_with_openai_compatible_bailian_cosyvoice_musetalk.yaml` | 上述配置 + MuseTalk 数字人 |
| `chat_with_openai_compatible_bailian_cosyvoice_musetalk.yaml` | OpenAI 兼容 API(DeepSeek/GPT 等)+ ASR 接口 + TTS 接口 + MuseTalk 数字人 |
配置结构示例:
......@@ -127,12 +123,12 @@ default:
│ │ ├── common/ # Handler 基类
│ │ └── data_models/ # 数据模型
│ ├── handlers/ # 插件模块
│ │ ├── asr/ # 语音识别 (SenseVoice, FunASR)
│ │ ├── llm/ # 大语言模型 (OpenAI, MiniCPM, Qwen, Dify)
│ │ ├── tts/ # 语音合成 (CosyVoice, EdgeTTS, Bailian)
│ │ ├── avatar/ # 数字人 (LiteAvatar, MuseTalk, LAM)
│ │ ├── vad/ # 语音活动检测 (Silero VAD)
│ │ └── client/ # 客户端 (RTC WebUI)
│ │ ├── asr/ # 语音识别
│ │ ├── llm/ # 大语言模型
│ │ ├── tts/ # 语音合成
│ │ ├── avatar/ # 数字人
│ │ ├── vad/ # 语音活动检测
│ │ └── client/ # 客户端
│ ├── service/ # HTTP/WebSocket 服务层
│ └── third_party/ # 第三方库
├── install.py # 安装脚本
......
Markdown is supported
0%
or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment