Commit 5eff829e authored by Alex4309h's avatar Alex4309h

补充

parent c4bb7147
...@@ -9,19 +9,19 @@ ...@@ -9,19 +9,19 @@
## 架构 ## 架构
``` ```
客户端 (Vue 3 WebUI) 客户端
│ WebRTC / WebSocket │ WebRTC / WebSocket
FastAPI 服务层 (src/demo.py) FastAPI 服务层
ChatEngine 编排引擎 ChatEngine 编排引擎
├── VAD ──── 语音活动检测 (Silero VAD) ├── VAD ──── 语音活动检测
├── ASR ──── 语音识别 (SenseVoice / FunASR) ├── ASR ──── 语音识别
├── LLM ──── 大语言模型 (DeepSeek / GPT-4o / Qwen / Ollama / Dify) ├── LLM ──── 大语言模型
├── TTS ──── 语音合成 (CosyVoice / EdgeTTS / Bailian TTS) ├── TTS ──── 语音合成
└── Avatar ─ 数字人驱动 (LiteAvatar / MuseTalk / LAM) └── Avatar ─ 数字人驱动
``` ```
所有模块均基于 **Handler 插件体系**,可通过 YAML 配置自由组合和替换。 所有模块均基于 **Handler 插件体系**,可通过 YAML 配置自由组合和替换。
...@@ -30,10 +30,8 @@ ChatEngine 编排引擎 ...@@ -30,10 +30,8 @@ ChatEngine 编排引擎
- **模块化插件架构** — ASR、LLM、TTS、Avatar 各环节可独立替换,通过配置文件切换 - **模块化插件架构** — ASR、LLM、TTS、Avatar 各环节可独立替换,通过配置文件切换
- **多种医疗角色** — 内置主治医生、责任护士、健康管理师、临床药师、心理咨询师、营养师 6 种专业角色模板 - **多种医疗角色** — 内置主治医生、责任护士、健康管理师、临床药师、心理咨询师、营养师 6 种专业角色模板
- **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问、Ollama、Dify 等主流 LLM 服务 - **多模型支持** — 兼容 OpenAI、DeepSeek、通义千问等主流 LLM 服务
- **实时音视频** — 基于 WebRTC (aiortc) 实现低延迟双向通信 - **实时音视频** — 基于 WebRTC (aiortc) 实现低延迟双向通信
- **数字人驱动** — 支持 LiteAvatar 轻量渲染、MuseTalk 唇形驱动、LAM 表情驱动
- **单机全流程** — 在单台 GPU 服务器上即可运行完整系统
## 环境要求 ## 环境要求
...@@ -85,9 +83,7 @@ docker-compose up -d ...@@ -85,9 +83,7 @@ docker-compose up -d
## 配置说明 ## 配置说明
系统使用 YAML 配置文件驱动,位于 `config/` 目录: 系统使用 YAML 配置文件驱动,位于 `config/` 目录:
| `chat_with_openai_compatible_bailian_cosyvoice_musetalk.yaml` | OpenAI 兼容 API(DeepSeek/GPT 等)+ ASR 接口 + TTS 接口 + MuseTalk 数字人 |
| `chat_with_openai_compatible.yaml` | OpenAI 兼容 API(DeepSeek/GPT 等)+ 本地 ASR + 本地 TTS |
| `chat_with_openai_compatible_bailian_cosyvoice_musetalk.yaml` | 上述配置 + MuseTalk 数字人 |
配置结构示例: 配置结构示例:
...@@ -127,12 +123,12 @@ default: ...@@ -127,12 +123,12 @@ default:
│ │ ├── common/ # Handler 基类 │ │ ├── common/ # Handler 基类
│ │ └── data_models/ # 数据模型 │ │ └── data_models/ # 数据模型
│ ├── handlers/ # 插件模块 │ ├── handlers/ # 插件模块
│ │ ├── asr/ # 语音识别 (SenseVoice, FunASR) │ │ ├── asr/ # 语音识别
│ │ ├── llm/ # 大语言模型 (OpenAI, MiniCPM, Qwen, Dify) │ │ ├── llm/ # 大语言模型
│ │ ├── tts/ # 语音合成 (CosyVoice, EdgeTTS, Bailian) │ │ ├── tts/ # 语音合成
│ │ ├── avatar/ # 数字人 (LiteAvatar, MuseTalk, LAM) │ │ ├── avatar/ # 数字人
│ │ ├── vad/ # 语音活动检测 (Silero VAD) │ │ ├── vad/ # 语音活动检测
│ │ └── client/ # 客户端 (RTC WebUI) │ │ └── client/ # 客户端
│ ├── service/ # HTTP/WebSocket 服务层 │ ├── service/ # HTTP/WebSocket 服务层
│ └── third_party/ # 第三方库 │ └── third_party/ # 第三方库
├── install.py # 安装脚本 ├── install.py # 安装脚本
......
Markdown is supported
0%
or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment