基于 6 台 NVIDIA DGX Spark 构建的本地多模态命理养生 Agent A local-first multimodal wellness agent powered by 6× NVIDIA DGX Spark. 模型地址：https://modelscope.ai/models/cehpe2-wodvej-jefxoP/Agentic-TCM
多模态命理养生Agent 是一个用于参加 NVIDIA DGX Spark Hackathon 的本地化多模态 Agent 项目。
项目目标不是做一个简单的聊天机器人，也不是做一个普通的命理问答工具，而是探索一种更加私密、个性化、可执行的本地智能系统：
让 Agent 能够理解用户的出生信息、体质倾向、饮食习惯、当前时间、节气、日程、视觉环境输入，并通过语音交互、多轮对话和工具调用，给出更贴近当下场景的养生建议。
本项目重点验证：
通过多台 DGX Spark 的本地算力协同，能否完成 35B 模型的微调、量化、推理部署，并构建一个真正运行在用户身边的多模态养生 Agent。
多模态命理养生Agent 是一个 Local-first Multimodal Wellness Agent。
它将以下能力整合到一个本地系统中：
- 35B 大模型本地微调
- 35B 模型量化与部署
- Hermes 风格 Agent 数据训练
- 多轮对话能力
- 中医养生知识增强
- 命理与五行体质建档
- 中医多模态数据理解
- Agent 工具调用多轮数据
- 视觉 Agent 场景理解
- ASR 语音识别
- TTS 语音合成
- 声纹识别
- 本地私有记忆
- 本地工具链执行
项目希望证明： 高度个人化的 Agent，尤其涉及命理信息、健康偏好、生活习惯、饮食场景和语音身份识别时，更适合在本地完成训练、推理和执行闭环。
命理养生类 Agent 涉及大量高度私密的信息，包括：
- 出生时间
- 出生地点
- 性别
- 八字命理信息
- 体质倾向
- 健康状态
- 睡眠情况
- 饮食偏好
- 情绪状态
- 生活日程
- 语音特征
- 视觉环境输入
这些数据不适合被随意上传到云端。 因此，本项目采用 DGX Spark 构建本地化 AI 系统，让模型、数据、记忆和工具调用尽可能保留在本地环境中。
本项目的核心目标是构建一个完整的本地多模态 Agent 闭环：
本地训练 → 模型量化 → 本地推理 → 语音交互 → 视觉理解 → 个性化推理 → 工具调用 → 私有记忆
Agent 不只是回答问题，而是能够完成以下任务：
- 通过语音识别用户身份
- 根据出生信息建立命理体质档案
- 结合中医、节气、五行和生活习惯生成个性化建议
- 识别食物、药材、茶饮、厨房等视觉场景
- 通过多轮对话追问用户状态
- 调用提醒、日程、备忘录等工具
- 将用户反馈写入本地私有记忆
- 在后续交互中持续优化建议
本项目共使用 6 台 NVIDIA DGX Spark。
其中 4 台 DGX Spark 用于 35B 模型的训练与模型处理任务，包括：
- 35B 基座模型本地微调
- LoRA / QLoRA 训练
- Hermes 风格指令数据训练
- Agent 工具调用数据训练
- 多轮对话数据训练
- 中医养生数据训练
- 中医多模态数据训练
- 视觉 Agent 数据训练
- 模型量化
- 推理性能测试
- 不同量化版本对比
这部分主要验证 DGX Spark 在本地模型训练、轻量微调、模型压缩和私有数据闭环中的价值。
第 5 台 DGX Spark 用于语音链路，包括：
- ASR 语音识别
- TTS 语音合成
- 声纹识别
- 语音身份确认
- 语音唤醒与对话入口
- TTS 分块生成
- 低延迟语音交互测试
这一台 Spark 负责让 Agent 具备自然的语音入口和个性化声音交互能力。
第 6 台 DGX Spark 用于部署微调后的 35B 模型，承担核心 Agent 推理任务，包括：
- 多轮对话
- 用户意图理解
- 命理体质分析
- 中医养生建议生成
- 多模态输入理解
- 工具调用决策
- 本地记忆读取与更新
- Demo 现场实时推理
这台 Spark 是最终 Agent 系统的主推理节点。
用户 / 机器人 / 语音入口 / 摄像头
↓
ASR + 声纹识别 DGX Spark
↓
Agent Runtime / Harness
↓
微调后 35B 模型 DGX Spark
↓
工具链
八字排盘 / 节气 / 天气 / 日历 / 提醒 / 备忘录 / 本地记忆
↓
TTS DGX Spark
↓
语音回复 / 工具执行 / 记忆更新
训练侧架构：
中医数据
多轮对话数据
Hermes Agent 数据
中医多模态数据
视觉 Agent 数据
Agent 工具调用数据
↓
4× DGX Spark
35B 模型微调 / LoRA 训练 / 量化 / 评测
↓
微调后 35B Agent 模型
↓
部署至推理 DGX Spark
本项目的模型训练部分重点覆盖以下方向。
用于增强模型的 Agent 行为能力，包括：
- system / user / assistant 多角色对话
- tool calling 格式
- function calling 格式
- 工具调用前后的自然语言解释
- 多轮任务拆解
- 状态保持
- 工具调用确认
- Agent 安全边界
- 本地隐私保护策略
用于提升 Agent 的连续对话能力，包括：
- 建档确认
- 出生信息追问
- 体质状态追问
- 饮食习惯追问
- 睡眠状态追问
- 情绪压力追问
- 用户反馈记录
- 普通聊天与专业建议分流
用于增强模型在中文养生语境下的表达和判断能力，包括：
- 中医基础理论
- 体质辨识
- 寒热虚实
- 五行偏性
- 食疗建议
- 节气养生
- 睡眠调养
- 情绪与生活方式建议
用于让视觉输入能够和中医养生建议结合，包括：
- 食物图片与体质建议
- 食材图片与寒热属性
- 药材图片识别
- 茶饮图片理解
- 厨房场景分析
- 饮食组合判断
- 视觉输入后的多轮追问
用于训练模型在多轮任务中正确使用工具，包括：
- 八字排盘工具
- 节气查询工具
- 天气查询工具
- 日历工具
- 提醒工具
- 备忘录工具
- 用户档案工具
- 本地记忆工具
示例：
User: 帮我看看今天适合吃什么。
Agent: 先读取用户体质档案。
Tool: read_user_profile
Agent: 查询今天节气。
Tool: get_solar_term
Agent: 查询当前天气。
Tool: get_weather
Agent: 结合你的体质档案、今天节气和天气，建议今天以温热、清淡、易消化的食物为主。
用于训练 Agent 理解真实生活场景，包括：
- 食物识别
- 食材识别
- 药材识别
- 茶饮识别
- 厨房识别
- 冰箱内容识别
- 桌面环境识别
- 作息场景识别
- 视觉输入到行动建议
本项目 Demo 重点展示一个完整闭环，而不是单点能力。
用户通过语音与 Agent 对话。 系统通过 ASR 识别语音内容，并通过声纹识别确认用户身份。
用户提供出生时间、地点等信息。 Agent 确认信息后，调用本地排盘工具，生成命理体质档案。
用户展示食物、药材、茶饮或生活场景。 Agent 通过视觉模型识别当前环境，并结合用户体质档案进行判断。
微调后的 35B 模型结合以下信息生成建议：
- 用户命理体质档案
- 当前时间
- 当前节气
- 天气环境
- 用户饮食偏好
- 视觉输入
- 多轮对话上下文
- 历史反馈记忆
Agent 不只给出建议，还会把建议转化成行动：
- 创建提醒
- 写入日历
- 生成备忘录
- 更新用户偏好
- 记录本次反馈
项目不是简单调用云端 API，而是使用 6 台 DGX Spark 完成本地训练、量化、推理和语音链路部署。
通过 4 台 DGX Spark 对 35B 模型进行本地微调和量化，让模型具备更强的中文养生、命理语境和 Agent 工具调用能力。
单独使用 1 台 DGX Spark 承担 ASR、TTS 和声纹识别，让 Agent 具备自然语音入口和用户身份识别能力。
单独使用 1 台 DGX Spark 部署微调后的 35B 模型，承担核心 Agent 推理与工具调用决策。
系统不仅理解文本，还结合语音、视觉、时间、节气、天气、用户档案和工具链，生成更贴近真实场景的建议。
出生信息、体质档案、声纹特征、健康偏好和视觉环境输入都属于敏感数据，本项目采用本地化架构，尽可能避免上传云端。
- NVIDIA DGX Spark
- Local-first AI
- 35B Model Fine-tuning
- LoRA / QLoRA
- Quantization
- Hermes Agent Dataset
- Multimodal Agent
- Traditional Chinese Medicine Data
- TCM Multimodal Data
- Multi-turn Dialogue
- Tool Calling
- Visual Agent
- ASR
- TTS
- Voiceprint Recognition
- Private Memory
- Wellness Agent
- Embodied Agent
本项目不提供医疗诊断，也不替代医生建议。
Agent 的输出仅用于：
- 生活方式建议
- 饮食提醒
- 作息建议
- 节气养生提示
- 情绪与压力管理建议
Agent 不应该：
- 给出疾病诊断
- 推荐处方药
- 替代医生判断
- 对严重症状做确定性判断
- 制造焦虑或恐吓用户
- 将命理结果包装成绝对结论
当用户提出明显医疗风险问题时，系统应提示用户寻求专业医生帮助。
我们希望通过这个项目证明：
DGX Spark 不只是一个本地推理设备，而是可以支撑从模型微调、模型量化、多模态理解、语音链路、Agent 工具调用到本地私有记忆的完整个人 AI 系统。
多模态命理养生Agent 尝试把中文文化语境中的命理、五行、中医养生，与现代本地多模态 Agent 架构结合起来，形成一个真正可感知、可对话、可执行、可长期陪伴的本地智能系统。
This repository package contains a sanitized, git-uploadable version of the Xiaobai TCM Reachy Mini agent.
It includes:
app/: the Reachy Mini app and embedded operator consolehermes/zhitianming-agent/: Hermes profile, skill and Bazi MCP sourcereachy-realtime/dgx1/: remote ASR/TTS/identity service wrappers for dgx1services/mac/: optional local Mac ASR, TTS and brain-gateway service wrappersexamples/: sanitized config templatesdocs/: deployment, usage and security notes for humans or coding agents
The package intentionally excludes personal profile data, runtime memory, API keys, logs, virtual environments, generated build output and machine-specific local model endpoints.
cd app
"$HOME/Library/Application Support/com.pollen-robotics.reachy-mini/apps_venv/bin/python" -m pip install -e .
python3 -m pytest -q tests/test_body_actions.py tests/test_intent_router.py tests/test_runtime_settings.pyThen follow docs/AGENT_DEPLOYMENT.md to install Hermes MCP, configure model providers and start the Reachy Mini app.
All environment-specific values should be configured after cloning:
- ASR endpoint
- TTS endpoint
- brain gateway endpoint
- chat and vision model names
- provider API keys
- Hermes home/profile path
- Bazi core path
- report timezone and startup greeting
- weather shortcut/current city
- remote identity service URL
- tool toggles, face tracking and body action preferences
Do not commit real runtime_settings.json, .env, profile archives, logs or local model paths.