§02 · 本地部署
本地部署 Muse Spark Open：MLX、llama.cpp、vLLM 与 SGLang
本页按硬件类型说明部署方式。动手前建议先用硬件计算器确认内存是否足够，并在 Hugging Face 登录、同意 Muse Model License 后获取权重下载权限。
选择部署方式
| 硬件 | 推荐方案 | 权重格式 |
|---|---|---|
| 2 台及以上 512GB Mac Studio | MLX 分布式推理 | MLX 4-bit |
| 多卡 GPU 服务器（总显存 ≥700GB） | vLLM 或 SGLang | NVFP4 / FP8 / BF16 |
| 单卡或少量显卡 + 大容量内存 | llama.cpp 与 CPU 卸载 | GGUF Q2–Q4 |
| 以上都没有 | 托管 API | — |
多卡服务器：vLLM
官方模型卡给出的启动命令：
vllm serve "meta-models/Muse-Spark-Open-816B-A42B"多卡环境下通常需要按显卡数量补充张量并行参数，例如 8 卡：
vllm serve "meta-models/Muse-Spark-Open-816B-A42B" --tensor-parallel-size 8服务启动后提供 OpenAI 兼容接口，默认地址为 http://localhost:8000/v1。
多卡服务器：SGLang
python3 -m sglang.launch_server \
--model-path "meta-models/Muse-Spark-Open-816B-A42B" \
--host 0.0.0.0 --port 30000Meta 为 SGLang 提供了自动调优的 Helion GPU 内核，在 NVIDIA 和 AMD GPU 上有内核级加速。
Mac Studio：MLX 分布式推理
Meta 与 Apple 联合优化的方案是两台 M5 Ultra Mac Studio（各 512GB 统一内存、1.2TB/s 带宽）组成约 1TB 的统一内存池，通过最新版 MLX 的分布式推理运行。
基本步骤：
- 两台 Mac 均安装最新版
mlx与mlx-lm：pip install -U mlx mlx-lm - 用雷雳线直连两台机器，并配置免密 SSH
- 在 Hugging Face 选择 MLX 4-bit 转换版本
- 按 Apple 的 MLX 分布式推理文档，用
mlx.launch在两台机器上启动推理
macOS 默认限制 GPU 可占用的统一内存比例。运行超大模型前通常需要调高该上限，例如：
sudo sysctl iogpu.wired_limit_mb=480000该设置重启后失效，数值需根据实际内存调整，并为系统保留足够余量。
少量显卡：llama.cpp
Hugging Face 上已有社区制作的 GGUF 量化版本，可用于 llama.cpp、Ollama、LM Studio 和 Jan。MoE 模型适合把专家层放到系统内存、注意力层留在显卡上：
llama-server -m Muse-Spark-Open-Q2_K.gguf \
-c 32768 --n-gpu-layers 99 \
--override-tensor "exps=CPU"文件名以实际下载的量化版本为准。这种方式速度受系统内存带宽限制，桌面平台通常只有每秒几个 token。
Docker
docker model run hf.co/meta-models/Muse-Spark-Open-816B-A42B推理参数
官方推荐 temperature=1.0、top_p=1.0，并通过 reasoning_effort 或 chat_template_kwargs 设置推理强度（low / medium / high / xhigh）。降低推理强度可明显缩短响应时间。
FAQ
Q.一台 Mac Studio 能运行 Muse Spark Open 吗？
A.单台 512GB 的 Mac Studio 装不下 4-bit 权重（约 490GB）及其运行开销，需要 3-bit 及以下的激进量化，质量会明显下降。官方演示使用两台 M5 Ultra Mac Studio。
Q.消费级显卡能运行吗？
A.单张 RTX 4090 或 5090 只能配合大容量系统内存做 CPU 卸载，速度通常在每秒几个 token 以下，更适合体验而非日常使用。