~5m27:09J’évalue le DGX Spark sur un workflow AI Engineer complet: Mistral 3, Unsloth, vLLM [ASUS Ascent GX]
2026年1月7日
Read: ~4m · You save: 23 min
在完整AI工程师工作流中评测DGX Spark:Mistral 3、Unsloth、vLLM(华硕Ascent GX10)
DGX Spark真的能帮AI工程师更快交付可靠系统吗?基于华硕GX10,完整测试Ministral 3、Unsloth GRPO微调、量化与推理。
本次评估旨在测试 NVIDIA DGX Spark(采用华硕 Ascent GX10 方案)是否能让 AI 工程师更快地交付可靠的 AI 系统。测试涵盖完整的项目周期:微调、量化、推理,以及集成到对话式界面中。作者从华硕和 NVIDIA 处借用了该设备,并声明其未因本次评估获得任何报酬。
DGX Spark 的背景与定位
DGX Spark 是一款基于 NVIDIA Grace Blackwell 架构的紧凑型桌面系统。上市之初,它引发了广泛关注,但市场反响平平。作者将此归因于评测只关注 token 速度。与消费级 RTX GPU 相比,DGX Spark 的性价比较低。
作者认为,DGX Spark 并非为发烧友设计,而是面向以下类型的开发者:
- 优化模型的人
- 开发智能体的人
- 在接近生产环境中处理完整流水线的人
目标用户画像
作者列举了三类用户画像:
- Lilia,一家大公司的应用工程师。她主要基于云服务和专有模型构建 LLM 应用,使用 RAG、长链路和业务助手等技术。她正在评估开源模型与微调方案。
- Théo,一家小型 AI 实验室的研究员。他使用开放权重模型,算力有限,且没有时间或兴趣处理 DevOps。他需要一个稳定且内存充足的平台,以便端到端地训练、适配和评估模型。
- Guillaume,一名在配备 RTX 显卡的个人电脑上本地运行模型的发烧友。既然 RTX 显卡性价比更高,他质疑 NVIDIA 为何还要推出 DGX Spark。
工程师角色的变化
早期的 AI 工程主要围绕三个步骤展开:选择模型、优化提示词,以及通过 RAG 补充上下文,有时还会采用思维链提示。优化主要在两个层面进行:模型知道什么,以及模型如何表现。这些方法对简单的应用场景已经足够,但多步骤、领域特定的任务和工具调用暴露出了它们的局限性。
到 2025 年,关注点已从模型本身转向模型周围的系统。工程师现在需要设计能够以下能力的系统:
- 规划
- 推理
- 自我评估
- 保持可控
三年前,作者推荐使用 GPT 或 Claude 等专有模型,主要出于战略考虑:交付快、风险低、平台成熟。如今,Mistral 等开放权重模型,以及近期的 DeepSeek,使开源方案成为可信的选择。微调、优化和模型控制已从高级选项转变为核心技能。
作者目前使用 OpenAI、Mistral 和超大规模云厂商提供的 API。他认为这些平台是快速集成模型的最佳选择。其局限性在于,当工程师需要更深层次的控制时便会显现出来。在单一实验室的 API 内,团队难以将一个模型家族的推理模型与另一个家族的专用模型结合使用。这也限制了对 DeepSeek、Gemma 或 Qwen 等模型的测试,以及对 vLLM 或 NVIDIA NeMo 等企业级运行时的访问,而这些运行时对于精细的性能和成本调优至关重要。
作者明确提出的需求是:可复现的多 LLM 智能体系统,且其在开发环境与生产环境中的表现保持一致。
具体情境中的性能
作者指出,性能取决于具体的应用场景,并列举了四个维度:延迟、负载、功耗和稳定性。他举了一个例子:DGX Spark 可以在 9 天内、花费不到 100 美元训练出 nanochat,这是一个完整的 GPT-2 级别模型。
DGX Spark 包含以下特性:
- 4 位浮点格式
- 稀疏矩阵的优化处理
- 128 GB 统一内存
作者指出,这些设计选择直接影响生成阶段。
作者将 AI 工程师的需求概括为:
- 从开发到生产的可复现性
- 自由选择模型
- 获取开源创新成果
- 在产业化之前进行测试的能力
- 理解权衡取舍
在他看来,DGX Spark 是一个切实可行的开发环境。它既不是高性能桌面机,也不是预生产服务器。它真实地暴露了 Grace Blackwell 架构的实际约束,并提供了通往 NVIDIA 企业级生态系统的途径。
模型:Ministral 3
Mistral 发布了其 Ministral 系列的第 3 版。该系列专为边缘部署而设计,注重性能与成本的比率,并为智能体系统提供稳健的函数调用能力。主要特点如下:
- 许可证: Apache 2.0(开放权重)
- 规模: 30 亿、80 亿和 140 亿参数
- 变体: 每种规模包含三个变体,包括指令版和推理版,共九个模型
- 能力: 多模态与多语言
- 可用性: Hugging Face
Mistral 和 Ministral 3 是在上一代 NVIDIA Hopper GPU 上训练的。NVIDIA 与 Mistral、Ollama 和 llama.cpp 合作,使其软件能够受益于 DGX Spark 上已可用的加速功能。
环境验证
第一步验证了硬件和软件环境。NVIDIA 的 playbooks 运行无误。随后,作者运行了以下内容:
- 使用 Ollama 和 Open WebUI 运行 Mistral Large 2。128 GB 统一内存处理该模型没有任何问题。
- 对 GPT-OSS 进行 llama.cpp 基准测试。作者将结果与网上公布的数据进行了比较。
- 在 NGC(NVIDIA 官方容器目录)提供的 vLLM 容器中运行 Ministral 3。同样运行正常,没有任何问题。
推理基准指标
基准测试报告两个数值:
- TTFT(Time to First Token,首词元延迟): 预填充阶段。提示词经过 Transformer 各层,并填充 KV 缓存。KV 缓存存储已计算过的数值,使模型无需为每个生成的词元重新计算。
- TPOT(Time Per Output Token,每输出词元耗时): 解码阶段。模型逐个生成词元,每个词元都要经过其各层计算。
与 RTX 的结果相比,DGX Spark 的 TTFT 表现相对较强,而 TPOT 则较弱。作者将此归因于 NVIDIA 的设计取舍:NVIDIA 优先考虑加载超大模型,而非生成速度。内存带宽限制为 273 GB/s,这是 CPU 与 GPU 共享统一内存的直接结果。
作者报告称,DGX Spark 的性能比最新一代 RTX GPU 低四到五倍。他将此描述为一种刻意的权衡,目的是能够实验那些其他设备无法加载的超大模型。
DGX Spark 配备了 NVIDIA ConnectX 网络接口。两台 Spark 可以互连,以加载最多 4050 亿参数的模型。作者计划在两台设备上测试 Mistral Large 3,这是一个拥有 510 亿活跃参数的混合专家(MoE)模型。
作者还指出,Ministral 3 的表现明显低于 GPT-OSS-20B,后者得益于 4 位浮点格式。他的结论是,模型必须经过优化,才能充分利用硬件加速。
使用 GRPO 和 Unsloth 进行微调
作者的目标并非刷榜。而是将模型的行为适配到特定场景,例如客户项目中的应用。他指出,在实际条件下,一个较新的模型可以在本地不到一小时内完成适配。
微调并不等同于重新训练模型。它通过有针对性的示例来约束模型行为,从而提升鲁棒性、回答一致性或对特定逻辑的遵循程度。
方法:GRPO
作者使用 GRPO(Group Relative Policy Optimization,群体相对策略优化),这是一种由 DeepSeek 推广的强化学习变体,适用于推理和结构化生成任务。它比标准的 RLHF 流程更轻量,因此在 DGX Spark 上具有实用性。
该方法的工作流程如下:
- 模型生成多个候选解决方案。
- 将这些解决方案相互比较。
- 对最有效的解决方案进行强化。
示例任务是训练 Ministral 3 生成实现优化数独求解策略的 Python 代码。作者选择这一任务,是因为其推理过程是显式的,输出结果可量化,并且各种策略可以被客观地比较。
工具:Unsloth
Unsloth 是一个基于 PyTorch 和 Transformers 构建的微调工具包。其主要优势在于通过 LoRA(Low-Rank Adaptation,低秩适配)实现优化的微调。
LoRA 不会重新训练模型的全部权重。它会在选定的关键层中添加小型适配矩阵。预训练权重保持冻结,只训练轻量级的适配器。其结果是:
- 显存占用更低
- 训练速度更快
- 可在单块 GPU 上完成微调
Unsloth 基于 Transformers 生态中的 PEFT(Parameter-Efficient Fine-Tuning,参数高效微调)构建。它可以自动化训练过程,以及将适配后的权重与基础模型进行最终合并。
作者选择 Unsloth,是因为它在恰当的时间已经就绪。Unsloth 为主流推理引擎发布了 Ministral 3 的量化版本,并提供了一个在 Ministral 3 上实现 GRPO 的 notebook。作者以该 notebook 为基础进行测试,并针对 NVIDIA 官方镜像进行了改编。
结果
在 DGX Spark 上,对 Ministral 3 进行完整微调耗时约 45 分钟。作者将其描述为一个快速且贴近实际的迭代周期,符合 AI 工程师的工作流程。他指出,此类测试通常难以在云端搭建,重复执行成本高昂,或者在定制基础设施上难以稳定运行。
量化与推理引擎
版本限制
Unsloth 的最新版本依赖于 Transformers 5,而在测试期间它仍处于候选发布(release candidate)阶段。运行 Transformers 5 的模型需要 vLLM 0.12。NVIDIA 最新的官方 vLLM 容器提供的版本是 0.11。
作者不想从源代码编译 vLLM。他选择了 llama.cpp,这是他之前已在 DGX Spark 上编译并验证过的工具。使用 llama.cpp 需要将模型转换为 GGUF 格式,这一过程也使得量化步骤得以实现。
量化
量化会降低模型权重的数值精度,例如从 FP16 降至 8 位或 4 位格式。其目标是降低内存占用、加快推理速度并提高能效。
作者在此步骤中使用了 llama.cpp,因为它是生成 GGUF 等量化格式最可靠的工具之一。它还便于测试性能与质量之间的权衡。
推理引擎
推理引擎是控制以下内容的软件层:
- 权重如何加载
- KV 缓存如何管理
- 请求如何批处理
- 如何利用硬件加速
作者指出,推理引擎在运行需求上与 Ollama 或 LM Studio 等本地工具有所不同。
在 DGX Spark 上,可选的引擎包括:
- vLLM
- TensorRT-LLM
- NVIDIA NIM
作者原本更倾向于 vLLM,他将其描述为企业环境的参考标准。他经过微调的 Ministral 3 需要较新的版本,而在测试时 NVIDIA 的目录中并不提供该版本。因此他改用了 llama.cpp。他指出,维护 llama.cpp 的社区正在积极为 DGX Spark 对其进行优化。
vLLM 与 llama.cpp 对比
- vLLM 在高并发下提供 LLM 服务。GPU 和内存是动态管理的共享资源。它包含先进的 KV 缓存管理功能,并可与 Kubernetes 等编排工具集成。它旨在同时服务数十乃至数百个请求。
- llama.cpp 面向单用户本地推理。它针对在一块或多块高速 GPU 上供一名用户使用进行了优化。它不需要编排或并发内存管理,因此不太适合共享的、可扩展的部署场景。
作者认为,DGX Spark 凭借其统一内存和大容量 RAM,适合 vLLM 等能够优化并发内存访问与 GPU 共享的引擎。
界面验证
作者将经过微调的 Ministral 3 3B Instruct 模型连接到 Open WebUI,这是一个开源的对话式界面。Open WebUI 提供了许多类似 ChatGPT 的功能,并可连接到 Ollama、llama.cpp 和 vLLM 等推理引擎。
此次验证属于功能性验证,而非完整评估。作者将微调后的模型与同等规模的官方 Mistral 模型(指令版和推理版)进行了比较。测试任务与训练任务保持一致:用 Python 生成数独求解策略。随后,作者将生成的算法与 ChatGPT 生成的算法进行了对比。
结果如下:
- 微调后的模型很快生成了一个算法。该算法基本合理,但包含一些错误。
- 标准模型未能生成可与之相比的结果。
作者的结论是:从微调到对话式应用的整个流程已经完成。
工作流程概述
作者表示,该工作流程遇到了若干问题。他将其归因于自己有意使用的部分软件方案尚不成熟。他认为这是一个预料之中的结果,因为此次测试的目的在于验证能否在工业级技术栈上完成完整的项目生命周期,同时保留测试开源优化方案的自由度。
对照测试目标的评估
作者评估了三个问题。
1. 能否在不走捷径的情况下完成完整的项目周期? 能。作者完成了一个完整的闭环:模型适配、量化、推理,以及在对话界面中的功能测试。他能够进行实验、破坏组件、修复问题,并不断重复这一过程。
2. DGX Spark 能否提升工程自由度? 能。作者表示,他不受限于某一个模型提供商、某一个 API,也不受强加的抽象层约束。在 DGX Spark 上,他可以在同一个地方使用、比较并优化开放权重模型,选择推理引擎,并在需要时进行底层操作。他还能使用 NVIDIA 的企业级软件栈。作者指出,这种组合在云端无法实现,或只能付出巨大努力才能做到。
3. DGX Spark 能否加快交付速度? 根据作者的说法,可以。原因并不在于原始算力的速度。作者表示,他不会被阻塞,因为他理解整个工作流程,并能在需要时更换工具。
作者的结论是,DGX Spark 并不会取代云端,而是对云端形成补充。它使工程师能够在本地准备解决方案,并在规模化之前完成验证。
评估
作者认为,DGX Spark 具备以下优势:
- 能够使用为未来数据中心设计的架构,个人工程师可以在主要 AI 实验室获得该架构的同时使用它。作者指出,Ministral 3 是在 Hopper 上训练的,而他所用的是 Blackwell。
- 以约 3,000 欧元的价格提供硬件与软件价值。华硕 Ascent GX10 的价格比 DGX Spark 便宜约 1,000 欧元。作者表示,考虑到其硬件与软件栈,很难在这个价位提供更多价值。
建议
- 对于Lilia(一位依赖云服务的应用工程师),DGX Spark 被视为迈向更高级工程实践的入门选择。
- 对于Théo(一位从事开放权重模型研究、没有基础设施团队或数据中心的研究人员),作者认为 DGX Spark 是一个很有力的选项。
- 对于Guillaume,作者的评估意味着,当原始推理速度和性价比是首要考虑因素时,RTX GPU 仍然是更好的选择。
作者表示,他原本并未将 DGX Spark 纳入预算,但预计会保留该设备以进行进一步测试,除非华硕同意延长借用期限。
引言与背景
DGX Spark 被介绍为 NVIDIA 基于 Grace Blackwell 打造的紧凑型桌面超级计算机。核心问题是它是否真的能让 AI 工程师更快地交付可靠的系统。创作者表示,该设备由 ASUS 和 NVIDIA 出借,他并未获得报酬,并且可以自由表达自己的观点。
- ASUS Ascent GX10 是 ASUS 对 NVIDIA DGX Spark 的整合版本,被描述为基于 Grace Blackwell 架构的桌面超级计算机。
- 核心问题是这台机器能否让 AI 工程师更快地交付可靠的 AI 系统。
- 测试使用最新的 Mistral 模型 Ministral 3,并完整跟进一个项目,从微调到集成到对话界面中。
- 创作者声明 ASUS 和 NVIDIA 出借了这台机器,他并未因此次评测获得报酬,并且在评论中拥有言论自由。
- DGX Spark 发布时反响平平,因为人们常常仅以推理速度来评判它,而这忽略了它的真正用途。
- 与消费级 RTX GPU 相比,它的性价比明显不占优势。
DGX Spark 的定位与视频结构
DGX Spark 面向那些优化模型、开发智能体并在接近生产环境中运行流水线的 AI 构建者。视频分为三个部分:AI 工程师工作的演变、实际工作流测试,以及最终结论。
- DGX Spark 专为优化模型、开发智能体以及在类生产环境中处理完整流水线的构建者设计。
- 第一部分介绍 AI 工程师工作的演变,以及 2026 年新出现的需求。
- 第二部分是完整的工作流测试,涵盖微调、量化以及使用最新发布的 Mistral 模型进行推理。
- 第三部分是结论:NVIDIA 是否达成了其目标、创作者对 ASUS Ascent 的看法,以及这台机器适合哪些人。
- 创作者表示,他从未在自己的频道上展示过本视频中使用的部分工具和实践方法。
目标受众画像
介绍了三类受众画像:Lilia,一家大公司的应用工程师,主要使用云端和专有大模型;Théo,小型AI实验室的研究员,使用开放权重模型,算力有限;Guillaume,一名爱好者,使用消费级RTX显卡,并想知道为什么需要Spark。
- Lilia是一家大公司的应用工程师,主要借助云服务和专有模型开发LLM应用,使用RAG、长链路和业务助手。
- 随着内部模型、智能体和微调变得触手可及,Lilia开始探索开源,并询问如何发展自己的实践和职业生涯。
- Théo是小型AI实验室的研究员,使用开放权重模型,算力有限,且没有时间或意愿处理DevOps。
- Théo需要一个稳定且内存充足的平台,以便端到端地训练、调整和评估模型。
- Guillaume是一名爱好者,已经在RTX显卡上本地运行模型,并认为RTX GPU的性价比优于Spark。
- 创作者的核心问题是:DGX Spark能否被忽略而不感到遗憾,还是说它属于人们会后悔没有早点购买的那类机器。
AI工程师工作的演变
创作者解释说,AI工程师的需求与爱好者不同,工作重心已经从提示词和RAG调优转向系统设计。优化的对象从模型转向其周围的系统,包括规划、推理和自我评估。
- 对于AI工程师而言,原始速度并不是首要解决的问题;获得合适的工作环境更为重要。
- 创作者表示,他从未考虑过购买RTX显卡或升级MacBook来运行本地推理。
- 早期的应用工程工作主要包括选择模型、调整提示词、添加RAG,有时使用思维链,并期望它在生产环境中能够正常运行。
- 优化发生在两个层面:模型需要知道什么,以及它应该如何表现。
- 简单任务表现尚可,但多步骤、业务类和工具调用类任务很快暴露出局限性。
- 到2025年,问题不再只是模型本身,而是其周围的系统。工程师必须设计能够规划、推理、自我评估并保持可控的系统。
- 重心已从优化模型转移到优化系统。
封闭 API 的局限与向开源的转变
三年前,作者出于战略考虑推荐使用专有模型。如今,Mistral 和 DeepSeek 等严肃的开源权重替代方案使开源成为可靠选择,微调和模型掌握已成为核心技能。封闭 API 在快速集成方面依然高效,但会限制更深层次的控制。
- 三年前,作者推荐使用 GPT 或 Claude 等专有模型,因其交付速度快、风险较低且平台成熟。
- Mistral 等严肃的开源权重替代方案,以及近期的 DeepSeek,使开源成为一个可靠的选择,而非一场赌博。
- 微调、优化和模型掌握不再是高级选项,而是核心技能。
- 作者目前主要使用 OpenAI、Mistral 和超大规模云服务商(hyperscalers)的 API,他认为这是将模型快速集成到产品中的最佳选择。
- 封闭实验室的 API 会将用户锁定在单一模型系列中,难以组合使用,例如将一家实验室的推理模型与另一家的专用模型结合。
- 这种锁定限制了对 DeepSeek、Gemma 或 Qwen 等新方案的测试,也限制了对 vLLM 或 NVIDIA NeMo 等企业级运行时的使用,而这些运行时可用于精细的性能和成本调优。
- 作者希望在开发与生产环境之间,在可复现的条件下构建复杂的多 LLM 智能体系统。
性能背景与架构
NVIDIA 将 DGX Spark 定位为一种紧凑、安静的设备,让众多开发者能够接触其企业级生态系统。性能取决于延迟、负载、能耗和稳定性等具体情境,若没有明确目标,比较就会产生误导。该架构包含 4 位浮点格式、稀疏矩阵处理以及 128 GB 统一内存。
- DGX Spark 以紧凑、静音且高效的形式,让更多人能够使用 NVIDIA 的企业级生态系统。
- 创作者希望找出适合客户的最佳模型,必要时进行调整,并快速验证其集成效果。
- DGX Spark 还便于探索 NVIDIA 的架构创新以及开源社区的架构创新。
- 性能取决于使用情境:延迟、负载、能耗和稳定性。
- DGX Spark 可以在 9 天内以不到 10 美元的成本训练 nanochat,这是一个完整的开源 GPT-2 级别模型。
- 该架构引入了新的 4 位浮点格式、优化的稀疏矩阵处理以及 128 GB 统一内存。
- 这些设计选择直接影响生成阶段。
- 创作者认为,LLM 的性能应基于为负载和效率而构建的系统(如数据中心)来评判,而不是基于游戏机。
Ministral 3模型系列
Mistral的Ministral 3系列模型已发布:这是一组开放权重模型,专注于性价比和稳健的函数调用能力,适用于智能体系统。该系列共有三种规模,每种规模包含三个变体,总计九个模型。它们支持多模态和多语言,并可在Hugging Face上获取。Mistral与Ministral 3均使用NVIDIA Hopper GPU进行训练。
- Ministral 3是Mistral以Apache 2.0许可证发布的一系列开放权重模型。
- Ministral 3有三种规模:30亿、80亿和140亿参数。
- 每种规模包含三个变体:基础版、指令版和推理版,共九个模型。
- 这些模型支持多模态和多语言,并可在Hugging Face上获取。
- Ministral 3的设计重点是性价比和适用于智能体系统的稳健函数调用能力。
- Mistral与Ministral 3均使用NVIDIA Hopper GPU训练,该GPU是NVIDIA的上一代产品。
- NVIDIA与Mistral、Ollama和llama.cpp密切合作,使其解决方案能够受益于Spark上已有的加速功能。
需求与测试范围总结
创作者总结了AI工程师的需求:从开发到生产的可复现性、模型选择的自由、获取开源创新的能力,以及在产业化之前进行测试的能力。DGX Spark是一个现实的开发环境,既不是高端台式机,也不是预生产服务器。
- AI工程师需要从开发到生产的可复现性、模型选择的自由、获取开源创新的途径、在产业化之前进行测试的能力,以及对权衡取舍的理解。
- DGX Spark是一个现实的开发环境,而不是高性能台式机或预生产服务器。
- 它呈现了Grace Blackwell架构带来的真实限制,同时提供了对NVIDIA完整企业生态系统的访问。
- NVIDIA为DGX Spark提出的价值主张是将实验与生产连接起来。
- 测试工作流程包括对非常新的模型进行微调、量化和推理,而不是简单地浏览机主的功能。
环境验证与初步基准测试
创作者首先验证环境是否正常工作。NVIDIA 的 playbooks 运行顺畅,得益于 128 GB 统一内存,Mistral Large 2 可以通过 Ollama 和 Open WebUI 运行。基准测试使用 llama.cpp 在 gpt-oss 上完成,Ministral 3 则在 NVIDIA NGC 的 vLLM 容器中进行了测试。
- NVIDIA 提供的 playbooks 运行完美,被用作第一步验证。
- 创作者使用 Ollama 和 Open WebUI 运行了 Mistral Large 2,得益于 128 GB 统一内存,运行没有任何问题。
- 基准测试使用 llama.cpp 在 gpt-oss 上进行,并将结果与网上找到的数据进行了比较。
- Ministral 3 在 NGC 上提供的 vLLM 容器中进行了测试,NGC 是 NVIDIA 的官方容器目录。
- 这些测试中没有报告任何问题。
理解基准测试
基准测试报告两个指标:预填充阶段的首词元时间(TTFT)和解码阶段的每输出词元时间(TPOT)。Spark 的 TTFT 表现出色,但生成速度较慢,这是一种由 273 GB/s 内存带宽所决定的有意架构选择。它可以运行超大模型,若使用两台 Spark 连接,最多可支持 4050 亿参数。
- 第一个基准指标是 TTFT(首词元时间),涵盖预填充阶段:将提示词通过 Transformer 层处理并加载 KV 缓存。
- KV 缓存让模型记住已经计算过的内容,从而避免为每个生成的词元重复计算。
- 第二个指标是 TPOT(每输出词元时间),涵盖解码或生成阶段。
- 与 RTX 的结果相比,Spark 的 TTFT 相对于其 TPOT 表现要好得多。
- NVIDIA 优先考虑加载超大模型,而非生成速度,且内存带宽限制为 273 GB/s。
- 与 CPU 共享的统一内存是造成这一带宽限制的直接原因。
- Spark 配备 NVIDIA ConnectX 网络接口和 NVLink,可将两台 Spark 连接起来,加载最多 4050 亿参数的模型。
- 创作者希望在两台 Spark 上测试 Mistral Large 3,这是一个拥有 510 亿活跃参数的混合专家模型。
性能权衡
DGX Spark 以原始性能换取内存容量。其性能大约比最新一代 RTX 低四到五倍,这是有意为之的设计。它的定位是实验、原型开发和优化研究,而非追求最高推理性能。在 Spark 上,Ministral 3 的表现也远低于 gpt-oss-20B,这说明了模型端优化的价值。
- DGX Spark 的原始性能较弱,这是一项有意的设计选择。
- 统一内存使得在其他设备上无法加载的超大模型也能进行实验。
- 其性能比最新一代 RTX GPU 低四到五倍。
- Spark 的设计目标是实验、原型开发和优化研究,而非追求最高推理性能。
- Ministral 3 在 Spark 上的性能远低于 gpt-oss-20B,后者已经受益于 4 位浮点格式。
- 结果表明,模型必须经过优化才能充分利用硬件加速。
微调目标与方法
创作者的目标不是刷新基准测试成绩,而是让模型的行为适应特定场景,例如客户项目。他称,较新的模型可以在本地一小时内完成适配。微调被定义为通过有针对性的示例约束模型行为,而非重新训练,并选择使用 Unsloth 的 GRPO 方法。
- 目标是让模型的行为适应特定用例,例如真实的客户项目,而不是刷新基准测试成绩。
- 创作者称,在现实条件下,较新的模型可以在本地一小时内完成适配。
- 微调是指通过有针对性的示例约束模型行为,以提升稳健性、响应一致性以及遵循特定逻辑的能力,而不是重新训练。
- 所使用的算法是 Unsloth 的 GRPO。
- GRPO 由 DeepSeek 推广开来,适合推理和结构化生成类任务。
- GRPO 比经典的 RLHF 流程更轻量,因此在 DGX Spark 上具有实用性。
Unsloth 与 LoRA
Unsloth 被定位为一个基于 PyTorch 和 Transformers 构建的微调工具箱。其主要优势是经过优化的 LoRA 微调,即只训练小型适配器矩阵,而不是全部权重。它自动完成训练,并将适配后的权重合并到基础模型中。之所以选用它,是因为它在合适的时机已经准备就绪。
- Unsloth 是一个基于 PyTorch 和 Transformers 构建的微调工具箱。
- 其主要优势是通过 LoRA(低秩适应)实现经过优化的微调。
- LoRA 会在关键层中添加一个小型适配矩阵,只训练这些轻量级适配器,同时保持预训练权重不变。
- LoRA 可以减少内存占用、加快训练速度,并使单 GPU 微调成为可能。
- Unsloth 使用 Transformers 生态系统中的 PEFT(参数高效微调)机制,并自动完成训练以及将适配后的权重与基础模型合并。
- Ministral 3 的发布与 Unsloth 合作完成,Unsloth 发布了面向主流推理引擎的量化版本,以及一个完整的 Ministral 3 GRPO 笔记本。
- 作者以该笔记本为基础进行测试,并将其改编用于 NVIDIA 的官方镜像。
GRPO 微调流程
GRPO(Group Relative Policy Optimization,群体相对策略优化)是一种较新的类 RLHF 方法。模型生成多个候选解,对这些解进行比较,并强化其中最有效的那些。该演示训练 Ministral 3 编写实现数独求解策略的 Python 代码。在 Spark 上进行一次完整微调大约耗时 45 分钟。
- GRPO 指 Group Relative Policy Optimization(群体相对策略优化),是类 RLHF 方法的一种较新变体。
- GRPO 不是修正单个答案,而是教模型偏好某一种方法而非另一种。
- 模型生成若干解,这些解彼此比较,并强化其中最有效的那些。
- 该演示训练 Ministral 3 在非对话式环境中玩数独。
- 目标是生成实现优化求解策略的 Python 代码。
- 这一任务适合用于教学,因为其推理过程是显式的、输出可以度量,并且策略之间可以进行客观比较。
- 在 Spark 上对 Ministral 3 进行一次完整微调大约耗时 45 分钟。
- 作者表示,这种迭代周期很快、切合实际,并且与 AI 工程师的工作流程相契合,而在云端则很难可靠地运行。
推理兼容性与量化
推理阶段出现了兼容性问题。最新版 Unsloth 所使用的 Transformers 5 当时仍处于候选发布(release candidate)阶段,并且需要 vLLM 0.12。而 NVIDIA 官方的 vLLM 容器版本停留在 0.11,因此创作者转而使用 llama.cpp。他此前已在 Spark 上编译并验证过 llama.cpp,随后将模型转换为 GGUF 格式并进行了量化。
- 最新的 Unsloth 版本依赖 Transformers 5,而在测试期间 Transformers 5 仍处于候选发布状态。
- 使用 Transformers 5 运行模型需要 vLLM 0.12。
- NVIDIA 官方最新的 vLLM 容器版本为 0.11。
- 创作者不想编译完整的 vLLM 版本,因此选择了 llama.cpp,而他此前已在 Spark 上编译并验证过它。
- 使用 llama.cpp 需要将模型转换为 GGUF 格式,转换过程中应用了量化。
- 量化会降低模型权重的数值精度,例如从 FP16 降至 8 位或 4 位,从而减少内存占用、加快推理速度并提高能效。
- 之所以使用 llama.cpp,是因为它目前是生成 GGUF 等量化格式最稳健的工具之一,并且便于快速测试性能与质量之间的权衡。
推理引擎:llama.cpp 与 vLLM
推理引擎是负责加载权重、管理 KV 缓存、通过批处理对请求分组并利用硬件加速的软件层。DGX Spark 支持 vLLM、TensorRT-LLM、llama.cpp 和 NVIDIA NIM 等选项。vLLM 专为高并发和编排而设计,而 llama.cpp 适用于单用户本地推理。
- 推理引擎不是模型本身,而是负责加载权重、管理 KV 缓存、通过批处理对请求分组并利用硬件加速的软件层。
- Ollama 和 LM Studio 等本地工具面临的挑战与企业级推理引擎不同。
- DGX Spark 上的可选方案包括 vLLM、TensorRT-LLM、llama.cpp 和 NVIDIA NIM。
- vLLM 是企业环境的参考方案,但在测试时,NVIDIA 的目录中并未提供所需版本。
- llama.cpp 专为单用户本地推理设计,适用于一块或多块高速 GPU,无需编排或并发内存管理。
- vLLM 旨在同时服务数十或数百个并发请求,具备先进的 KV 缓存管理、PagedAttention 以及与 Kubernetes 等编排器的集成能力。
- DGX Spark 凭借其统一内存以及共享和扩展能力,非常适合 vLLM 等引擎。
Open WebUI 中的功能测试
经过微调和量化的 Ministral 3 模型通过 llama.cpp 提供服务,并接入 Open WebUI。Open WebUI 是一个开源对话界面,类似 ChatGPT,可连接 Ollama、llama.cpp 或 vLLM。该模型在一项数独解题策略任务上与同等规模的官方 Mistral 模型进行了比较。微调后的模型生成了一个还算不错的算法,只有少量漏洞,而标准模型未能做到这一点。
- Open WebUI 是一个开源对话界面,提供许多类似 ChatGPT 的功能,并可连接 Ollama、llama.cpp 或 vLLM 等引擎。
- 该测试是功能验证,而非完整评估。
- 微调模型与同等规模的官方 Mistral 模型(指令版和推理版)进行了比较。
- 任务是用 Python 生成数独解题策略,并将该算法与 ChatGPT 生成的算法进行比较。
- 微调模型很快生成了一个还算不错的算法,但存在一些小漏洞。
- 标准模型在此任务上未能产生可用的结果。
工作流程结果
创作者认为整个周期取得了成功,尽管过程中出现了一些粗糙之处,这些问题源于较新的软件组件。整个工作流程涵盖了适配、量化、推理和对话测试,全部在 Spark 上本地完成,并采用了接近生产环境的技术栈。
- 完整周期在本地完成:微调、量化、推理和对话界面测试。
- 创作者在工作流程中遇到了一些陷阱,这些问题来自他有意使用的部分方案尚不成熟。
- 主要价值在于能够借助工业级技术栈贯穿 AI 项目的完整生命周期,同时保留尝试开源优化的自由。
- 创作者表示该场景是有意设置得较为严苛的:模型刚刚发布,软件栈仍在快速变化,硬件为最新一代,且工具之间尚未完全对齐。
回答三个关键问题
创作者回答了三个问题。完整的项目生命周期能否在不作弊的情况下完成?可以。Spark 能否带来更多自由?可以,因为工程师可以在一个地方使用、比较和优化开放权重模型。它能否让工作更快?可以,因为工程师很少被阻塞,并且可以切换工具,而不是因为机器本身更快。
- 问题 1:能否在不作弊的情况下完成完整的项目生命周期?可以,在对话式界面中完成适配、量化、推理和功能测试。
- 问题 2:工程师是否获得了自由?是的,Spark 消除了对模型提供商、API 或强加抽象层的依赖。
- 在 Spark 上,用户可以在一个地方使用、比较和优化所有开放权重模型,选择推理引擎,并在需要时深入到底层代码。
- 创作者表示,这种自由与完整 NVIDIA 企业级技术栈的结合是他在其他地方无法获得的,同样的工作在云端成本会非常高。
- 问题 3:Spark 能否让工程师更快?可以,因为工程师从不被阻塞,并且可以在需要时更换工具,而不是因为机器更快。
- 创作者认为,DGX Spark 并没有消除复杂性,而是让复杂性变得可以管理。
这台机器适合谁
创作者表示,对于像Lilia这样感到云端限制的工程师,DGX Spark是一个实用的入门途径;对于像Théo这样希望在没有基础设施的情况下研究开放权重模型的研究人员,它也是很强的选择。他承认此前并未将这台机器纳入预算,但如果ASUS允许延长借用时间,他可能会留下它。
- 对于像Lilia这样认为纯云端工作限制了进步的工程师,DGX Spark被描述为通往另一个实践层次的入门跳板。
- 对于像Théo这样的研究人员,在没有基础设施团队或数据中心的情况下研究开放权重模型,创作者认为它可能是最好的选择之一。
- 创作者此前没有把这台机器纳入预算,但认为如果ASUS将其借给他的时间更长,他可能会留下它。
背景、民主化与价格
创作者将DGX Spark视为难得的Grace Blackwell技术早期使用机会。Ministral 3是在Hopper上训练的,而创作者使用的是Blackwell,因此个人AI工程师能够与顶尖实验室同时获得同一级别的硬件。据称ASUS Ascent比DGX Spark便宜约1000欧元,售价约3000欧元。
- DGX Spark搭载了为未来数据中心设计的架构,但个人开发者可以立即使用。
- 这类技术通常要数年后才会普及,而这里却能立即获得。
- Ministral 3是在Hopper上训练的,而创作者使用的是Blackwell。
- 个人AI工程师现在可以同时获得与顶尖实验室相同技术水平的硬件。
- 创作者表示这是真正的技术民主化,而不是营销噱头。
- 据称ASUS Ascent比DGX Spark便宜约1000欧元,售价约3000欧元。
- 结合硬件和软件栈,创作者认为很难提供更好的方案。
最终结论
结论是肯定的:DGX Spark 能够让更可靠的 AI 系统交付得更快,但原因并非它速度快,而是它使严肃的工作成为可能。它是对云端的补充而非替代,并让工程师在大规模部署之前准备好扎实、可被理解的解决方案。
- 结论:DGX Spark 确实能够让更可靠的 AI 系统更快交付。
- 原因不在于速度,而在于它使严肃的工作成为可能。
- DGX Spark 不会取代云端,而是对其进行补充。
- 它让工程师在大规模部署之前准备出稳健、可被理解且可控的解决方案。
- 创作者表示,这正是他希望能早些拥有的机器。
- 他感谢 NVIDIA 和 ASUS 提供的借用设备。