本地大模型硬件的“内存焦虑”似乎又有了一个新选项:Framework 官网被注意到出现了 192GB 内存 SKU。按现有 32/64/128GB 档位的定价逻辑推算,这块主板的单独售价可能接近 4500 美元。不过消息人士称,后部还会开放 PCIe 插槽,或许能额外提供 75W 供电。问题是,这样的容量真的能转化为实际可用的推理性能吗?
容量上去了,带宽还是那道坎
最先被讨论的并不是 192GB 本身,而是它的内存带宽。有网友直接指出:“这个内存带宽挺糟糕的,别指望高推理速度。”具体数值上,有人对比后发现它几乎与 RTX 3050 持平,而后者是六年前发布的入门级显卡。一位用户讽刺道:“多么大的进步啊。”但也有人提醒,这本来就是 Strix Halo 的常态,不算意外,更像是一次“现有 395 处理器的内存扩容刷新版”。
跑大模型的实际感受:得挑模型
有 128GB Strix Halo 用户现身说法:按 token 生成速度来看,自己并不想跑比当前更大的模型——现在用的是 Qwen3.8-Flash-Next,这已经属于“带得动”的范围。另一位补充说,如果目标模型超过 1TB/s 带宽的“舒适区”,大模型会跑得很难看。不过也有观点认为,对于 Qwen3.8 这类中等规模 MoE 模型,192GB 容量其实是个不错的匹配。
带宽不足不是唯一问题:预填充才是硬伤
“但这不是主要问题,预填充速度会让它不可用。”有人直言。内存带宽低意味着长上下文下预填充阶段会非常卡。他们建议,如果真要用,最好成对购买并聚合带宽,但那样总价会高得离谱。也正因为如此,另一位用户表示:“不确定这额外的内存是否值得,毕竟带宽就摆在那。”
真正的卖点:不用被 macOS 绑死
在一片质疑声中,有网友点出了 Framework 这个 SKU 的核心价值:“你不用被迫用 macOS。”对于坚决不用苹果系统、又想本地跑大模型的人来说,这是目前少见的可选路径。也有用户期待下一代全新架构能大幅升级带宽,否则 Apple 会靠内存带宽优势继续拉开差距——尤其他们提到 M7 的带宽还在指数级增长。
更多公司带着自研芯片进入 AI 硬件领域,对市场而言终归是好事。希望这种竞争能把高带宽内存的价格打下来——毕竟现在 64GB 单条内存已经喊到 8000 美元,本地大模型的门槛正在水涨船高。
如果你打算冲着 192GB 去
先别急着下单。建议你先确认自己实际要跑的模型尺寸和量化方式,用类似 Qwen3.8-Flash-Next 这类 MoE 模型做基准测试。注意预填充延迟是否可接受,以及是否愿意为双机数据聚合付出额外成本。如果你只是想要一个“不绑定 macOS 的 192GB 机器”,那这个选项值得关注;但如果你追求的是流畅的生成速度,可能还得再等带宽下一代大升级。