IT之家 3 月 20 日消息,开发者 Dan Woods 近期在一台配备 M3 Max 芯片和 48GB 统一内存的 MacBook Pro 上,成功运行了 209GB 超大 AI 模型(Qwen3.5-397B,通常只有数据中心才能承载),并实现超 5.5 Token / 秒的速度。IT之家援引博文介绍,Qwen3.5-397B 模型占用磁盘空间约为 209GB(压缩后为 120GB),通常需要将数百亿个参数加载到大容量高速内存中,因此远超普通笔记本电脑的内存极限。Woods 为了攻克 48GB 内存无法装载 209GB 模型的物理限制,借鉴了苹果公司在 2023 年发布的论文《闪存中的大语言模型》。该研究提出了一种创新方案:将模型参数存储在高速固态硬盘(NVMe SSD)中,并利用推理成本模型引导,按需将数据以更大、更高效的数据块传输至内存。Woods 指出该方案之所以能成功落地,很大程度上归功于苹果芯片独特的统一内存架构。该架构打破了传统壁垒,允许 CPU、GPU 和内存进行极为紧密的协同工作。同时,Woods 还利用了 Qwen 模型采用的“混合专家(MoE)”架构特性。由于...
