Swiftlet：让 Mac 和 iPhone 原生运行 80B 大模型成为可能

一款名为 Swiftlet 的高性能运行时项目引发了开发者关注。该项目采用 Swift 与 Metal 编写，通过创新的流式加载技术，将 Qwen3-Next 等 80B 参数量级的混合专家模型（MoE）成功运行在 Apple Silicon 设备上，其峰值内存占用大幅降低，甚至支持在 iPhone 17 上原生运行 35B 版本。

Swiftlet 的核心巧妙之处在于其分层存储机制：模型的小型稠密核心常驻内存，而巨大的路由专家权重则动态地按需从 SSD 中流式读取。通过精细的 LFU 缓存策略与定制的 Metal 着色器，Swiftlet 在保证正确性对拍的基础上，将 80B 模型的峰值内存压至 4.3GB 左右，成功打破了本地大模型运行的内存瓶颈。

该项目提供了库、命令行工具及服务器模式等多种接口，并针对长文本处理优化了线性注意力架构。Swiftlet 的开源为本地化 AI 部署提供了新范式，特别是在无需云端服务器的情况下，让普通用户在移动端也能流畅使用高性能大模型，具备极高的实际应用价值。