苹果发布论文，有望在 iPhone 上运行大模型

据 Macrumors 报道，苹果近日发布了一篇论文，介绍了一种可以解决「在手机内存上运行大模型」的方法。

论文作者指出，移动设备中的闪存存储比传统上用于运行 LLM（大型语言模型）的 RAM 更丰富，他们的方法巧妙地绕过了限制，通过 Windowing 和 Row-Column Bundling 两项关键技术，实现最小化的数据传输和最大化的闪存吞吐量。

Windowing（窗口化）技术，指的是重复使用此前激活过的神经元，以此减少数据传输。

Row-Column Bundling（行列捆绑）技术，指的是针对闪存的数据特征，定制访问数据块的顺序，从而增加从闪存读取的数据块大小。

论文称，该技术允许大模型在 iPhone 可用内存的两倍范围内运行，带来了显著的性能提升，在 CPU 和 GPU 中推理速度分别提升 4-5 倍、20-25 倍。

论文作者在文末写道：「这项突破性技术对于在资源有限的环境中部署高级 LLM 尤其重要，扩大了其适用性和可访问性。」

文章来源：爱范儿