在 Twitter 看到一位 AI 行业的网友分享了这么个 Bilibili 视频:《苹果 M2 Ultra:AI 大模型的新希望》,大意就是:以前用显卡训练 AI 大模型,显存不够大,成了瓶颈;苹果用的是统一内存架构,192GB 的高速存储既能当 CPU 内存也能当 GPU 显存(反正都封装在一颗大芯片里),反而效果特好。
视频作者还用高配 PC 和苹果 Mac Studio 做了 AI 训练的对比,结论是 Mac Studio 速度快 & 耗电省 & 噪音低。感兴趣的可以去看看 https://www.bilibili.com/video/BV1fh4y1M7DX/
题外话,我相信 M2 Ultra 的架构能带来上面说的那些优势(都实机跑对比测试了)。但是我也发现这个视频里的 PC 用的是 3080 显卡,还是有一点儿「胜之不武」。不过 UP 主在视频里、视频下方评论区里也做了说明。