テックニュース
蘋果稱 M5 Ultra Mac Studio 可承載 4,800 億參數模型,叢集上看 1.6 兆
蘋果地端 AI 能力矩陣列出從 iPhone 到 Mac 叢集可支援的模型規模;M5 Ultra Mac Studio 單機上看 4,800 億參數,多機叢集則達 1.6 兆。實際運作仍受記憶體容量、頻寬與模型最佳化程度影響。
蘋果地端 AI 能力矩陣列出從 iPhone 到 Mac 叢集可支援的模型規模;M5 Ultra Mac Studio 單機上看 4,800 億參數,多機叢集則達 1.6 兆。實際運作仍受記憶體容量、頻寬與模型最佳化程度影響。
Bonsai-27B 示範不需連線雲端推理,但手機記憶體仍限制可載入的模型,不能據此推論所有大型模型都能順暢運作。