蘋果神經網路演算法 DeepPCR:訓練速度翻倍提升
蘋果公司最新發佈了 DeepPCR 機器學習演算法,這一演算法通過並行處理常規順序操作,極大地加速了神經網路的推理和訓練速度。
提升神經網路訓練速度的突破
「DeepPCR:神經網路中的平行順序操作」:神經網路一直在處理各種複雜任務,從文字或圖片合成到分割和分類等,然而,其運算需求巨大,導致訓練和回饋結果的時間長達數天甚至數週。
挑戰:運算瓶頸及解決方案
©愛瘋日報表示,雖然已廣泛採用平行化技術來加速神經網路的訓練和推理,但部分操作仍然按順序執行,導致計算瓶頸和效率低下。
DeepPCR 演算法的嶄新突破
為解決這一問題,蘋果科學研究團隊推出了 DeepPCR 演算法,採用了平行循環還原(PCR)演算法,將順序運算的成本大幅降低,從而極大地提高了運行速度。
效能提升:驚人的測試結果
該團隊展示了在多層感知器中部署 DeepPCR 演算法後,前向傳遞速度最高提升 30 倍,而向後傳遞速度更達到了驚人的 200 倍。
應用與效果驗證
DeepPCR 演算法已成功應用於深度 ResNet 訓練以及在多個資料集上的擴散模型生成。實驗結果表明,DeepPCR 不僅極大提高了 ResNet 訓練的速度(提高了 7 倍),也大幅加速了擴散模型的創建速度(提高了 11 倍)。