全球瘋AI，要能應用，還得同步有算力與資料。主流廠商NVIDIA、AMD、Qualcomm、Intel、Apple等各家常見的數字單位TOPS究竟是在衡量什麼？數位時代創新長黃亮崢James，邀約派仕科技產品與技術總監蔣鐙緯Ernest，解析現代AI算力的衡量單位，並說明在消費級產品AI算力意義。
TOPS是Tera Operations Per Second的縮寫，1TOPS代表處理器每秒鐘可進行一萬億次（10的12次方）操作（可先簡化為加減乘除來思考）。
TFLOPS（TeraFLOPS, Tera Floating-point Operations Per Second）等於每秒一萬億次的浮點運算（更精確、更複雜的運算方式，尤其適用於科學運算領域）。
人工智慧的應用中，訓練模型和推理過程都需要大量複雜的矩陣運算，其中訓練模型更依賴數據中心的大型硬體算力，TFLOPS和TOPS都是衡量硬體的運算能力的關鍵指標。推理應用更集中在終端消費性產品，例如電腦、筆電或手機，TOPS已經成為產業共識的衡量指標，也是各家晶片、硬體廠商比拼的重點。
目前，微軟所推出的CoPilot+PC最低要求在40TOPS的算力，蘋果將在秋季正式上線的Apple Intelligence則需要在M1晶片（Mac 2020-）或A17晶片（iPhone 15 Pro/Max）以後的晶片才能運行，其最低TOPS數反而只需11TOPS（M1），但最低要求的記憶體（8G）反而成為運行關鍵。
儘管TOPS是衡量AI運算能力的重要指標，但它並非唯一參考依據。電腦、手機的AI性能其實還受到記憶體頻寬、儲存速度、作業系統與軟體最佳化等多方影響，也另外會受到功耗、散熱等硬體約束的限制。多數廠商目前所公布的TOPS提供的只是理論或實測的最大值，目前業界其實還沒有統一的TOPS運算標準，單純追求數字大小並沒有意義。但在可見的未來，TOPS會繼續在人工智慧、高性能運算應用和產業中扮演重要的衡量指標。
Powered by Firstory Hosting