低價挑戰英偉達！?傳奇芯片大師吉姆·凱勒曝設計關鍵：舍棄HBM
2024-07-16 12:01:26 technews（臺）Jim Keller 目前在 AI 芯片初創公司 Tenstorrent 擔任首席執行官。他認為，很多市場都沒得到 NVIDIA 很好的服務，隨著 AI 應用擴展到智能手機、電動車和云服務，越來越多公司正尋找更便宜的解決方案，有很多小公司不愿為 NVIDIA 高階 GPU 支付 2 萬美元。
Jim Keller 在芯片設計界享有盛譽，也是 AMD Zen 系列的首席設計師，許多人認為這幫助 AMD 東山再起、奮力追趕上英特爾。此外，他也是開發特斯拉自駕軟件Autopilot芯片組的重要人物。
日本人工智能獨角獸公司 Preferred Networks 運算架構部門副總裁兼技術長 Junichiro Makino 形容，「他（Jim Keller）簡直就是一個傳奇」。
Tenstorrent 成立于2016年，準備今年底出售第二代多用途AI芯片。該公司聲稱，它在某些領域擁有比英偉達 AI GPU 更高的能效和處理效率。此外，其Galaxy系統比英偉達DGX效率高三倍，價格更是便宜33%。
Keller 指出，之所以能做到這點，是因為 Tenstorrent 沒使用高帶寬內存（HBM），「即使是使用 HBM 的人，也在為成本以及構建 HBM 所需的設計時間而掙扎，因此決定不使用該技術」。
HBM 是生成式 AI 芯片的重要組成，在 NVIDIA 產品成功中發揮重要作用，然而這也是 AI 芯片能耗巨大、價格高昂的罪魁禍首之一。
在典型的人工智能芯片組中，GPU 每次執行進程時向存儲器發送數據，這需要 HBM 高速數據傳輸能力。然而，Tenstorrent 專門設計自己的芯片，以大幅減少這種傳輸。Keller 指出，有了這種新方法，其公司芯片設計可在 AI 開發的某些領域取代 GPU 和 HBM。
此外，Tenstorrent 還在設計產品以盡可能實現成本效益，目前許多公司也在尋求更好的內存解決方案，但 Keller 也坦承，要顛覆龐大的現有 HBM 產業，還需要數年時間。他也預期，與其只由一間公司取代英偉達，不如涌現更多新公司，填補美國公司未涉足的各種人工智能市場。
Tentorrent 芯片主要特點是 100 多個核心中，每個核心都有小型 CPU，即「大腦中的微型大腦」。通常情況下，單個芯片核心只有一個小型電腦和內存，只負責解決一個給定的任務，但 Tenstorrent 的核心能獨立「思考」，決定先處理哪些數據，或者放棄不必要的任務，從而提高整體效率。
Tentorrent指出，由于每個核心都相對獨立，可將更多或更少核心堆棧，使應用更廣泛。例如，智能手機或可穿戴設備只需少量芯片即可，而 AI 數據中心可將 100 個芯片組合在一起使用，使用上也更加靈活。Keller 指出，目前還無法預測 AI 最佳應用是什么，因此公司策略是打造適合各種產品的技術。
