馬斯克開源Grok-1!3140億參數(shù)迄今最大!遠高于 ChatGPT3.5
2024-03-18 12:06:51 EETOP北京時間3月18日早上,馬斯克旗下 AI 初創(chuàng)公司 xAI 宣布,其研發(fā)的大模型Grok-1其大語言模型Grok-1已實現(xiàn)開源,并向公眾開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。
Grok-1是擁有3140億參數(shù)構(gòu)成的混合專家模型,其中25%的參數(shù)能夠針對特定的數(shù)據(jù)單元(Token)激活。遠遠高于ChatGPT 3.5 模型參數(shù)大?。ㄒ话阏J(rèn)為是1750 億)。
xAI 表示,開源的 Grok-1 是 2023 年 10 月結(jié)束的預(yù)訓(xùn)練階段的原始基礎(chǔ)模型檢查點。這意味著該模型不會針對任何特定應(yīng)用(例如對話和對話)進行微調(diào)。GitHub 上提供了權(quán)重和體系結(jié)構(gòu),以及模型入門說明。
該模型在成立后僅 3 個月內(nèi)就由 xAI 從頭開始訓(xùn)練。與一些具有使用限制的開源版本(例如 Gemma 和 Llama)不同,Grok 的開源版本提供了對底層技術(shù)的廣泛訪問。但是,它無法實現(xiàn) Pythia、Bloom 和 OLMo 等模型提供的完全透明性,其中包括訓(xùn)練代碼和用于訓(xùn)練模型的數(shù)據(jù)集。
要下載該模型,用戶可以訪問大約 300GB 并包含 773 個文件的 torrent 文件的磁力鏈接:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
此次發(fā)布正值馬斯克和 OpenAI 之間的緊張關(guān)系日益緊張之際。馬斯克因擔(dān)心 OpenAI 將利潤置于安全之上而于 2018 年離開,他對公司的批評越來越直言不諱。他最近對 OpenAI 提起訴訟,聲稱該公司背棄了其創(chuàng)建開源模式以支持股東優(yōu)先的承諾。
馬斯克還對包括谷歌在內(nèi)的其他人工智能公司持批評態(tài)度。他最近批評了谷歌的 Gemini AI 圖像生成器,因為它產(chǎn)生了歷史上不準(zhǔn)確和誤導(dǎo)性的種族內(nèi)容。
Grok-1 的發(fā)布是馬斯克去年 3 月推出的 xAI 的重要一步。該公司的首款產(chǎn)品 Grok 聊天機器人于 11 月發(fā)布,并在 X(以前稱為 Twitter)上向付費訂閱者開放。馬斯克聲稱該聊天機器人“旨在用一點智慧來回答問題,并且具有叛逆性。”
隨著人工智能領(lǐng)域的快速發(fā)展,像Grok-1這樣的模型的開源可能會產(chǎn)生重大影響(盡管運行該模型需要大量的計算資源)。雖然這肯定是對 OpenAI 的直接抨擊,但看看 AI 社區(qū)如何回應(yīng)這個版本,以及它如何影響圍繞 AI 技術(shù)負(fù)責(zé)任開發(fā)和部署的持續(xù)辯論,這將是一件有趣的事情。
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導(dǎo)體創(chuàng)芯網(wǎng) 快訊
相關(guān)文章