DBRX
 DBRX的螢幕截圖 | |
| 開發者 | Mosaic ML和Databricks團隊 |
|---|---|
| 首次發布 | 2024年3月27日 |
| 原始碼庫 | https://github.com/databricks/dbrx |
| 許可協議 | Databricks Open License |
| 網站 | https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |
DBRX是一個由Databricks的Mosaic ML團隊開發的開源大型語言模型(LLM)，於2024年3月27日釋出[1][2][3]。模型採用專家混合架構的Transformer模型，總參數數量為 1320 億個，其中每個token啟動360億個參數（來自16位專家中4位）[4]。釋出的模型包括基礎模型與經過指令調校的變體[5]。
釋出時，DBRX在語言理解、程式設計能力及數學等多項基準測試中，表現優於其他知名開源模型，如Meta的LLaMA 2、 Mistral AI的 Mixtral以及X AI的Grok 。[4][6][7]
該模型於3072台Nvidia H100上訓練，採用 InfiniBand連接，頻寬達每秒3.2兆位元組，訓練持續約2.5個月，總訓練成本約為1000萬美元[7][1]。
參考資料
[編輯]- ^ 1.0 1.1 Introducing DBRX: A New State-of-the-Art Open LLM. Databricks. 2024-03-27 [2024-03-28] （美國英語）.
- ^ New Databricks open source LLM targets custom development | TechTarget. Business Analytics. [2024-03-28] （英語）.
- ^ Ghoshal, Anirban. Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok. InfoWorld. 2024-03-27 [2024-03-28] （英語）.
- ^ 4.0 4.1 A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores. GIZMOCHINA. 2024-03-28 （英語）.
- ^ Wiggers, Kyle. Databricks spent $10M on new DBRX generative AI model. TechCrunch. 2024-03-27 [2024-03-29] （美國英語）.
- ^ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out... Maeil Business Newspaper. 2024-03-28 [2024-03-28] （英語）.
- ^ 7.0 7.1 Knight, Will. Inside the Creation of the World's Most Powerful Open Source AI Model. Wired. [2024-03-28]. ISSN 1059-1028 （美國英語）.
 | 這是一篇小作品。您可以透過編輯或修訂擴充其內容。 |