盤古大模型

盤古大模型

開發者	華為
首次發布	3.0, 2023年7月7日​（2023-07-07）
當前版本	5.0（2024年6月21日​（2024-06-21））
語言	中文、英語、俄語
類型	大型語言模型
許可協議	專有軟體

盤古大模型是華為雲推出的一種人工智慧大模型，該模型在各種領域都有廣泛的應用，已在煤礦、鐵路、氣象、金融、代碼開發、數字內容生成等領域發揮作用。

大型學習語言模型的名稱「盤古」源自中國神話和民間傳說中的盤古，盤古是與創世有關的原始人物。

歷史

早期發展

2023年4月，華為發布論文詳細介紹了盤古-Σ的開發。盤古-Σ是一個擁有1.085萬億個參數的龐大語言模型。該模型基於華為MindSpore 5框架開發，在搭載512顆昇騰910 AI加速器晶片的集群系統上訓練超過100天，處理了40多種自然語言和程式語言的3290億個token。

盤古-Σ 融合了隨機路由專家和變壓器解碼器架構，可輕鬆提取子模型，用於對話、翻譯、代碼生成和自然語言解釋等各種應用。與具有相同超參數的混合專家模型相比，該模型的訓練吞吐量提高了6.3倍。在中文領域，它在零樣本設置下，在6個任務中的表現超越了之前最先進的模型。盤古-Σ 基於40個領域的數據集進行訓練，包括中文、英語、雙語和代碼，在少樣本學習（自然語言處理）、開放領域討論、問答、機器翻譯和代碼編寫方面表現出色。

發動

在2023年7月7日舉行的華為開發者大會上，華為推出盤古大模型3.0，利用華為雲解決方案為政府、金融、製造、採礦和氣象等行業量身定製。次月，華為推出具有人工智慧的智慧助手小藝，可根據用戶語音回復和生成文案，並將用於鴻蒙作業系統4.0所支持的設備。

LLM專為尋求在人工智慧行業中占據優勢的企業而設計，它注重任務執行而不是創造性工作，這與聊天機器人、詩歌和視覺內容創作等用於一般用途的傳統模型不同。

華為的LLM採用與ChatGPT相同的技術，具有分層架構，允許客戶將模型適應各種任務並在自己的數據集上進行訓練，使其適用於各個行業。

更新

2023年8月5日，華為與歐洲中期天氣預報中心合作，推出了一個全球天氣預報AI模型。該模型採用了華為雲解決方案以及基於MindSpore的盤古天氣 模型。該模型可在ECMWF網站上訪問，旨在提供精準的天氣數據。

2023年12月19日，華為宣布面向全球市場推出基於盤古AI金融平台的金融服務。這家科技巨頭在2023年華為雲金融科技峰會上推出了這款產品，旨在以高效的功能重塑數字金融行業，助力全球金融科技公司發展。該平台融合了人工智慧、大數據分析和區塊鏈等多種先進技術。

2024年6月21日，在HDC 2024大會上，華為宣布升級版盤古5.0與鴻蒙星河版一同發布。該版本與鴻蒙集成，鴻蒙配備了更智能的虛擬助手小藝，並專注於對其大型語言模型平台進行生成式AI更新，用於創建新內容，例如文本、代碼或圖像。為了讓廣泛的開發者和企業能夠使用盤古，它提供了可擴展的選項：針對資源有限的用戶，提供計算能力較低的小型模型；針對需要更多處理能力的複雜任務，提供容量更大的大型模型。

技術規格

盤古大模型3.0面向行業應用，採用5+N+X三層架構。

• 第一層（L0）：包含盤古的五大基礎模型，為不同的行業場景提供豐富的能力。這些模型包括自然語言處理模型、視覺模型、多模態模型、預測模型和科學計算模型。
• 第二層（L1）：由N個大型行業特定模型組成。這些模型使用來自政府、金融、製造、採礦和氣象等各行各業的公共數據進行訓練。此外，它還使用來自L0和L1的客戶自有數據，為每個客戶量身定製訓練專有模型。
• 第三層（L2）：為客戶提供詳細的場景化模型。該層針對具體的應用或業務需求，提供可立即使用的模型服務。

華為雲業務部門更新的華為盤古模型5.0具有三大關鍵特性：適應不同業務場景、多風格建模和高級智能。華為將 AI 模型平台分為四個系列，每個系列具有不同的參數尺度：

• 盤古E系列：嵌入式版本支持手機、平板、PC等設備上的智能應用，參數規模達10億級。
• 盤古P系列：專業版擁有百億參數規模，非常適合低延遲、低成本的推理條件。
• 盤古U系列：Ultra版本有兩種版本，分別擁有1350億和2300億個參數，能夠處理複雜任務並作為大型模型的基礎。
• 盤古S系列：超級盤古是其頂級版本，擁有萬億級參數，旨在管理跨域或多任務應用等高級AI技術場景。

盤古氣象大模型

盤古氣象大模型（英語：Pangu-Weather）是盤古大模型的一個重要應用，它是首個精度超過傳統數值預報方法的AI預測模型。該模型突破了AI預報天氣精度不及傳統數值預報的世界性難題，對比傳統方法預測速度提升10000倍，可秒級完成對全球氣象的預測。盤古氣象大模型的水平空間解析度達到0.25°×0.25°，時間解析度為1小時，覆蓋13層垂直高度，可以精準地預測細粒度氣象特徵。