基礎模型 (英語:foundation model 或base model )指一類大型機器學習 模型[ 1] ,它們經大規模數據訓練而成(通常以自監督學習 或半監督學習 方式進行)[ 2] ,以適應各種下游任務[ 3] [ 4] 。基礎模型幫助實現了人工智慧系統構建方式的重大革新,例如為聊天機器人 和其他面向用戶的人工智慧提供支持。斯坦福 人類中心人工智慧研究所(Stanford Institute for Human-Centered Artificial Intelligence )旗下的基礎模型研究中心(Center for Research on Foundation Models ,簡稱CRFM )推廣了「基礎模型」這一術語的使用。[ 3]
早期的基礎模型包括一些預訓練語言模型 ,比如Google 開發的BERT 和各種早期的GPT基礎模型 ,特別是OpenAI 的「GPT-n」系列模型。這類用途廣泛的模型可以通過進一步開發以適用於特定的任務或領域。[ 5]
除文本模型外,還先後誕生了各種視覺或多模式的基礎模型,如DALL-E 、Flamingo[ 6] 、Florence和NOOR[ 7] 等。視覺基礎模型(visual foundation model ,簡稱VFM )已與基於文本的大型語言模型 相結合以構建適應特定任務的複雜模型。[ 8] 此外,還有Meta AI 開發的用於通用圖像分割的Segment Anything[ 9] 以及Google DeepMind 開發的強化學習 智能體Gato 等。[ 10] [ 11]
^ Perrigo, Billy. The A to Z of Artificial Intelligence . Time. 13 April 2023 [22 May 2023] . (原始內容存檔 於2023-06-16).
^ Goled, Shraddha. Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ . Analytics India Magazine. 7 May 2021 [22 May 2023] . (原始內容存檔 於2023-06-18).
^ 3.0 3.1 Introducing the Center for Research on Foundation Models (CRFM) . Stanford HAI. [11 June 2022] . (原始內容存檔 於2023-06-04).
^ Goldman, Sharon. Foundation models: 2022's AI paradigm shift . VentureBeat. 2022-09-13 [2022-10-24 ] . (原始內容存檔 於2023-11-28).
^ Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. Language models are an effective representation learning technique for electronic health record data . Journal of Biomedical Informatics. January 2021, 113 : 103637. ISSN 1532-0480 . PMC 7863633 . PMID 33290879 . doi:10.1016/j.jbi.2020.103637 .
^ Tackling multiple tasks with a single visual language model , 28 April 2022 [13 June 2022] , (原始內容存檔 於2022-04-28)
^ Technology Innovation Institute Announces Launch of NOOR, the World's Largest Arabic NLP Model . [2023-12-07 ] . (原始內容存檔 於2023-01-15).
^ Chenfei Wu; et al. Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models. Cornell University. 2023. arXiv:2303.04671 .
^ Segment Anything | Meta AI . segment-anything.com. [2023-06-21 ] . (原始內容存檔 於2023-12-11) (英語) .
^ A Generalist Agent . www.deepmind.com. [2023-06-21 ] . (原始內容存檔 於2022-08-02) (英語) .
^ RoboCat: A self-improving robotic agent . www.deepmind.com. [2023-06-21 ] . (原始內容存檔 於2023-10-06) (英語) .
可微分計算
概論 概念 應用 硬體 軟體庫 實現
人物 組織 架構
主題
分類