Runway
Runway AI, Inc. | |
---|---|
![]() 官方標誌 | |
公司類型 | 私營公司 |
成立 | 2018年 |
代表人物 |
|
總部 | ![]() |
產業 | 人工智慧, 機器學習, 軟體開發 |
產品 | Gen-1, Gen-2, Gen-3 Alpha, Frames |
員工人數 | 86 |
網站 | runwayml |
Runway AI, Inc.(也稱為Runway和RunwayML)是一家總部位於美國紐約市的科技公司。[1] 該公司主要致力於開發用於生成視頻、圖像和各種多媒體內容的產品和模型。它最著名的成就是開發了商業化的文本到視頻生成模型 Gen-1、Gen-2[2][3] 和 Gen-3 Alpha。[1]
Runway的工具和AI模型已被用於電影如《瞬息全宇宙》,[4] 音樂視頻如A$AP Rocky、[5] Kanye West、[6] Brockhampton 和 The Dandy Warhols,[7] 以及編輯電視節目如《晚間秀》[8] 和《Top Gear》。[9]
歷史
[編輯]該公司由智利人Cristóbal Valenzuela、[10] Alejandro Matamala 和希臘人Anastasis Germanidis於2018年創立,他們在紐約大學蒂施藝術學院相識。[11] 公司於2018年籌集了200萬美元,用於構建一個平台,以在多媒體應用中大規模部署機器學習模型。
2020年12月,Runway在A輪融資中籌集了850萬美元。[12]
2021年12月,公司在B輪融資中籌集了3500萬美元。[13]
2022年8月,公司與路德維希馬克西米利安大學的CompVis小組以及Stability AI的計算捐贈合作,發布了改進版的潛在擴散模型 Stable Diffusion。[14][15]
2022年12月21日,Runway在C輪融資中籌集了5000萬美元,[16] 隨後在2023年6月以15億美元的估值進行了1.41億美元的C輪擴展融資,[17] 投資方包括Google、Nvidia和Salesforce。[18] 這些資金將用於構建用於電影和視頻製作的多模態AI基礎模型。[19][20]
2023年2月,Runway發布了Gen-1和Gen-2,這是首個商業化和公開可用的視頻到視頻和文本到視頻生成基礎模型,[1][2][3] 用戶可以通過簡單的網頁界面訪問。
2023年6月,Runway被《時代》雜誌評為全球100家最具影響力的公司之一。[21]
服務與技術
[編輯]Runway專注於視頻、媒體和藝術的生成式AI。公司致力於開發專有的基礎模型技術,供電影製作、後期製作、廣告、編輯和視覺效果領域的專業人士使用。此外,Runway還提供一款面向消費者的iOS應用程式。[22]
Runway的產品可通過網頁平台和API作為託管服務訪問。
Stable Diffusion
[編輯]Stable Diffusion是一個開源的深度學習、文本到圖像生成模型,於2022年發布,基於Runway和慕尼黑路德維希-馬克西米利安大學CompVis小組發表的論文《High-Resolution Image Synthesis with Latent Diffusion Models》。[23][24][15] Stable Diffusion主要用於根據文本描述生成圖像。
Gen-1
[編輯]Gen-1是一個視頻到視頻的生成式AI系統,通過將圖像或文本提示的構圖和風格應用於源視頻的結構來合成新視頻。該模型於2023年2月發布。Gen-1模型由Runway基於其研究論文《Structure and Content-Guided Video Synthesis with Diffusion Models》開發和訓練。[25] Gen-1是視頻創作的生成式人工智慧的一個示例。
Gen-2
[編輯]Gen-2是一個多模態AI系統,可以根據文本、圖像或視頻片段生成視頻。該模型是Gen-1的延續,並增加了根據文本生成視頻的功能。Gen-2是首批商業化可用的文本到視頻模型之一。[26][27][28][29]
Gen-3 Alpha
[編輯]Gen-3 Alpha是Runway即將推出的一系列模型中的第一個,這些模型在新的基礎設施上進行了大規模多模態訓練。它在保真度、一致性和運動方面比Gen-2有了顯著改進,是構建通用世界模型的一步。[2]
Gen-3的訓練數據來源於數千個YouTube視頻,可能還包括盜版電影。一名前Runway員工向《404 Media》透露,公司曾通過youtube-dl和代理伺服器下載視頻,以避免被YouTube屏蔽。在測試中,《404 Media》發現輸入某些YouTuber的名字會生成與其風格相符的視頻。[30]
AI電影節
[編輯]Runway每年在洛杉磯和紐約市舉辦AI電影節。[31][32][33]
參考文獻
[編輯]- ^ 1.0 1.1 1.2 Metz, Cade. Instant Videos Could Represent the Next Leap in A.I. Technology. The New York Times. 2023-04-04 [2023-09-15]. ISSN 0362-4331 (美國英語).
- ^ 2.0 2.1 2.2 Generative AI's Next Frontier Is Video. Bloomberg.com. 2023-03-20 [2023-09-15] (英語).
- ^ 3.0 3.1 Vincent, James. Text-to-video AI inches closer as startup Runway announces new model. The Verge. 2023-03-20 [2023-09-15] (美國英語).
- ^ How director and editor Evan Halleck uses Runway for films, music videos, and commercials. Runway. [2024-03-01] (美國英語).
- ^ Distorting Reality with Dan Streit. Runway. [2024-03-01] (美國英語).
- ^ Cowen, Trace William. Kanye West Shares Unsettling Video for "Vultures (Havoc Version)" Ahead of Ty Dolla Sign Collab Album Release. Complex. [2024-03-01] (美國英語).
- ^ The Dandy Warhols - "I'd Like To Help You With Your Problem (feat. Slash)" - Official Music Video, 14 February 2024 [2024-03-01] (英語)
- ^ How Runway took The Late Show edits from five hours to five minutes. Runway. [2024-03-01] (美國英語).
- ^ How Drew Emery uses Runway to edit content for Top Gear America & Cooper's Bar. Runway. [2024-03-01] (美國英語).
- ^ TIME100 AI 2023: Cristóbal Valenzuela. Time. 2023-09-07 [2023-09-15] (英語).
- ^ Black, Julia. 'Not Everyone Is Trying to Build God': Runway CEO Cristóbal Valenzuela Tries to Dampen the Doomerism. The Information. [2023-09-18].
- ^ RunwayML raises $8.5 million for its AI-powered media creation tools. VentureBeat. 2020-12-16 [2023-09-15] (美國英語).
- ^ Runway raises $35M Series B | Runway Blog. Runway. [2023-11-07] (美國英語).
- ^ Cai, Kenrick. The AI Founder Taking Credit For Stable Diffusion's Success Has A History Of Exaggeration. Forbes. [2023-09-15] (英語).
- ^ 15.0 15.1 The original startup behind Stable Diffusion has launched a generative AI for video. MIT Technology Review. [2023-09-18] (英語).
- ^ Cai, Kenrick. Runway Raises 50 M i l l i o n A t 50MillionAt500 Million Valuation As Generative AI Craze Continues. Forbes. [2023-09-15] (英語). 參數
|title=
值左起第15位存在換行符 (幫助) - ^ AI Video Startup Runway Raises 141M. TechCrunch. 2023-06-29 [2023-09-15] (美國英語).
- ^ Google Invests in AI Startup Runway to Wrest Cloud Business From AWS. The Information. [2023-09-15].
- ^ Black, Julia. 'Not Everyone Is Trying to Build God': Runway CEO Cristóbal Valenzuela Tries to Dampen the Doomerism. The Information. [2023-09-15].
- ^ Featured interview: Runway AI CEO Chris Valenzuela - First Move with Julia Chatterley - Podcast on CNN Audio. CNN. [2023-09-18] (美國英語).
- ^ TIME100 Most Influential Companies 2023: Runway. Time. 2023-06-21 [2023-09-20] (英語).
- ^ Vincent, James. Create generative AI video-to-video right from your phone with Runway's iOS app. The Verge. 2023-04-24 [2024-03-01] (英語).
- ^ Stable Diffusion developer Runway raises $50M to create AI multimedia tools. SiliconANGLE. 2022-12-06 [2023-09-18] (美國英語).
- ^ Stability AI Is Losing Executives, Engineers and Its Edge. Bloomberg.com. 2023-08-08 [2023-09-18] (英語).
- ^ Gen-1 by Runway. Runway. [2023-09-18] (美國英語).
- ^ Text to Video Generative AI Is Finally Here and It's Weird as Hell. Gizmodo. 2023-03-22 [2023-09-18] (英語).
- ^ Wiggers, Kyle. Runway's Gen-2 shows the limitations of today's text-to-video tech. TechCrunch. 2023-06-09 [2023-09-18] (美國英語).
- ^ Avram Piltch. Runway's Powerful Gen-2 Text-to-Video Tool Now Available to Everyone for Free. Tom's Hardware. 2023-06-08 [2023-09-18] (英語).
- ^ Vincent, James. Text-to-video AI inches closer as startup Runway announces new model. The Verge. 2023-03-20 [2023-09-18] (美國英語).
- ^ Cole, Samantha. AI Video Generator Runway Trained on Thousands of YouTube Videos Without Permission. 404 Media. July 25, 2024 [July 25, 2024].
- ^ Runway AI Film Festival. Runway. [2023-11-18] (美國英語).
- ^ Melendez, Steven. A new film festival will only show movies made using AI.
- ^ Kokalitcheva, Kia. 1 big movie thing: an AI-generated film festival.