Firma Runway zaprezentowała swój najnowszy model AI do generowania wideo – Gen-3 Alpha. W ten sposób przedsiębiorstwo chce konkurować z innymi startupami, które rozwijają podobne narzędzia. Co potrafi nowy model od Runway i czy jest w stanie zagrozić Sora od OpenAI? Zobaczcie sami.
Gen-3 Alpha to najnowszy, bazowy model Runway do generowania wideo. Jest to pierwszy z serii nadchodzących modeli, które zostały wytrenowane na nowej infrastrukturze. Tym razem firma zdecydowała się pójść o krok dalej i postawiła w stuprocentach na multimodalność. W porównaniu do poprzedniej generacji, Runway Gen-2, nowy model oferuje znaczącą poprawę wierności, spójności i ruchu w kontekście generowanych klipów wideo.
Gen-3 Alpha, jak twierdzi producent, jest również krokiem w kierunku budowania General World Models. Systemów AI, które potrafią zrozumieć i symulować szeroki zakres sytuacji i interakcji, podobnych do tych spotykanych w prawdziwym świecie.
Gen-3 Alpha – co potrafi?
Nowy model od Runway potrafi generować wysokiej jakości, szczegółowe i niezwykle realistyczne 10-sekundowe klipy wideo. Użytkownik musi stworzyć jedynie opis tekstowy, wgrać obraz lub inny, wstępnie nagrany film. Jak możecie zobaczyć poniżej, wideo od Gen-3 Alpha wyróżnia się dużą precyzją, szeroką gamą emocjonalnych ekspresji i ruchów kamery.
Gen-3 Alpha by @runwayml is fantastic, but what's a Generational World Model without a little audio
Enjoy Runway's demos updated with precise Music & SFX!
Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city. https://t.co/Iq293vT7N6
pic.twitter.com/6nOIeEjRAq
Jeśli zaś chodzi o technikalia, Gen-3 Alpha został wytrenowany jednocześnie na filmach i obrazach, a także na bardzo szczegółowych opisach. To wszystko pozwala użytkownikom na tworzenie kreatywnych przejść pomiędzy scenami oraz na dowolną manipulację elementami czy postaciami, które znajdują się w kadrze.
Model Gen-3 Alpha będzie w tej chwili zasilał istniejące narzędzia Runway, takie jak Text to Video, Image to Video, Text to Image, a także tryby kontroli, jak Motion Brush, Advanced Camera Controls i Director Mode. W najbliższych tygodniach firma planuje rownież udostępnić nowe narzędzia i opcje zwiększające kontrolę nad każdym z wygenerowanych klipów wideo.
Jak Runway wypada na tle konkurencji?
Premiera Gen-3 Alpha plasuje Runway z powrotem w czołówce firm zajmujących się generowaniem wideo przez sztuczną inteligencję. W ostatnich tygodniach na rynku pojawiło się kilka imponujących modeli, takich jak Dream Machine od Luma AI czy Kling – chiński odpowiednik Sory.
Na ich tle Gen-3 Alpha wyróżnia się jakością i spójnością materiałów. Przykładowe klipy wygenerowane przez ten model robią ogromne pod względem realizmu, płynności ruchu czy też dbałości o detale.
Co najważniejsze, to fakt, iż Runway zapowiedział, iż Gen-3 Alpha będzie dostępny dla użytkowników w ciągu najbliższych dni. Sora od OpenAI z kolei wciąż nie doczekała się publicznej premiery. Kiepsko.
Jeśli wierzyć producentowi, to Gen-3 Alpha jest dopiero początkiem serii nowych modeli AI do wideo. Firma stawia sobie za cel tworzenie General World Models – systemów AI, które będą w stanie naturalnie symulować rzeczywistość. W tym celu, Runway współpracuje z czołowymi firmami z branży rozrywkowej i mediów nad tworzeniem niestandardowych wersji Gen-3, dostosowanych do konkretnych wymagań artystycznych i narracyjnych.
Czy AI zastąpi Hollywood na dobre? To wątpliwe, chociaż… kto wie.
fot. zrzut ekranu z filmu demo – Runway
