Adobe wkracza w dziedzinę generatywnego wideo opartego na sztucznej inteligencji. Firma Model wideo Fireflyktóry ma został wyśmiany od początku tego roku, dzisiaj wprowadza na rynek kilka nowych narzędzi, w tym niektóre dostępne bezpośrednio w Premiere Pro, które pozwolą twórcom rozszerzać materiał filmowy i generować wideo na podstawie nieruchomych obrazów i podpowiedzi tekstowych.
Pierwsze narzędzie — Generative Extend — zostanie uruchomione w wersji beta programu Premiere Pro. Można go użyć do wydłużenia końca lub początku materiału, który jest nieco za krótki, lub do wprowadzenia korekt w połowie ujęcia, na przykład skorygowania przesuwających się linii oczu lub nieoczekiwanego ruchu.
Klipy można wydłużać tylko o dwie sekundy, więc Generative Extend nadaje się naprawdę tylko do drobnych poprawek, ale może to zastąpić potrzebę ponownego nagrywania materiału w celu skorygowania drobnych błędów. Rozszerzone klipy można generować w rozdzielczości 720p lub 1080p przy 24 klatkach na sekundę. Można go również używać w przypadku dźwięku, aby ułatwić edycję, aczkolwiek z ograniczeniami. Wydłuży to na przykład efekty dźwiękowe i „odcień pomieszczenia” otoczenia choćby o dziesięć sekund, ale nie wydłuży dialogów głosowych ani muzyki.
Nowe narzędzie Generative Extend w programie Premiere Pro może wypełnić luki w materiale filmowym, które zwykle wymagałyby pełnego ponownego nagrania, na przykład dodania kilku dodatkowych kroków do osoby przechodzącej obok samochodu.Obraz:Adobe
W Internecie pojawiają się dwa inne narzędzia do generowania wideo. Najpierw narzędzia Adobe do przetwarzania tekstu na wideo i obrazu na wideo ogłoszony we wrześniusą w tej chwili udostępniane jako ograniczona publiczna wersja beta aplikacji internetowej Firefly.
Funkcja zamiany tekstu na wideo działa podobnie do innych generatorów wideo, takich jak Pas startowy I Sora z OpenAI — użytkownicy muszą jedynie dodać opis tekstowy tego, co chcą wygenerować. Może emulować różne style, takie jak zwykły „prawdziwy” film, animacja 3D i animacja poklatkowa, a wygenerowane klipy można dalej udoskonalać dzięki wybranych „sterowań aparatu”, które symulują takie rzeczy, jak kąt kamery, ruch i odległość fotografowania.
Tak wyglądają niektóre opcje sterowania kamerą w celu dostosowania generowanego sygnału wyjściowego.Obraz: Adobe
Funkcja Image-to-Video idzie o krok dalej, umożliwiając użytkownikom dodanie obrazu referencyjnego do podpowiedzi tekstowej, aby zapewnić większą kontrolę nad wynikami. Firma Adobe sugeruje, iż można to wykorzystać do tworzenia b-rollów z obrazów i fotografii lub do wizualizacji ponownych sesji poprzez przesłanie kadru z istniejącego filmu. Poniższy przykład przed i po pokazuje, iż tak naprawdę nie jest w stanie bezpośrednio zastąpić ponownych sesji, ponieważ w wynikach widocznych jest kilka błędów, takich jak chybotanie kabli i przesuwanie tła.
Oto oryginalny klip…Wideo: Adobe
...i tak to wygląda, gdy funkcja Image-to-Video „przerabia” materiał filmowy. Zauważ, jak żółty kabel chwieje się bez powodu?Wideo: Adobe
W najbliższym czasie nie będziesz już kręcił całych filmów przy użyciu tej technologii. Maksymalna długość klipów typu tekst na wideo i obraz na wideo wynosi w tej chwili pięć sekund, a najwyższa jakość wynosi 720p i 24 klatki na sekundę. Dla porównania OpenAI twierdzi, iż Sora może generować filmy trwające do minuty, „przy zachowaniu jakości wizualnej i zgodności z podpowiedziami użytkownika” – ale to wszystko nie są jeszcze dostępne publicznie pomimo ogłoszenia na kilka miesięcy przed narzędziami Adobe.
Model ogranicza się do tworzenia klipów trwających około czterech sekund, takich jak ten przykład małego smoka generowanego przez sztuczną inteligencję, poruszającego się w magmie.Wideo: Adobe
Wygenerowanie konwersji tekstu na wideo, obrazu na wideo i rozszerzenia generatywnego zajmuje około 90 sekund, ale Adobe twierdzi, iż pracuje nad „trybem turbo”, aby ten czas skrócić. Choć narzędzia Adobe oparte na modelu wideo AI są ograniczone, twierdzą, iż są „bezpieczne komercyjnie”, ponieważ zostały przeszkolone w zakresie treści, na których używanie dozwolony był gigant systemu kreatywnego. Dane modele od innych dostawców, takich jak Runway, są sprawdzane pod kątem rzekomego szkolenia tysiące zeskrobanych filmów z YouTube — lub w przypadku Meta, może choćby twój osobisty filmy — dla niektórych użytkowników rentowność komercyjna może okazać się kluczem do zawarcia transakcji.
Kolejną korzyścią jest to, iż filmy tworzone i edytowane przy użyciu modelu wideo Firefly firmy Adobe mogą być osadzone z danymi uwierzytelniającymi treści aby pomóc w ujawnieniu wykorzystania sztucznej inteligencji i praw własności w przypadku publikacji online. Nie jest jasne, kiedy te narzędzia wyjdą z wersji beta, ale przynajmniej są publicznie dostępne — a to więcej, niż możemy powiedzieć Sora z OpenAI, Film Meta GenI Veo Google’a generatory.
Premierę wideo AI ogłoszono dzisiaj na konferencji Adobe MAX, na której firma również ją przedstawia szereg innych funkcji opartych na sztucznej inteligencji w swoich kreatywnych aplikacjach.
