Nowy model AI potrzebuje tylko 6 kroków, by tworzyć filmy z dźwiękiem. H3 Flex ma być znacznie szybszy od poprzednika.
Wygenerowanie 15-sekundowego filmu z dźwiękiem w zaledwie 7 sekund? Firma Pika twierdzi, iż nowy model H3 Flex potrafi osiągnąć właśnie taki wynik. Sztuczna inteligencja ma tworzyć materiały szybciej, niż człowiek zdążyłby je obejrzeć, a przy okazji pozwalać na swobodne zmienianie postaci, scenerii i ruchów kamery.
Jest jednak kilka haczyków. Rekordowe 7 sekund nie oznacza rzeczywistego czasu oczekiwania na gotowy film, a obiecywana rozdzielczość 4K nie jest generowana natywnie. Mimo tych ograniczeń Pika pokazała technologię, która może znacząco przyspieszyć tworzenie krótkich materiałów wideo.
15 sekund filmu w 7 sekund. Pika H3 Flex przyspiesza generowanie wideo
Firma Pika zaprezentowała model H3 Flex, rozwijany z myślą o twórcach reklam, animacji i krótkich filmów. Nowe narzędzie bazuje na MiniMax H3, ale zostało dodatkowo wytrenowane i zoptymalizowane pod kątem szybkości oraz możliwości edycji wygenerowanych materiałów.
Największe zainteresowanie budzi deklarowana wydajność. Według oficjalnego komunikatu producenta H3 Flex potrafi wygenerować 15-sekundowy materiał wideo z zsynchronizowanym dźwiękiem w czasie zaledwie 7 sekund. Wynik osiągnięto podczas testów w rozdzielczości 768p.
To ponad dwukrotnie szybciej, niż czas potrzebny do obejrzenia gotowego nagrania. Firma podkreśla, iż w porównywalnych zadaniach jej model jest średnio około 1,8 razy szybszy od H3Max. Jednocześnie ma zachowywać jakość obrazu wystarczającą do wykorzystania w profesjonalnych projektach.
Sekret tkwi w zmniejszeniu liczby kroków obliczeniowych potrzebnych do wygenerowania filmu. Podstawowy MiniMax H3 wykorzystuje 50 kroków odszumiania, podczas których model stopniowo przekształca początkowy szum w obraz i dźwięk. H3 Flex wykonuje podobny proces w zaledwie 6 krokach.
Tak duże ograniczenie liczby operacji nie przekłada się niestety na ośmiokrotny wzrost całkowitej wydajności. Pozwala jednak znacząco skrócić najbardziej wymagającą część generowania, co będzie mieć znaczenie przy wielokrotnym poprawianiu tych samych materiałów.
7 sekund nie oznacza gotowego filmu na ekranie
Pika wyraźnie zaznacza, iż reklamowane 7 sekund dotyczy jedynie pracy transformera odpowiedzialnego za generowanie wideo. Nie uwzględnia całego procesu obsługi żądania, przygotowania danych wejściowych, dekodowania, przetwarzania dźwięku czy przesyłania gotowego pliku do użytkownika.
Oczekiwanie może więc trwać dłużej, niż samo nagranie. Szczególnie wtedy, gdy użytkownik dostarcza materiały referencyjne, wybiera wyższą rozdzielczość albo korzysta z dodatkowych funkcji edycji dźwięku. Producent nie gwarantuje osiągania rekordowych wyników przy każdym poleceniu.
Drugie ograniczenie dotyczy długości wideo. H3 Flex pozwala tworzyć materiały trwające od 5 do 15 sekund, z szybkością 24 klatek na sekundę. Nie jest zatem narzędziem, które jednym poleceniem wygeneruje kilkuminutowy film czy pełną produkcję fabularną.
Model oferuje wprawdzie wyjściową rozdzielczość do 4K, ale obrazu nie tworzy od początku w takiej jakości. Natywnie obsługuje jedynie 480p i 768p, natomiast materiały 1080p, 2K i 4K powstają przez skalowanie gotowego nagrania.
Zwiększenie liczby pikseli nie gwarantuje oczywiście odzyskania szczegółów, których pierwotnie nie wygenerowano. Wyższa rozdzielczość może poprawić wygląd materiału, ale nie jest równoznaczna z pełnoprawnym generowaniem obrazu w natywnym 4K.
AI pozwala zmienić aktora i scenerię bez kręcenia filmu od nowa
H3 Flex nie jest jednak wyłącznie szybszą wersją popularnych generatorów wideo. Twórcy położyli duży nacisk na możliwości sterowania gotowymi ujęciami i wykorzystywania materiałów referencyjnych.
Model potrafi jednocześnie przyjąć do 12 plików, w tym maksymalnie 9 obrazów, 3 nagrania wideo i 3 materiały dźwiękowe. Użytkownik może dostarczyć zdjęcie produktu, szkic sceny, wzór wyglądu postaci, nagranie ruchu kamery czy próbkę głosu. Algorytm wykorzysta je następnie do zbudowania nowego materiału.
Można w ten sposób przygotować reklamę, w której produkt pozostaje rozpoznawalny, ale zmieniają się otoczenie, oświetlenie i ruch kamery. Możliwe jest również zastąpienie postaci lub rekwizytu w istniejącym nagraniu przy zachowaniu oryginalnej choreografii.
Pika pozwala dodatkowo tworzyć sekwencje złożone z kilku ujęć, zawierające cięcia montażowe, dialogi, muzykę i efekty dźwiękowe. Gotowy materiał może zostać wyeksportowany wraz z 5 osobnymi ścieżkami audio, obejmującymi dialogi, muzykę, efekty specjalne, dźwięki wykonywanych czynności i odgłosy otoczenia.
To rozwiązanie szczególnie przydatne przy montażu. Zamiast ponownie generować cały film, twórca może wyciszyć muzykę, zmienić proporcje głośności dialogów albo poprawić wybrane efekty dźwiękowe w zewnętrznym programie.
Na Spider’s Web opisywaliśmy już możliwości generowania filmów z dialogami i muzyką przez Google Veo 3. H3 Flex rozwija podobną koncepcję, ale mocniej koncentruje się na szybkości kolejnych prób i możliwości modyfikowania konkretnych elementów nagrania.
Nowy model ma otwarte wagi. Nie wszystko można jednak uruchomić u siebie
Ciekawym elementem premiery jest udostępnienie wag modelu i kodu pozwalającego uruchomić go na własnym sprzęcie. Pika opublikowała repozytorium w serwisie GitHub oraz pliki na platformie Hugging Face, umożliwiając programistom eksperymentowanie z technologią.
Nie oznacza to jednak, iż każdy użytkownik komputera będzie mógł odtworzyć deklarowaną szybkość generowania. Firma zastrzega, iż lokalna wydajność zależy od sprzętu i konfiguracji, a zoptymalizowana infrastruktura serwerowa Pika nie została udostępniona w całości.
Istnieją również ograniczenia funkcjonalne. Lokalna wersja obsługuje natywne generowanie w 480p i 768p, ale skalowanie do 4K, eksport osobnych ścieżek dźwiękowych i część dodatkowych narzędzi pozostają funkcjami usługi internetowej producenta.
Nie bez znaczenia są tutaj także warunki licencyjne. Kod obsługi modelu udostępniono na licencji Apache 2.0, natomiast jego wagi podlegają osobnej licencji społecznościowej MiniMax H3. Określenie modelu jako całkowicie otwartego bez żadnych ograniczeń byłoby więc uproszczeniem.
Ile kosztuje tworzenie filmów w Pika H3 Flex?
Nowy model udostępniono za pośrednictwem Pika API Club, a jego wprowadzenie do głównego narzędzia Pika zapowiedziano na 2 listopada. Producent oferuje rozliczanie według długości wygenerowanego materiału, a stawki zależą od wybranej rozdzielczości i sposobu generowania.
Regularna cena 1 sekundy filmu w 768p wynosi 0,04 dolara. Oznacza to, iż 15-sekundowe nagranie kosztuje 0,60 dolara, czyli jeszcze bez dodatkowych opcji i ewentualnych kosztów przetwarzania materiałów referencyjnych. W ramach promocji premierowej stawkę obniżono o połowę.
W przypadku filmu wyjściowego 4K regularny koszt rośnie do 0,16 dolara za sekundę, czyli 2,40 dolara za maksymalny 15-sekundowy materiał. Model obsługuje również droższy tryb wykorzystujący referencyjne nagrania wideo.
Firma podkreśla, iż H3 Flex jest przeznaczony przede wszystkim do szybkiego eksperymentowania. Twórca ma móc przygotować kilka wersji sceny, wybrać najlepszą, a dopiero później zdecydować się na kosztowniejsze przeskalowanie i końcowy montaż.
To kierunek, w którym rozwijają się również konkurencyjne narzędzia. Sora od OpenAI pokazała już, jak łatwo generowane filmy mogą trafiać bezpośrednio do mediów społecznościowych, natomiast Adobe rozwija własne środowisko narzędzi AI dla twórców.
H3 Flex nie rozwiązuje oczywiście wszystkich problemów generatywnego wideo. Według opublikowanych przez producenta testów model przez cały czas ma trudności z wiarygodnym odwzorowaniem fizyki, złożonych scen i utrzymaniem spójności wielowątkowych historii. Pokazuje jednak, iż kolejnym ważnym polem rywalizacji staje się nie tylko jakość obrazu, ale także czas potrzebny do otrzymania kolejnej wersji nagrania.
*Źródło grafiki wprowadzającej: AI / Pika
