Apple opracowuje narzędzie AI do animowania obrazów dzięki podpowiedzi tekstowych

cyberfeed.pl 2 miesięcy temu


Naukowcy z Apple zaprezentowali Keyframer, prototypowe narzędzie do generowania animacji AI, które umożliwia użytkownikom dodawanie ruchu do obrazów 2D poprzez opisanie, w jaki sposób powinny być animowane.

W artykuł badawczy opublikowany 8 lutegoApple stwierdziło, iż duże modele językowe (LLM) są „niedostatecznie zbadane” w animacji pomimo potencjału, jaki wykazują w innych kreatywnych mediach, takich jak pisanie i generowanie obrazu. Narzędzie Keyframer oparte na technologii LLM jest przedstawiane jako jeden z przykładów zastosowania tej technologii.

Wykorzystując GPT4 OpenAI jako model podstawowy, Keyframer może pobierać pliki Scalable Vector Graphics (SVG) — format ilustracji, którego rozmiar można zmieniać bez wpływu na jakość — i generować kod CSS w celu animowania obrazu na podstawie podpowiedzi tekstowych. Po prostu prześlij obraz, wpisz w polu zachęty coś w stylu „spraw, aby gwiazdy migotały” i naciśnij przycisk „Wygeneruj”. Przykłady podane w artykule badawczym pokazują, jak ilustracja Saturna może przechodzić między kolorami tła lub pokazywać gwiazdy pojawiające się i znikające z pierwszego planu.

Nie ma dostępnego materiału wideo, ale te porównania klatka po klatce stanowią przykład możliwości narzędzia Keyframer.Obraz: Jabłko

Użytkownicy mogą tworzyć wiele projektów animacji w jednej partii i dostosowywać adekwatności, takie jak kody kolorów i czas trwania animacji, w oddzielnym oknie. Nie jest wymagana żadna znajomość kodowania, ponieważ Keyframer automatycznie konwertuje te zmiany na CSS, chociaż sam kod jest również w pełni edytowalny. To podejście oparte na opisach jest znacznie prostsze niż inne formy animacji generowanej przez sztuczną inteligencję, które zwykle wymagają kilku różnych aplikacji i pewnego doświadczenia w kodowaniu.

Narzędzia do edycji Keyframera są dość ograniczone, ale przynajmniej nie musisz rozumieć kodu, aby z nich korzystać.Obraz: Jabłko

Jeden z zawodowych projektantów ruchu, który wziął udział w badaniach Apple, powiedział: „Część mnie martwi się, iż te narzędzia zastąpią pracę, ponieważ potencjał jest tak duży. Myślę jednak, iż uczenie się o nich i wykorzystywanie ich jako animatora to po prostu kolejne narzędzie w naszym zestawie narzędzi. To tylko poprawi nasze umiejętności. To naprawdę ekscytujące rzeczy.”

Mimo wszystko przed nim jeszcze długa droga. Narzędzie Keyframer nie pozostało publicznie dostępne, a badanie użytkowników zawarte w artykule badawczym Apple objęło zaledwie 13 osób, które podczas eksperymentowania z narzędziem mogły używać tylko dwóch prostych, wstępnie wybranych obrazów SVG.

Firma Apple ostrożnie wspomniała także w artykule o swoich ograniczeniach, precyzując, iż Keyframer koncentruje się na animacjach internetowych, takich jak sekwencje ładowania, wizualizacja danych i animowane przejścia. Z kolei animacje, które można zobaczyć w filmach i grach wideo, są zbyt skomplikowane, aby można je było stworzyć na podstawie samych opisów — przynajmniej na razie.

Keyframer to jedna z kilku innowacji generatywnej sztucznej inteligencji, które Apple ogłosił w ostatnich miesiącach. W grudniu firma wprowadziła Ludzkie plamy Gaussa (HUGS), który może tworzyć ludzkie awatary gotowe do animacji z klipów wideo. Zeszły tydzień, Apple wypuściło także MGIEnowy model sztucznej inteligencji, który może edytować obrazy dzięki opisów tekstowych.



Source link

Idź do oryginalnego materiału