Apple udostępniło model zmieniający zdjęcie w obiekt 3D. Efekty są niesamowite

Apple po raz kolejny zaskakuje świat technologii, publikując otwartoźródłowy model, który potrafi w mgnieniu oka zamienić zwykłe zdjęcie 2D w realistyczną scenę 3D. Rozwiązanie nazwane SHARP powstało w ramach badań nad syntezą widoków i już teraz wzbudza duże zainteresowanie w środowisku sztucznej inteligencji.

Co istotne, mówimy nie o koncepcji, ale o działającym narzędziu, które Apple udostępniło publicznie. Model generuje wynik w czasie krótszym niż sekunda i nie wymaga specjalistycznego sprzętu dużej mocy. SHARP nie potrzebuje serii zdjęć ani skomplikowanej optymalizacji, co dotąd było standardem w tej dziedzinie. Wystarcza pojedyncza fotografia.

Jak działa SHARP

Zgodnie z opisem Apple, SHARP analizuje jedno zdjęcie i przewiduje trójwymiarową reprezentację sceny opartą na tzw. gaussach 3D. Są to drobne, rozmyte punkty światła i koloru, których miliony połączone razem tworzą scenę przestrzenną.

Model wykonuje cały proces w jednym przebiegu sieci neuronowej, co pozwala osiągnąć rekordową szybkość. Uzyskana scena nieźle zachowuje skalę i odległości, dzięki czemu możliwe są naturalne ruchy kamery. Apple podkreśla, iż SHARP osiąga znacznie lepsze wyniki jakościowe niż wcześniejsze rozwiązania, jednocześnie skracając czas generowania obrazu choćby tysiąckrotnie.

Framework SHARP. Źródło: 9to5Mac

Trening i ograniczenia

Aby osiągnąć taki efekt, SHARP został wytrenowany na ogromnych zbiorach danych syntetycznych oraz rzeczywistych. Dzięki temu model nauczył się rozpoznawać typowe zależności głębi i geometrii w różnych scenach.

Nie jest to jednak rozwiązanie pozbawione kompromisów. SHARP bardzo dobrze odtwarza widoki zbliżone do oryginalnego punktu obserwacji, ale nie generuje fragmentów sceny, które nie były widoczne na zdjęciu. Jak podają badacze Apple, to świadoma decyzja projektowa, pozwalająca zachować zarówno wysoką szybkość, jak i stabilność wyników.

Otwarta przyszłość projektu

Apple udostępniło SHARP w serwisie GitHub, co umożliwia samodzielne testy i dalszy rozwój modelu. Użytkownicy już publikują własne eksperymenty, w tym animacje i krótkie filmy oparte na wygenerowanych scenach 3D.

SHARP pokazuje, iż choćby pojedyncze zdjęcie może stać się punktem wyjścia do pełnowymiarowego świata 3D – i to szybciej, niż wielu się spodziewało. Choć Apple oficjalnie nie zapowiada komercyjnych zastosowań, technologia ta może w przyszłości znaleźć miejsce w rozszerzonej rzeczywistości, wizualizacji przestrzennej czy narzędziach kreatywnych.

Źródło: 9to5mac, X