Apple ujawnia braki w modelach AI

Zespół badawczy Apple ujawnił poważne braki w zdolnościach rozumowania modeli językowych AI, zgodnie z nowym badaniem opublikowanym na arXiv.

Apple oceniło wiodące modele, w tym te od OpenAI i Meta, pod kątem zadań matematycznego rozumowania. Okazało się, iż choćby niewielkie zmiany w sformułowaniu pytań mogą prowadzić do znacznych różnic w wynikach, podważając ich niezawodność.

Nie znaleźliśmy żadnych dowodów na formalne rozumowanie w modelach językowych. Ich zachowanie jest lepiej wyjaśnione przez wyrafinowane dopasowywanie wzorców – tak delikatne, iż zmiana nazw może zmienić wyniki o ~10%.

– to podsumowuje częste stosowanie nad wyraz rzeczownika „inteligencja”.

Badanie pokazuje, iż modele AI bardziej polegają na dopasowywaniu wzorców niż na prawdziwym rozumowaniu logicznym. Na przykład dodanie nieistotnych szczegółów do prostego zadania matematycznego wpłynęło na wyniki modeli, mimo iż te informacje nie miały związku z rozwiązaniem.

Apple sugeruje, iż przyszłe modele AI mogą wymagać połączenia sieci neuronowych z tradycyjnym, symbolicznym rozumowaniem, aby poprawić precyzję i niezawodność w zadaniach wymagających logicznego myślenia.

W badaniu nie ma ani słowa o Apple Intelligence.

Z pełnym raportem z badania możecie zapoznać się tutaj.

Jeśli artykuł Apple ujawnia braki w modelach AI nie wygląda prawidłowo w Twoim czytniku RSS, to zobacz go na iMagazine.