Microsoft udostępnił nową wersję aplikacji mobilnej „Seeing AI”, która ma pomóc użytkownikom słabowidzącym lub niewidomym w opisywaniu świata dzięki Azure AI.
Aplikacja mobilna Seeing AI firmy Microsoft wykorzystuje technologię Azure AI, aby pomóc osobom niewidomym i niedowidzącym usłyszeć opis otaczającego ich świata. Teraz, podczas Microsoft Ability Summit, firma Microsoft udostępniła nową wersję aplikacji mobilnej Seeing AI na urządzenia mobilne. Ta mówiąca aplikacja pomaga osobom niedowidzącym zrozumieć otaczający ich świat, czytając tekst, opisując sceny i identyfikując osoby, obiekty, kolory i waluty przy użyciu technologii Azure AI.
➔ PRZECZYTAJ TAKŻE: Aplikacja „All_Aboard” pozwala niewidomym dotrzeć na przystanek!
Podczas Ability Summit – wydarzenia poświęconego rozwiązaniom cyfrowym dla osób niepełnosprawnych, który odbył się 7 marca 2024 roku, firma Microsoft zaprezentowała zupełnie nową wersję aplikacji Seeing AI na Androida.
Technologie sztucznej inteligencji często wymagają wydajnych komputerów do analizowania monitów użytkowników i reagowania na nie, a kilka urządzeń mobilnych jest wyposażonych w chipy AI, takie jak Snapdragon 8 Gen 3 w najpopularniejszych telefonach z 2024 roku. Dlatego większość monitów jest przekazywana do usług online, takich jak OpenAI (ChatGPT) lub Microsoft (Azure AI, CoPilot), gdzie żądania obsługują wydajniejsze komputery w chmurze.
Seeing AI to bezpłatna aplikacja, która przedstawia otaczający Cię świat. Ten trwający projekt badawczy, opracowany przez i dla społeczności osób niewidomych i niedowidzących, wykorzystuje możliwości sztucznej inteligencji do otwieranie przed Tobą świata wizualnego poprzez opisywanie znajdujących się w pobliżu osób, tekstu i obiektów.
Seeing AI Microsoftu wykorzystuje Azure AI i udostępnia narzędzia ułatwiające wykonywanie różnych codziennych zadań:
- Krótki tekst — wypowiada tekst, gdy tylko pojawi się przed kamerą.
- Dokumenty — udostępnia wskazówki dźwiękowe w celu przechwytywania drukowanej strony i rozpoznaje tekst wraz z jego oryginalnym formatowaniem. Zadawaj pytania dotyczące zawartości, aby łatwo znaleźć potrzebne informacje.
- Produkty — skanuje kody kreskowe lub kody QR z ułatwieniami dostępu, korzystając z sygnałów dźwiękowych, aby Cię naprowadzić; usłyszysz nazwę i informacje o pakiecie, jeżeli są dostępne.
- Scenerie — odsłuchaj cały opis przechwyconej scenerii. Naciśnij pozycję „Więcej informacji”, aby usłyszeć jeszcze bardziej rozbudowany opis. Możesz też odkrywać zdjęcie, poruszając palcem po ekranie, aby usłyszeć umiejscowienie różnych przedmiotów.
- Osoby — zapisuje twarze innych osób, dzięki czemu możesz je rozpoznawać i uzyskać oszacowanie ich wieku, płci i wyrazu twarzy.
Funkcje aplikacji „Seeing AI” firmy Microsoft: krótki tekst, osoby, produkt- Waluta — rozpoznaje banknoty walut.
- Kolory — identyfikuje kolory.
- Pismo odręczne — odczytuje tekst odręczny, taki jak na kartach okolicznościowych (dostępne w szeregu języków).
- Oświetlenie — generuje sygnał dźwiękowy odpowiadający jasności otoczenia.
- Obrazy w innych aplikacjach — wystarczy nacisnąć pozycję „Udostępnij” i „Rozpoznaj dzięki aplikacji Seeing AI”, aby opisać obrazy z aplikacji Poczta, Zdjęcia, Twittera i nie tylko.
Funkcje aplikacji „Seeing AI” firmy Microsoft: waluta, dokumentyWyniki pracy aplikacji są na ogół dokładne, ale żadna sztuczna inteligencja nie jest tak dobra jak człowiek w identyfikowaniu i opisywaniu tego, co widać. Na przykład Seeing AI poprawnie identyfikuje maszynkę do golenia w puszce, ale jeszcze nie wszystko jest w stanie dobrze rozpoznać. To samo dotyczy tekstu – aplikacja zwykle dokładnie konwertuje tekst na paragonach i opakowaniach, ale nie radzi sobie z tekstami matematycznymi i wzorami chemicznymi.
Chociaż aplikacja Seeing AI na urządzenia z systemem iOS została uruchomiona w 2017 roku w celu badań nad opracowaniem nowych sposobów pomocy osobom z wadami wzroku, jej możliwości były ograniczone, ponieważ choćby GPT-1 został wypuszczony na rynek dopiero w 2018 roku. Pod względem komercyjnym Microsoft zaczął integrować GPT-3 z produktami konsumenckimi dopiero w 2021 roku. po uruchomieniu GPT-3 w 2020 roku. Zatem Seeing AI nie było w stanie zapewnić tak solidnych wyników, jak obecnie, przed wypuszczeniem na rynek najnowszych modeli generatywnych (takich jak GPT-4 Turbo 2023).
Microsoft Seeing AI można pobrać ze sklepu z aplikacjami Google Play na Androida i sklepu App Store z aplikacjami na iOS/iPadOS.
Aplikacja Seeing AI stale rozwija się zgodnie z informacjami przekazywanymi przez społeczność, oraz na podstawie postępów badań nad sztuczną inteligencją.
źródło: Microsoft Accessibility | NotebookCheck
