Nowe modele AI OpenAI mogą teraz „myśleć” za pomocą obrazów

OpenAI wprowadziło o3 i o4-mini, zaawansowane modele AI, które łączą manipulację obrazami z rozumowaniem opartym na tekście, aby rozwiązać skomplikowane problemy.

OpenAI ogłosiło wypuszczenie dwóch nowych modeli AI, o3 i o4-mini, które potrafią rozumieć obrazy – to znaczący skok w sposobie, w jaki sztuczna inteligencja rozumie i przetwarza informacje wizualne.

„Te systemy mogą manipulować, przycinać i przekształcać obrazy w służbie zadania, które chcesz zrealizować” – powiedział Marc Chen, szef działu badań w OpenAI, podczas transmisji na żywo w środę, jak podaje New York Times.

Modele o3 i o4-mini mają teraz zdolność analizowania obrazów jako część ich wewnętrznego procesu myślenia, podczas gdy wcześniejsze modele mogły tylko widzieć obrazy.

System umożliwia użytkownikom przesyłanie zdjęć zadan matematycznych, schematów technicznych, notatek pisanych odręcznie, plakatów oraz niewyraźnych lub obróconych obrazów. Następnie rozbija zawartość na krok po kroku wyjaśnienia, niezależnie od wielu pytań lub elementów wizualnych na jednym obrazie.

System teraz może skupić się na niejasnych częściach obrazu, obracając je dla lepszego zrozumienia. Łączy zrozumienie wizualne z rozumowaniem opartym na tekście, aby dostarczyć precyzyjne odpowiedzi. System może interpretować wykresy naukowe, aby wyjaśnić ich znaczenie oraz identyfikować błędy w kodowaniu na zrzutach ekranu, aby generować rozwiązania.

Modele mogą również korzystać z innych narzędzi, takich jak wyszukiwanie w sieci, kod Pythona oraz generowanie obrazów w czasie rzeczywistym, co pozwala im rozwiązywać znacznie bardziej skomplikowane zadania niż wcześniej. OpenAI twierdzi, że te możliwości są wbudowane, bez potrzeby korzystania z dodatkowych specjalistycznych modeli.

Testy pokazują, że o3 i o4-mini radzą sobie lepiej niż poprzednie modele we wszystkich wizualnych zadaniach, które otrzymały. Wizualny test porównawczy, znany jako V*, pokazuje, że o3 osiąga dokładność na poziomie 95,7%. Jednak modele wciąż mają pewne wady, ponieważ, jak stwierdza OpenAI, mogą one produkować błędy wynikające z nadmiernego myślenia oraz podstawowe błędy percepcji.

OpenAI wprowadziło tę aktualizację jako część swojej inicjatywy mającej na celu rozwijanie systemów AI, które myślą w sposób podobny do ludzi. Modele wymagają obszernej sekwencji myślenia do funkcjonowania, co oznacza, że potrzebują dodatkowego czasu na obsługę skomplikowanych pytań. Integrują też narzędzia takie jak generowanie obrazów, wyszukiwanie w Internecie oraz analizę kodu Python, aby dawać bardziej precyzyjne i kreatywne odpowiedzi.

Jednak istnieją pewne ograniczenia. Modele czasami przetwarzają nadmierną ilość informacji, popełniają błędy percepcyjne i zmieniają swoje podejścia do rozumowania między próbami. Firma pracuje nad poprawą niezawodności i spójności modeli.

Zarówno o3 jak i o4-mini są teraz dostępne dla użytkowników ChatGPT Plus (20 dolarów/miesiąc) oraz Pro (200 dolarów/miesiąc). OpenAI wydało również Codex CLI, nowe narzędzie open source, które ma pomóc programistom uruchamiać te modele AI obok swojego własnego kodu.

Podczas gdy OpenAI boryka się z wyzwaniami prawnymi dotyczącymi wykorzystania treści, jego technologia rozumowania wizualnego pokazuje, jak AI zbliża się do rozwiązania rzeczywistych problemów w sposób bardziej ludzki.