
Image by Xavi Cabrera, from Unsplash
LegoGPT: AI Przekształca Tekstowe Wskazówki w Kreacje z Lego
Badacze z Uniwersytetu Carnegie Mellon wprowadzili LegoGPT, nowy system AI, który tworzy realne konstrukcje z klocków Lego na podstawie pisemnych opisów.
W pośpiechu? Oto najważniejsze informacje:
- Zapewnia stabilność fizyczną, korzystając z fizycznie świadomego powrotu.
- Przeszkolony na 47 000 stabilnych strukturach Lego oraz opisach GPT-4o.
- Używa tylko 8 typów klocków w przestrzeni 20×20×20.
To pierwsza tego typu sztuczna inteligencja, która nie tylko podąża za tekstem-podpowiedzią, takim jak „smukły, wydłużony statek”, ale także gwarantuje, że powstała konstrukcja jest fizycznie stabilna i może być zbudowana, klocek po klocku.
„Aby to osiągnąć, tworzymy duże, fizycznie stabilne zestawy danych z projektami LEGO, wraz z ich powiązanymi podpisami” – wyjaśnił zespół w swoim artykule badawczym.
LegoGPT został przeszkolony, wykorzystując ponad 47 000 stabilnych modeli Lego w parze z detalami podpisów generowanych przez GPT-4o. Modele te zostały zbudowane z kształtów 3D, przekształcone w struktury Lego, a następnie przetestowane pod kątem stabilności w rzeczywistym świecie za pomocą symulacji fizycznych.
Każda struktura została również opisana z 24 perspektyw, aby AI mogła nauczyć się, jak powinny wyglądać różne projekty w słowach.
Zespół użył specjalnej techniki zwanej „cofanie z uwzględnieniem praw fizyki”, gdzie niestabilne części projektu są usuwane i odbudowywane, dopóki cała struktura się nie utrzyma. Dzięki temu zwiększyły się wskaźniki udanych budow z 24% do 98,8%.
Model AI, oparty na LLaMA-3.2-Instruct firmy Meta, przewiduje, który klocek Lego powinien zostać położony następny – podobnie jak ChatGPT przewiduje następne słowo. Każdy sugerowany klocek jest sprawdzany pod kątem umiejscowienia, rozmiaru i potencjalnych kolizji, zanim zostanie dodany do modelu.
Twórczości LegoGPT mogą budować zarówno ludzie, jak i roboty. „Nasze eksperymenty pokazują, że LegoGPT produkuje stabilne, różnorodne i estetycznie przyjemne projekty Lego, które ściśle korelują z podanymi tekstowymi komendami” – napisali naukowcy.
Na razie, LegoGPT korzysta tylko z ośmiu podstawowych typów klocków i działa w przestrzeni 20×20×20, ale zespół ma nadzieję na jej rozbudowę.
Ich pełny zestaw danych, kod i model są dostępne za darmo, więc inni mogą kontynuować prace nad tym badaniem. Alternatywnie, możesz po prostu pobawić się ich demonstracją.