LegoGPT: AI Przekształca Tekstowe Wskazówki w Kreacje z Lego

Image by Xavi Cabrera, from Unsplash

LegoGPT: AI Przekształca Tekstowe Wskazówki w Kreacje z Lego

Przeczytasz w: 2 min

Badacze z Uniwersytetu Carnegie Mellon wprowadzili LegoGPT, nowy system AI, który tworzy realne konstrukcje z klocków Lego na podstawie pisemnych opisów.

W pośpiechu? Oto najważniejsze informacje:

  • Zapewnia stabilność fizyczną, korzystając z fizycznie świadomego powrotu.
  • Przeszkolony na 47 000 stabilnych strukturach Lego oraz opisach GPT-4o.
  • Używa tylko 8 typów klocków w przestrzeni 20×20×20.

To pierwsza tego typu sztuczna inteligencja, która nie tylko podąża za tekstem-podpowiedzią, takim jak „smukły, wydłużony statek”, ale także gwarantuje, że powstała konstrukcja jest fizycznie stabilna i może być zbudowana, klocek po klocku.

„Aby to osiągnąć, tworzymy duże, fizycznie stabilne zestawy danych z projektami LEGO, wraz z ich powiązanymi podpisami” – wyjaśnił zespół w swoim artykule badawczym.

LegoGPT został przeszkolony, wykorzystując ponad 47 000 stabilnych modeli Lego w parze z detalami podpisów generowanych przez GPT-4o. Modele te zostały zbudowane z kształtów 3D, przekształcone w struktury Lego, a następnie przetestowane pod kątem stabilności w rzeczywistym świecie za pomocą symulacji fizycznych.

Każda struktura została również opisana z 24 perspektyw, aby AI mogła nauczyć się, jak powinny wyglądać różne projekty w słowach.

Zespół użył specjalnej techniki zwanej „cofanie z uwzględnieniem praw fizyki”, gdzie niestabilne części projektu są usuwane i odbudowywane, dopóki cała struktura się nie utrzyma. Dzięki temu zwiększyły się wskaźniki udanych budow z 24% do 98,8%.

Model AI, oparty na LLaMA-3.2-Instruct firmy Meta, przewiduje, który klocek Lego powinien zostać położony następny – podobnie jak ChatGPT przewiduje następne słowo. Każdy sugerowany klocek jest sprawdzany pod kątem umiejscowienia, rozmiaru i potencjalnych kolizji, zanim zostanie dodany do modelu.

Twórczości LegoGPT mogą budować zarówno ludzie, jak i roboty. „Nasze eksperymenty pokazują, że LegoGPT produkuje stabilne, różnorodne i estetycznie przyjemne projekty Lego, które ściśle korelują z podanymi tekstowymi komendami” – napisali naukowcy.

Na razie, LegoGPT korzysta tylko z ośmiu podstawowych typów klocków i działa w przestrzeni 20×20×20, ale zespół ma nadzieję na jej rozbudowę.

Ich pełny zestaw danych, kod i model są dostępne za darmo, więc inni mogą kontynuować prace nad tym badaniem. Alternatywnie, możesz po prostu pobawić się ich demonstracją.

Spodobał Ci się ten artykuł? Oceń go!
Był okropny Nie podobał mi się Był w porządku Był całkiem dobry! Był super!

Cieszymy się, że doceniasz to, co robimy!

Cenimy Twoją opinię. Czy możemy liczyć na ocenę na Trustpilot? Zajmie Ci to tylko chwilę. Będziemy zobowiązani. Dziękujemy za wsparcie!

Oceń nas na Trustpilot
0 Na podstawie głosów 0 użytkowników
Tytuł
Komentarz
Dziękujemy za Twoją opinię