LegoGPT: Prvi AI koji iz teksta stvara realne i stabilne Lego modele
Bilo je samo pitanje vremena kad će netko izraditi i to: model umjetne inteligencije koji iz tekstualnih opisa osmišljava realistične i u strukturalno stabilne kreacije od Lego kockica
Na američkom sveučilištu Carnegie Mellon stvoren je model umjetne inteligencije LegoGPT koji – kako možete pretpostaviti – stvara kreacije od Lego kockica na temelju tekstualnih opisa. Ono što je kod njega posebno bitno, jest činjenica da su mu kreacije stabilne i izrađene tako da se zaista mogu izraditi u stvarnosti.
Text-to-Lego
Kako bi stvorili ovaj model, istraživači su morali prvo izraditi veliku bazu strukturalno stabilnih kreacija od Lego kockica, zajedno s pripadajućim tekstualnim opisima, pa na tome trenirati veliki autoregresivni jezični model. On je tako dobio mogućnost predviđanja, umjesto sljedeće riječi u rečenici, sljedeće kockice koju je potrebno dodati na strukturu kako bi se postigao željeni rezultat. Tijekom procesa "osmišljavanja" digitalnog modela sustav provjerava njegov strukturalni integritet i uspoređuje ga s fizikalnim modelima da bi osigurao da on poštuje zakone fizike – tj. da se neće srušiti i da ga je moguće zaista i izraditi od pravih kockica.
Rezultat svega je LegoGPT, prvi AI model na svijetu koji može iz tekstualnog opisa izraditi realistične Lego kreacije, "stabilne, raznolike i oku ugodne", kako kažu autori modela. Na osnovni građevinski model nadograđen je i onaj koji kreacijama dodaje teksturu i boju, kako bi rezultati bili realističniji. Naposlijetku, tim istraživača je dokazao i da se njihovi AI generirani Lego setovi mogu sklapati u stvarnom svijetu, odnosno da ih izgraditi mogu ljudi, ali i robotske ruke.
O cijelom projektu objavljen i rad, dostupan na servisu arXiv, a autori su objavili i set podataka StableText2Lego, koji sadrži preko 47 tisuća Lego struktura i 28 tisuća detaljno opisanih pojedinačnih trodimenzionalnih objekata.
