U "Zvjezdanim stazama: Sljedeća generacija" kapetan Picard i posada USS Enterprisea koriste holodeck, praznu sobu sposobnu za generiranje 3D okruženja, kako bi se pripremili za misije i zabavili se, simulirajući sve od bujne džungle do Londona iz doba Sherlocka Holmesa.

Duboko prožimajuća i potpuno interaktivna okruženja stvorena holodeckom beskonačno su prilagodljiva i ne koriste ništa osim jezika: posada treba samo zatražiti od računala da generira okruženje i taj se prostor pojavljuje u holodecku.

Manjkava okruženja

U stvarnom svijetu, virtualna interaktivna okruženja danas se koriste za obuku robota prije implementacije u procesu nazvanom Sim2Real. Međutim, virtualna interaktivna okruženja bila su iznenađujuće manjkava. Ta se okruženja stvaraju ručno, a proces od rasporeda prostora, preko postavljanja objekata, do boja korištenih u renderiranju može trajati danima.

Žele li koristiti generativne AI tehnike za razvoj robota koji se mogu sigurno kretati u okruženjima stvarnog svijeta, inženjeri će morati stvoriti milijune ili milijarde simuliranih okruženja. A tu u igru ulazi Holodeck, sustav za generiranje interaktivnih 3D okruženja koji su osmislili inženjeri računalih i informatičkih znanosti Penn Engineeringa uz pomoće kolega sa Stanforda, Sveučilišta Washington i Allenovog instituta za umjetnu inteligenciju.

Nazvan po svom prethodniku "Zvjezdanih staza", Holodeck generira gotovo neograničen raspon unutarnjih okruženja, koristeći AI za tumačenje zahtjeva korisnika. 

Kako radi Holodeck

Holodeck iskorištava znanje ugrađeno u velike jezične modele (LLM), sustave na kojima se temelje ChatGPT i drugi chatbotovi. Zahvaljujući golemim količinama teksta koje unose tijekom obuke, LLM-ovi posjeduju iznenađujuće visok stupanj znanja o dizajnu prostora. U biti, Holodeck radi uključivanjem LLM-a u razgovor, koristeći pažljivo strukturiranu seriju skrivenih upita za rastavljanje korisničkih zahtjeva na određene parametre. 

Sustav izvršava upit tako što ga dijeli u više koraka: prvo se stvaraju pod i zidovi, zatim vrata i prozori. Holodeck potom pretražuje Objaverse, ogromnu biblioteku unaprijed izrađenih digitalnih objekata, tražeći vrstu namještaja koju biste mogli očekivati ​​u željenom prostoru. 

Usporedba rezultata

Uspoređujući rezultate Holodecka s rezultatima ProcTHOR-a, generiranih korištenjem pravila koje je stvorio čovjek, a ne teksta generiranog umjetnom inteligencijom, pokazalo se kako ljudi preferiraju scene koje je stvorio Holodeck, bez obzira na to je li osmislio izgled i raspored znanstvenih laboratorija, umjetničkih studija, svlačionica ili vinskih podruma. 

U više vrsta virtualnih prostora, uključujući urede, vrtiće, teretane i arkade, Holodeck je imao izražen i pozitivan učinak na agentovu sposobnost snalaženja u novim prostorima.

Uz pomoć ProcTHOR-a obučen agent uspješno je pronašao klavir u glazbenoj sobi u samo 6% slučajeva i to nakon 400 milijuna virtualnih koraka; istovremeno, klavir je uspio pronaći u više od 30% vremena nakon što je fino podešen s pomoću 100 glazbenih soba koje je generirao Holodeck. 

Sve mogućnosti Holodecka njegovi će tvorci predstaviti u lipnju na Konferenciji o računalnom vidu i prepoznavanju uzoraka CVPR u Seattleu.