Što je destilacija modela? - Prijenos znanja

Destilacija modela predstavlja jednu od ključnih metoda u svijetu umjetne inteligencije, pogotovo u kontekstu demokratizacije korištenja modela te smanjenja potrebe za računalnim resursima, koja omogućuje prenošenje znanja s velikih, složenih modela (kao što je DeepSeek-R1 sa 671 milijardom parametara) na manje, učinkovitije inačice. Taj mehanizam omogućuje korištenje naprednih sposobnosti zaključivanja i na uređajima ograničenih resursa (čak i na prosječnim pametnim telefonima), uz smanjenje troškova i potrebe za računalnom snagom. Primjerice, destilirana inačica DeepSeek-R1-Distill-Llama-8B koristi samo osam milijardi parametara, ali zadržava više od 80 posto performansi izvornog modela u zadacima matematičkog zaključivanja.