Sg.hu - A Microsoft új, rendkívül hatékony mesterséges intelligencia modellje nem igényel GPU-t!
A Microsoft kutatói örömmel osztották meg, hogy sikerült megalkotniuk a legnagyobb léptékű 1-bites mesterséges intelligenciamodellt, melyet "bitnet" néven ismerünk. Ez a BitNet b1.58 2B4T modell egy MIT licenc keretein belül nyíltan hozzáférhető, és képes működni különféle CPU-kon, beleértve az Apple M2-t is.
A bitnetek alapvetően tömörített modellek, amelyeket kifejezetten gyengébb hardvereken való futtatásra optimalizáltak. A hagyományos modellek súlyai, amelyek a modell belső struktúráját szabályozzák, gyakran kvantálva vannak, így ezek a modellek széleskörűen alkalmazhatók különféle gépeken. A súlyok kvantálása csökkenti a súlyok tárolásához szükséges bitek számát – ezek a számítógép által feldolgozott legkisebb adategységek –, lehetővé téve, hogy a modellek alacsonyabb memóriakapacitású chipeken is gyorsabban működjenek. A bitnetek esetében a súlyok csupán három értékre vannak kvantálva, ami elméletileg hatékonyabbá teszi őket memória- és számítási szempontból, mint a legtöbb jelenlegi modell.
A Microsoft kutatói által végzett új tanulmány szerint a BitNet b1.58 2B4T az első olyan neurális hálózat, amely 2 milliárd paraméterrel rendelkezik – a "paraméterek" kifejezés itt nagyrészt a "súlyok" fogalmával azonosítható. A kutatók megállapítása szerint ez a modell egy hatalmas, 4 trillió tokenből álló adathalmazon lett tréningezve, ami körülbelül 33 millió könyvnek felel meg. A BitNet b1.58 2B4T teljesítménye lenyűgöző, hiszen jelentősen felülmúlja a hasonló méretű hagyományos modellek eredményeit.
A BitNet b1.58 2B4T nem söpri fel a padlót a rivális 2 milliárd paraméteres modellekkel szemben, de látszólag megállja a helyét. A kutatók tesztjei szerint a modell felülmúlja a Meta Llama 3.2 1B, a Google Gemma 3 1B és az Alibaba Qwen 2.5 1.5B modelljét olyan benchmarkokon, mint a GSM8K (általános iskolai szintű matematikai feladatok gyűjteménye) és a PIQA (amely a fizikai, józan gondolkodás képességét teszteli). Talán még lenyűgözőbb, hogy a BitNet b1.58 2B4T gyorsabb, mint más, hasonló méretű modellek - egyes esetekben kétszer gyorsabb -, miközben a memória töredékét használja.
Van azonban egy fontos megkötés. A Microsoft egyedi keretrendszerének, a bitnet.cpp-nek a használatára van szükség a kívánt teljesítmény eléréséhez, ám ez jelenleg csak bizonyos hardverekkel működik. A támogatott chipek listáján nincsenek rajta a GPU-k, amelyek dominálnak a mesterséges intelligencia környezetében. Ez azt jelenti, hogy a bitnetek ígéretes lehetőségeket kínálnak, különösen az erőforrás-korlátozott eszközök számára. A kompatibilitás azonban jelentős akadályt jelent – és valószínűleg ez a helyzet a jövőben sem fog változni.
