Kivételes innováció: egy mérnök sikeresen miniaturizált egy nagy nyelvi modellt, így az zsebben is könnyedén elfér.
Nem kell mindig nagy hardver a nagy ötletekhez: egy mérnöknek sikerült úgy kicsinyítenie egy nagy nyelvi modellt, hogy az ráfér egy pendrive-ra.
A nagy nyelvi modellek (LLM-ek) a mesterséges intelligencia speciális ágát képviselik: a természetes nyelvi feldolgozásra összpontosítanak. Ezek a modellek, élükön a GPT-vel képesek szövegeket megérteni, elemezni és létrehozni. Korszerű változataik több tíz- vagy akár százmilliárd paramétert is felhasználnak válaszaik generálásához. Nem véletlen, hogy óriási számítási teljesítményt, hatalmas adatközpontokat igényelnek - fel is róják gyakran, hogy mennyire nem kímélik a környezetet.
Azonban a nagy nyelvi modelleknek nem is kell annyira nagynak lenniük ahhoz, hogy működjenek. Vannak korlátozott hardveres, fogyasztói PC-kre tervezett LLM-ek is, sőt, egy találékony szoftvermérnök, a YouTuber Binh valami még kisebbet és hordozhatóbbat tervezett, és egy kicsi USB-meghajtóra helyezett egy "nagy" nyelvi modellt.
Ez a flash-drive azonban nem a megszokott fajtából való - magyarázza a Hackaday. Egyedi 3D-nyomtatott tokjában egy apró Raspberry Pi Zero W számítógép bújik meg. Ezen a szerény teljesítményű hardveren fut a llama.cpp, amely a Meta LLaMA modell könnyített verzióját képviseli. Bár mindez egyszerűnek tűnik, a szoftver telepítése nem volt zökkenőmentes a Raspberry Pi-n. A llama.cpp legfrissebb kiadása ugyanis ARMv8 processzorokhoz lett optimalizálva, míg a Raspberry Pi Zero W a régebbi ARMv6 utasításkészletet használta. Ennek következtében alaposan át kellett alakítani a forráskódot, eltávolítva az ARMv8-specifikus optimalizálásokat.
Azonban a feladat itt még nem ért véget. Gondoskodni kellett arról is, hogy az LLM zökkenőmentesen működjön bármilyen számítógépen, anélkül, hogy bármilyen különleges illesztőprogramra lenne szükség, és hogy a használata a lehető legegyszerűbb legyen. Binh ügyesen megoldotta ezt a kihívást: az LLM használatához mindössze annyit kell tennie, hogy csatlakoztat egy USB-meghajtót, létrehoz egy üres szövegfájlt, amelyet elnevez. Ezt követően a modell automatikusan elkezdi generálni a szöveget, és elmenti azt a fájlba. Mivel az LLM-mel kizárólag a fájlrendszeren keresztül lehet interakcióba lépni, így elérhetővé válik telefonokon, táblagépeken vagy akár tévéken is, feltéve, hogy az eszköz USB-porttal és fájlkezelő funkcióval rendelkezik.
Ez a megoldás persze messze nem olyan gyors, mint azok, amelyek mögött felhő alapú számítástechnika áll, viszont nagyszerű bizonyítéka a koncepciónak. Binh szerint ez az első plug-and-play USB-alapú LLM a világon, és ebben valószínűleg igaza van. Az igazsághoz persze hozzátartozik, hogy jelenleg nem kínál valós használati esetet, mivel nagyon lassú, viszont a megoldás rávilágít arra, hogy milyen lehet a beágyazott LLM a jövőben. Az egyszerűségen és a hordozhatóságon kívüli nagy előnye, hogy míg a nagy modellek rengeteg energiát igényelnek, ami hozzájárul a szén-dioxid-kibocsátáshoz, az ilyen kisebb, hatékonyabb modellek csökkenthetik ezt a karbonlábnyomot.
