Lokálna umelá inteligencia: Prečo AI prestáva závisieť od cloudu

Zhrnutie dlhého e-mailu, prepis hlasovej správy alebo roztriedenie notifikácií: čoraz viac takýchto úloh zvládne zariadenie bez odoslania čohokoľvek na server. Umožnili to dva vývojové trendy. Prvým sú špecializované čipy v telefónoch a notebookoch, druhým malé jazykové modely, ktoré sa zmestia do obmedzenej pamäte. Označenie „koniec cloudu“ by ale bolo prehnané. Skôr sa mení rozdelenie práce medzi zariadením a dátovým centrom.

Čo je lokálna umelá inteligencia a prečo ju umožnili malé modely

Lokálna umelá inteligencia (v odbornej reči edge AI alebo on-device AI) znamená, že model beží priamo na zariadení používateľa. Vstup sa spracuje v telefóne alebo notebooku a výsledok vznikne bez cesty cez internet. Zariadenie preto nepotrebuje pripojenie a odpoveď prichádza bez oneskorenia spôsobeného sieťou.

LLM vs. SLM: na čo stačí malý model

Veľké jazykové modely (LLM) majú stovky miliárd parametrov a bežia v dátových centrách. Malé jazykové modely (SLM) majú typicky približne 1 až 10 miliárd parametrov. Nesnažia sa vedieť všetko. Sú navrhnuté na vymedzený okruh úloh, napríklad zhrnutie textu, jeho prepísanie, klasifikáciu alebo odpovede na otázky o obsahu na obrazovke.

Na zhrnutie e-mailu alebo zaradenie notifikácie do kategórie nie je potrebný model, ktorý zvládne aj zložité viackrokové uvažovanie. Takýto malý model býva výrazne rýchlejší a lacnejší na prevádzku. Má však zjavný strop: je menej univerzálny ako najväčšie modely v cloude.

Ako sa model zmestí do telefónu

Okrem trénovania modelov tak, aby boli od začiatku malé, sa používa aj kompresia. Napríklad kvantizácia znižuje číselnú presnosť váh modelu, čím sa zmenší jeho objem aj nároky na pamäť. Za to sa platí miernou stratou kvality, ktorú treba pri konkrétnej úlohe otestovať.

NPU: prečo majú nové čipy neurónové jednotky

NPU (neural processing unit) je časť čipu navrhnutá na maticové výpočty, na ktorých stoja neurónové siete. Tieto operácie zvláda s nižšou spotrebou než univerzálny procesor. Výkon sa udáva v TOPS, teda v biliónoch operácií za sekundu.

Trh sa tým výrazne mení. Podľa odhadu Counterpoint Research majú telefóny schopné spúšťať AI modely lokálne dosiahnuť v roku 2026 približne 45 % celosvetových dodávok smartfónov, zatiaľ čo v roku 2025 to bolo 36 %. Analytici Gartneru za „GenAI smartfón“ považujú zariadenie s NPU schopnou spúšťať malé jazykové modely lokálne. Podľa ich prognózy sa do roku 2027 stane v prémiových telefónoch štandardom NPU s výkonom nad 40 TOPS.

Čo NPU nedokáže

Čísla v TOPS sú marketingovo atraktívne, no samy o sebe veľa nepovedia. NPU je určená na malé, dlhodobo bežiace úlohy a systémové AI funkcie, nie na spúšťanie obrovských modelov. Prakticky to komplikuje aj softvér: obľúbené nástroje na lokálne spúšťanie modelov často NPU nevyužívajú, pretože ju treba obsluhovať modelmi prevedenými do iného formátu a skompilovanými pre konkrétneho výrobcu čipu. Aj preto sa výkon z tabuľky v praxi často nepremietne do výsledku.

Súkromie: čo lokálne spracovanie zaručuje a čo nie

Hlavným argumentom pre lokálnu AI je ochrana údajov. Ak asistent číta správy, e-maily a analyzuje fotografie, je rozdiel, či sa to deje v zariadení, alebo na cudzom serveri. Pri úlohách spracovaných výlučne lokálne dáta zariadenie neopúšťajú.

Realita je však zložitejšia. Odborníci dnes za štandardnú architektúru považujú hybridný model. Lokálny model rieši rutinné úlohy citlivé na latenciu a súkromie, kým náročné alebo zriedkavé prípady sa posúvajú väčším modelom v cloude. Pri konkrétnej funkcii preto stojí za to zistiť, kedy sa spracovanie presúva mimo zariadenie a či o tom výrobca informuje. Samotné zariadenie sa navyše stáva cieľom útokov, takže jeho zabezpečenie je rovnako dôležité ako pri cloudovom riešení.

Batéria, chladenie a pamäť RAM

Prečo rastú nároky na RAM

Model musí byť počas používania načítaný v pamäti. Aj malý model môže zaberať okolo 1,8 GB, čo je pamäť, ktorú nemá k dispozícii zvyšok systému. Podľa jedného z vývojárov z oblasti open-source AI je 6 až 8 GB RAM „ideálny bod“ na to, aby bol model stále načítaný popri ostatných funkciách systému.

Výrobcovia na to reagujú. Niektorí podľa dostupných správ viažu najvýkonnejšie lokálne funkcie na zariadenia s aspoň 12 GB pamäte, pričom modely s 8 GB sú už pod touto hranicou. Pre notebooky s označením AI PC stanovili niektorí výrobcovia platforiem minimum 16 GB. Tvrdenie, že 8 GB je „definitívne minulosťou“, by bolo príliš silné: základné funkcie bežia aj na nej. Pamäť sa ale mení na hranicu, ktorá oddeľuje základnú AI od tej schopnejšej.

Energia a teplo

Aj pri efektívnej NPU platí, že dlhodobé spracovanie AI spotrebúva energiu a vytvára teplo, a oboje je v zariadení napájanom batériou obmedzený zdroj. Preto sú dnes lokálne funkcie navrhnuté na krátke a rýchle úlohy, nie na nepretržitú záťaž. Pre užívateľa to znamená, že pri intenzívnom využívaní treba počítať s vyššou spotrebou aj s ohrievaním telefónu.

Cloud nezmizne

Podľa predpovedí konzultačnej spoločnosti Deloitte pôjde takmer všetok výpočtový výkon na AI aj v roku 2026 stále cez dátové centrá a výkonné firemné servery, nie cez telefóny a počítače. Dôvod je jednoduchý: dnešné NPU sú stavané na ľahšie a jednorazové úlohy, nie na dlhé náročné výpočty. Lokálna AI preto cloud skôr dopĺňa, než nahrádza.

Záver

Malé jazykové modely a NPU nepreberajú všetko. Stačia však na rutinné úlohy, pri ktorých záleží na rýchlosti a súkromí, a tie tvoria väčšinu toho, čo od telefónu bežne chceme. Pre kupujúceho z toho vyplýva praktické pravidlo: pri výbere zariadenia sleduje okrem TOPS najmä veľkosť pamäte a to, ktoré funkcie bežia lokálne a ktoré cez cloud. Najpresnejší obraz zatiaľ ponúka hybridný model, v ktorom si zariadenie a dátové centrum rozdeľujú prácu.