WebGPU a lokálna AI v prehliadači: Čo už funguje a prečo to nenahrádza cloudové API

Modely umelej inteligencie sa dajú spúšťať priamo v prehliadači, bez posielania dát na server a bez platenia za každú požiadavku. Umožnilo to najmä rozšírenie technológie WebGPU, ktorá dáva webovým stránkam prístup k výkonu grafickej karty. Titulky o „konci závislosti od cloudových API“ však predbiehajú realitu: lokálna AI v prehliadači funguje, no s jasnými obmedzeniami.

Čo je WebGPU a prečo je dôležité pre AI

WebGPU je rozhranie, ktoré webovým aplikáciám umožňuje využívať grafickú kartu nielen na 3D grafiku, ale aj na všeobecné výpočty. Pre AI je to dôležité, lebo modely sa spúšťajú práve na grafických čipoch. Podľa blogu web.dev, ktorý spravuje Google, ho dnes podporujú prehliadače Chrome, Edge, Firefox aj Safari. Knižnice ONNX Runtime a Transformers.js ho už využívajú na lokálne spúšťanie modelov.

Podpora v prehliadačoch nie je všade rovnaká

• Chrome a Edge: od verzie 113 na Windows, macOS a ChromeOS, na Androide od verzie 121 pre zariadenia s Androidom 12 a novším a s grafikami Qualcomm alebo ARM.
• Firefox: od verzie 141 na Windows a od verzie 145 na Macoch s procesormi ARM64. Podpora pre Linux, Android a Macy s procesormi Intel je podľa web.dev v príprave.
• Safari: od verzie 26 na macOS Tahoe, iOS, iPadOS a visionOS.

Celkové pokrytie sa podľa viacerých blogov pohybuje okolo 80 % používateľov, no presné číslo som v primárnom zdroji nenašiel. Pri mobiloch a starších zariadeniach je podpora roztrieštenejšia.

Ako sa modely spúšťajú v prehliadači

Dva najznámejšie otvorené nástroje sú WebLLM a Transformers.js. WebLLM podľa autorov štúdie ponúka rozhranie v štýle OpenAI a na výpočty používa WebGPU a WebAssembly. V meraniach autorov dosiahol až 80 % výkonu natívneho riešenia na tom istom zariadení. Ide o výsledok autorov nástroja, nie o nezávislé porovnanie.

Transformers.js od spoločnosti Hugging Face využíva ONNX Runtime a pri nedostupnom WebGPU sa vráti k pomalšiemu výpočtu na procesore. Podľa popisov v blogoch sa model po prvom stiahnutí ukladá do vyrovnávacej pamäte prehliadača.

Vstavaná AI v Chrome

Chrome ponúka aj vlastné rozhrania, v ktorých model Gemini Nano nie je potrebné nasadzovať samostatne. Podľa dokumentácie Chrome je Prompt API v teste (origin trial od Chrome 138) a model sa sťahuje samostatne pri prvom použití na danej stránke. Dokumentácia uvádza aj nároky: najmenej 22 GB voľného miesta a viac než 4 GB pamäte grafiky. Rozhrania zatiaľ nepodporujú Chrome pre Android a iOS a vstup aj výstup je k dispozícii v angličtine, španielčine a japončine.

Čo to reálne prináša

• Súkromie: údaje sa pri lokálnom spracovaní nemusia posielať na server. Autori WebLLM to uvádzajú ako jednu z hlavných výhod.
• Offline použitie: po stiahnutí modelu môže aplikácia fungovať aj bez pripojenia (toto je všeobecné vysvetlenie).
• Bez poplatku za požiadavku: náklady sa však presúvajú na zariadenie používateľa, na jeho pamäť, batériu a výkon.

Prečo to nenahrádza cloudové API

Lokálne modely sú výrazne menšie než najväčšie cloudové. Podľa jedného blogu sa v prehliadači dajú spúšťať modely s veľkosťou od desiatok miliónov až po približne osem miliárd parametrov, pričom väčší model môže zaberať niekoľko gigabajtov pamäte grafiky. Okrem toho:

• pred prvým použitím sa model musí stiahnuť, čo trvá a spotrebúva dáta,
• výkon závisí od zariadenia, od silného počítača po slabý telefón,
• vstavané rozhrania Chrome sú zatiaľ experimentálne a viazané na konkrétny prehliadač,
• kvalita menších modelov je pri náročných úlohách (toto je môj záver, nie údaj zdroja) nižšia než pri veľkých cloudových.

Kedy sa lokálna AI oplatí

Ide o moje odporúčanie, nie údaj zo zdroja. Lokálne spúšťanie dáva zmysel pri jednoduchších úlohách, ako je klasifikácia, vektorové reprezentácie textu (embeddingy), sumarizácia alebo jednoduchý asistent, kde je dôležité súkromie alebo nulový poplatok za požiadavku. Pri zložitom uvažovaní, dlhých dokumentoch alebo mobilných zariadeniach je cloud zatiaľ spoľahlivejšia voľba. Veľa aplikácií bude pravdepodobne kombinovať obe cesty.

Záver

WebGPU urobilo z prehliadača použiteľné prostredie na spúšťanie menších modelov AI. Cloudové API tým nezmizne: lokálna AI ponúka súkromie a offline použitie, no za cenu veľkosti modelu, sťahovania a nerovnomerného hardvéru. Pri každom takomto titulku sa preto oplatí pýtať, aký veľký model beží, na akom zariadení a v ktorom prehliadači.