GPT-6.1 Sol v teste Sonar: viac kódu, menej chýb na riadok, no viac chýb celkovo

Nové modely umelej inteligencie sa zvyknú prezentovať jedným číslom, napríklad percentom vyriešených úloh. Pre vývojárov je však dôležitejšie, čo sa stane s kódom, ktorý model napíše, a koľko práce zostane ľuďom pri kontrole. Nezávislé hodnotenie spoločnosti Sonar zverejnené 9. októbra 2026 ukazuje na modeli GPT-6.1 Sol od OpenAI, že obraz nie je jednoznačný: viac kódu, menej chýb na riadok, no viac chýb celkovo.

Čo Sonar testoval

Sonar porovnal model GPT-6.1 Sol s jeho predchodcom GPT-6 Sol na zostave 4 444 programátorských úloh v jazyku Java pri strednej úrovni „reasoning“ (miera, do akej sa model pred odpoveďou zamýšľa). Výsledný kód potom analyzoval svojimi nástrojmi na kvalitu a bezpečnosť. Ide o testovaciu zostavu v jednom jazyku a nemusí predstavovať každodennú prácu v iných jazykoch alebo projektoch.

Čo výsledky ukazujú

Viac kódu a vyššia úspešnosť

• Úspešnosť v testoch dosiahla 85,29 %, čo je o 2,2 percentuálneho bodu viac než pri predchodcovi.
• Model vygeneroval 669 155 riadkov kódu oproti 480 125, teda o 39,4 % viac.
• Spotreba „reasoning“ tokenov klesla podľa Sonar o 51,4 %.

Menšia hustota nálezov

Všetky hodnoty hustoty nálezov na tisíc alebo milión riadkov kódu klesli. Hustota zraniteľností klesla o 32,4 % a zložitosť kódu zostala približne rovnaká (kognitívna zložitosť klesla o 1,6 %). Na riadok kódu je teda výstup čistejší.

Ale viac práce na kontrolu

Absolútne počty ukazujú iný obraz, pretože kódu je viac:

• Chýb (bugov) bolo 407 oproti 302, teda o 34,8 % viac.
• Zápachov kódu (code smells) pribudlo o 32,1 %.
• Zraniteľností bolo 129 oproti 137, teda o 5,8 % menej.
• Celkový počet nálezov stúpol z 9 859 na 12 982.
• Kritických nálezov v oblasti spoľahlivosti pribudlo z 21 na 46.

Najväčšou kategóriou chýb zostali problémy so súbežnosťou (concurrency a threading): ich počet vzrástol z 116 na 196 a tvoria 48 % všetkých chýb, oproti 38 % predtým.

Ako to čítať

Sonar sám upozorňuje, že čísla treba čítať spolu s objemom kódu: na riadok je model čistejší, ale vďaka väčšiemu množstvu kódu sa kopa práce, ktorú musí človek posúdiť, zväčšuje. Pre tím to znamená rozpočtovať kapacitu na revíziu a nespoliehať sa len na to, že „nižšia hustota chýb“ znamená menej práce.

Iné nezávislé merania sa líšia

Ďalší nezávislý porovnávač chýb, ktorý sleduje reálne nasadenie agentov v kóde, zaradil GPT-6.1 Sol v polovici októbra 2026 na štvrté miesto zo siedmich s relatívnou mierou chýb 1,23, teda o 23 % viac chýb než priemer. Predchodcu s označením GPT-5.6 Sol uvádzal s menším počtom chýb na riadok. Metodiky sa líšia: jeden test hodnotí zostavu úloh v Jave, druhý skutočné zásahy v repozitároch. Preto nemožno z jedného čísla vyvodiť, že model je „lepší“ vo všeobecnosti.

Čo nemáme potvrdené

• „Lacné a masívne generovanie kódu.“ Cenu modelu ani porovnanie nákladov sme v hodnotení Sonar nenašli.
• „Menej chýb po prechode z GPT-6 Sol na GPT-6.1 Sol.“ Na riadok áno, absolútne nie. Pri tomto teste pribudlo chýb o tretinu.
• Že výsledky platia pre iné jazyky než Java. Test ich nepokrýva.

Čo z toho vyplýva pre vývojárov

• Pri hodnotení modelu sledujte nielen percento úspešnosti, ale aj absolútny počet nálezov a ich závažnosť.
• Vygenerovaný kód prechádzajte statickou analýzou a revíziou, najmä čo sa týka súbežnosti a vlákien, ktoré sú podľa merania najčastejším zdrojom chýb.
• Pred zmenou modelu otestujte ho na vlastnom projekte, nie len podľa všeobecných výsledkov.

Záver

GPT-6.1 Sol podľa Sonar zlepšil úspešnosť aj hustotu nálezov, no za cenu výrazne väčšieho objemu kódu a viacerých chýb v absolútnom vyjadrení. Je to užitočná pripomienka, že metriky „na riadok“ a „celkovo“ hovoria rôzne veci. Ako dobrý je model v programovaní, rozhodne až meranie na vašom kóde, nie jedno percento z tabuľky.