• A mesterségesintelligencia-modellek nemzetközi ranglistáin elért kiemelkedő eredmény önmagában még nem garancia arra, hogy egy vállalat számára az adott technológia jelenti a legjobb üzleti megoldást.
• Egy rosszul megválasztott MI-rendszer költségeit a pontatlan válaszok javítása, az emberi beavatkozás és a meglévő vállalati rendszerekhez való illesztés is jelentősen megnövelheti.
• A vállalatoknak ezért nem a látványos teszteredmények, hanem a saját feladataikon bizonyított teljesítmény, a megbízhatóság és a teljes működési költség alapján kell dönteniük.

Egy ügyfélszolgálati rendszer beszerzésénél meggyőző érvnek tűnhet, hogy a szállító modellje a nemzetközi tesztek élmezőnyében szerepel. A ranglista alapján egyszerűnek látszik a választás. A vállalat költségeit azonban az is alakítja, mennyi választ kell javítani, és mennyi munkával kapcsolható az új rendszer a meglévő ügyféladatbázishoz.

Ha ezek csak a szerződéskötés után derülnek ki, a néhány tizedpontos előny könnyen elveszítheti a jelentőségét. Éppen ezért hibás beszerzési gyakorlatnak tartom, ha egy általános teszt eredménye helyettesíti a vállalat saját próbáját. Egy technológiai rangsor első helyezettje is lehet rossz választás egy konkrét munkafolyamatra.

A kilencven százalék könnyen félrevezet

A nyelvi modellek teljesítményét szabványosított feladatsorokkal, úgynevezett benchmarkokkal mérik.

Az egyik legismertebb ilyen teszt, az MMLU, sokféle tantárgy feleletválasztós kérdéseit tartalmazza. A később megjelent MMLU-Pro nehezebb, több következtetést igénylő feladatokkal és több válaszlehetőséggel próbálja megkülönböztetni a modelleket.

Az elméleti kilencven százalék azt jelenti, hogy a modell egy adott kérdéssoron ilyen arányban találta el az elvárt választ. Ebből még nem tudjuk, hogyan boldogul a vállalat hiányos belső dokumentumaival vagy egy szokatlanul megfogalmazott magyar ügyfélpanasszal. Az ügyfélszolgálati megkeresések kilencven százalékának önálló kezelését pedig végképp nem lehet ebből levezetni.

Az átlag a hibák gazdasági súlyát is elfedi. Egy könnyen javítható pontatlanság és egy ügyfél elvesztéséhez vezető tévedés egészen más költséget jelenthet.

A bevezetésnél ezért azt is mérni kell, milyen hibákat követ el a rendszer, és mennyi emberi munka kell a kijavításukhoz.

A ranglisták mögött is van bizonytalanság

Ráadásul maga a mérce is lehet hibás. Egy 2025-ben megjelent kutatás az MMLU kérdéseinek felülvizsgálata alapján 6,49 százalékra becsülte a hibás kérdések arányát. Ez is indokolja, hogy a kisebb pontszámkülönbségeket a mérési eljárással és az eredmények bizonytalanságával együtt értékeljük.

Egy néhány tizedpontos előny önmagában gyenge érv egy hosszú távú szerződés mellett. A különbség jelentőségét csak összehasonlítható mérési feltételek között lehet megítélni, üzleti értékét pedig a vállalat saját feladatain kell igazolni.

A Stanford 2026-os MI-jelentése is a vezető modellek közötti különbségek szűkülését emeli ki, és a költség, a megbízhatóság, valamint a gyakorlati hasznosság növekvő versenybeli szerepére hívja fel a figyelmet. A beszerző számára ebből az következik, hogy a szolgáltatás egészét kell összehasonlítania. A válaszidő és az üzemeltetési feltételek olyan különbséget is jelenthetnek, amely egy általános tudásteszten nem látszik.

A jövőt könnyű túlbecsülni

A jelenlegi pontszámnál is kockázatosabb lehet a jövőbeli javulás ígérete. Egy látványosan emelkedő fejlődési görbéből könnyű arra következtetni, hogy a következő modellgeneráció már szinte hibátlanul dolgozik majd. Erre azonban különösen veszélyes megtérülési tervet építeni.

A cikk alapjául szolgáló kutatási kézirat 78 válogatott modelleredményt és a Hugging Face nyílt modellranglistáinak 10 735 megfigyelését dolgozta fel. A kutatásban bemutatott visszatesztek azt vizsgálták, mit jelzett volna előre a korábban rendelkezésre álló adatokra illesztett trend. Ezekben a próbákban a vizsgált trendbecslés nagyjából 3–7 százalékponttal felülbecsülte a később megfigyelt legjobb teszteredményt.

A trendbecslések ugyanakkor mindössze hét, illetve tizenegy rekordpontra támaszkodtak. A túlbecslés itt megfigyelt mértéke az adott mintára vonatkozik. Egy új modell konkrét teljesítményét ebből még nem lehet kiszámítani.

A fontos tanulság az, hogy egy múltbeli adatokhoz jól illeszkedő görbe a jövőre nézve komoly bizonytalanságot takarhat.

Az sem mindegy, milyen felső teljesítményszintet feltételezünk. Más jövőkép adódik, ha egy teszten a további javulás hamar lelassul, és más, ha a modellek közelítenek a hibátlan eredményhez. A vezetőnek ezért több lehetséges fejlődési pálya mellett érdemes megvizsgálnia a beruházás megtérülését.

Különösen indokolt ez akkor, ha a projekt csak egy még meg sem jelent modell képességeivel lenne gazdaságos. Ilyenkor a vállalat egy bizonytalan technológiai ígéret teljesülését is beárazza. Ennek a kockázatnak a beruházási döntésben és a szerződés feltételeiben is meg kell jelennie.

A várakozásnak is ára van

A modellek fejlődése az időzítést is nehezíti. Egy ma kiemelkedő teszteredmény később más modellekkel is elérhetővé válhat. A kutatásban illesztett görbék egyes pontszámoknál néhány hónapos, másoknál egy évnél hosszabb felzárkózási időt jeleztek az élvonal és az elemzésbe vont szélesebb modellmezőny között. Ebből nem következik biztos menetrend egy adott nyílt modell megjelenésére.

A várakozás értékét a konkrét feladat dönti el.

Ha egy később elérhető alternatíva érdemi megtakarítást hozhat, miközben a halasztással kevés üzleti haszon vész el, érdemes lehet kivárni. Ha viszont a jelenlegi rendszer már ma igazolható megtakarítást termelne, a halasztás hónapjai is pénzbe kerülnek.

A nyílt modell sem automatikusan olcsóbb. A saját környezetben való futtatás infrastruktúrát és szakértelmet igényelhet, a karbantartásnak is van költsége. A valódi összehasonlításhoz a teljes bevezetési és működési költséget kell számításba venni. A bemutatott kutatás ezt a költségkülönbséget nem számszerűsítette.

Ez a magyar kis- és középvállalkozásoknak is lényeges. Egy alacsonyabb közvetlen modellhasználati díj előnyét könnyen felemésztheti a működtetéshez szükséges többletmunka. Ugyanakkor egy jól körülhatárolt feladatra elegendő lehet egy szerényebb képességű rendszer is.

A saját feladaton dől el a verseny

A beszerzést ezért érdemes a vállalat korábbi, valós eseteiből összeállított próbával kezdeni.

Egy ügyfélszolgálatnál ilyenek lehetnek a rendszeresen visszatérő kérdések mellett a hiányos vagy ellentmondásos megkeresések. Előre rögzíteni kell, milyen választ fogadunk el, és mely hibák teszik szükségessé az emberi beavatkozást.

Ezután több megoldást azonos feltételek között lehet összehasonlítani. A mérésnek a javításra és ellenőrzésre fordított munkaidőre is ki kell terjednie. Így már kiszámítható, hogy a bevezetés mennyibe kerül egy megfelelően lezárt ügyre vetítve, és hogyan viszonyul ez a jelenlegi folyamathoz.

A kisebb léptékű bevezetés közben a vállalat a saját működéséről is tanul. Kiderülhet például, hogy a pontatlan válaszok egy részét a hiányos belső dokumentáció okozza. Ennek rendezése a később választott modelltől függetlenül is javíthatja a munka eredményességét.

A szerződésben pedig célszerű megőrizni a bővítés és a szolgáltatóváltás lehetőségét. A gyorsan változó kínálat mellett a rugalmasságnak mérhető gazdasági értéke lehet.

A magyar vállalatok versenyképességét az javítja, ha a mesterséges intelligencia használatával ténylegesen kevesebb erőforrásból tudnak jó munkát végezni. A beszerzési versenyt annak a rendszernek kell megnyernie, amelyik a vállalat saját feladatait megfelelő minőségben, a legkedvezőbb teljes költséggel végzi el.