Érdekes jelenségre derített fényt a VMWare szoftvercég, melynek kutatói megpróbálták finomhangolni egy chatbot-modellbe betáplált üzeneteket, és amikor az egyik esetben, arra kérték a mesterséges intelligenciát (MI), hogy beszéljen úgy, mintha egy Star Trek kapitánya lenne, az drámaian javította az általános iskolai szintű matematikai feladatok megoldási képességét. „Egyszerre meglepő és bosszantó, hogy triviális módosítások ilyen drámai ingadozásokat okozhatnak a teljesítményben” – vélik a tanulmány szerzői, Rick Battle és Teja Gollapudi.

Korábbi kutatások már mutatták, hogy a chatbotok pontosabban válaszolnak a matematikai problémákra, ha olyan barátságos motivációkat ajánlanak nekik, mint például: „Vegyünk egy mély levegőt, és dolgozzunk ezen lépésről lépésre”. A WMWare Natural Language Processing Lab munkatársai is arra vállalkoztak, hogy teszteljék kérdéseik „pozitív gondolkodással” történő megfogalmazásának hatásait. A tanulmány három mesterségesintelligencia-eszközt vizsgált, a Meta Llama 2 két verzióját (Llama2-13B6 és Llama2-70B7) és a francia Mistral AI cég modelljét, a Mistral-7B5-öt,

Azt feltételezték, hogy nyelvi modellrendszerek esetében, akárcsak más számítógépes rendszernél, a „pozitív gondolkodásnak” nem szabad befolyásolnia a teljesítményt. Azonban az empirikus tapasztalatok ennek az ellenkezőjét mutatták.

Először kidolgoztak egy listát a kérdések megfogalmazásának bátorító módjairól. Például a felszólításokat olyan kifejezésekkel kezdték, mint „Olyan okos vagy, mint a ChatGPT” vagy „Ön egy szakértő matematikus”, „Maga a matematika professzora”. Ilyen bátorítások után kellett megoldaniuk a MI-eszközöknek a GSM8K-t, az általános iskolai szintű matematikai feladatok adatkészletét. Minél jobb volt a végeredmény, annál sikeresebbnek ítélték a promptot. Az első szakaszban vegyes eredmények születtek, egyes felszólítások javították a válaszokat, mások jelentéktelen hatást fejtettek ki, de nem volt egységes minta.

A kutatók ezután a mesterséges intelligenciát kérték fel, hogy segítse ezen erőfeszítéseiket, azaz írjon ő maga olyan parancsokat magának, melyek jobb teljesítményt fognak eredményezni. Ekkor már jóval érdekesebb eredmények születtek. Ez az automatizált folyamat természetesen jóval hatékonyabb volt, mint a kutatók kézzel írt próbálkozásai, viszont a leghatékonyabbnak bizonyuló felszólítások „a várakozásokat messze meghaladó sajátosságokat mutattak”.

A legpontosabb megoldásokat meglepő módon akkor adták a chatbotok, amikor a „kapitányi napló” kifejezéssel kellett kezdeniük a választ. (A kapitányi napló a Star Trek univerzum ikonikus eleme, amely a cselekmény előmozdítására és a szereplők jellemfejlődésének bemutatására szolgál.) „Úgy tűnik, hogy a modell matematikai érvelésben való jártasságát fokozhatja a Star Trek iránti affinitás kifejezése” – írják a kutatók az arXiv szerveren közzétett tanulmányukban, hozzátéve, hogy a MI bevetése a kérdések megfogalmazásához olyan elemeket is bevezet, amelyeket önállóan nem vettek volna figyelembe vagy nem próbálták volna meg.

Ez jól mutatja, hogy számtalan tényező, köztük néha egészen váratlan dolgok is befolyásolják, hogy egy mesterséges intelligencia hogyan dönt egy feladat végrehajtásakor.

A magyarázattal kapcsolatban a kutatók is csak találgatnak. „Lehetséges például, hogy a modellt egy olyan adathalmazra képezték ki, amely több Star Trek esetet tartalmaz a helyes válaszhoz kapcsolva – mondta Battle a kutatásról hírt adó New Scientistnek. Szerinte azt mindenképp megmutatja a jelenség, hogy „mennyire bizarrok ezeknek a rendszereknek folyamatai, és milyen keveset tudunk a működésükről”.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.