A BBC tesztelte a legnépszerűbb mesterséges intelligenciákat, hogy azok mennyire dolgoznak pontosan, ha a hírek összefoglalásáról van szó. Az eredmény nem túl lelkesítő.
Az Apple nemrég bejelentette, felfüggeszti az Apple Intelligence azon funkcióját, amely hírösszefoglalókat küld a felhasználók iPhone-jára. Mindezt azután lépte meg a vállalat, hogy egyre több felhasználó kezdett panaszkodni a fejlesztésre, miután az álhíreket terjesztett úgy, mintha az a BBC-től származó valós információ lenne.
A BBC valószínűleg az esetből kiindulva kicsit alaposabban utánament annak, miként teljesítenek a chatbotok, ha a hírek összefoglalásáról van szó. A vállalat négy szolgáltatást tett próbára:
- a ChatGPT-t,
- a Copilotot,
- a Geminit, valamint
- a Perplexity AI-t.
Mindegyiknek 100 hírt mutatott meg a BBC weboldaláról, majd kérdéseket tett fel neki a tartalommal kapcsolatban. A lap úgy fogalmaz: a kapott eredmények
„jelentős pontatlanságokat és torzulásokat” tartalmaztak.
A vizsgálat során az MI válaszait a cikk témájának megfelelő szakértők értékelték ki. Az eredmény azt mutatta, hogy a hírekkel kapcsolatos kérdésekre adott összes mesterségesintelligencia-válasz 51 százalékával volt valamilyen jelentős probléma. Ezenkívül a BBC tartalmára hivatkozó válaszok 19 százaléka ténybeli tévedéseket, például helytelen tényállításokat, számokat és dátumokat tartalmazott.
Általánosságban elmondható, hogy a Copilot és a Gemini többször vétett és nagyobb mértékben, mint a másik két fejlesztés.
Deborah Turness, a BBC News vezérigazgatója szerint a mesterséges intelligencia végtelen lehetőséget rejt magában, ám a fejlesztők szemmel láthatólag a tűzzel játszanak. Szerinte csak idő kérdése, hogy egy MI által megfogalmazott rossz cím komoly károkat okozzon. Turness úgy véli, a cégeknek vissza kellene vonniuk a mesterséges intelligencia azon funkcióit, amelyek a híreket foglalják össze.
Pete Archer, a BBC generatív mesterséges intelligenciáért felelős igazgatója szerint a kiadóknak ellenőrizniük kell, hogy tartalmukat felhasználják-e a mesterséges intelligenciát fejlesztő vállalatok, és ha igen, akkor hogyan. Emellett a cégeknek meg kell mutatniuk, hogy hogyan dolgozzák fel az asszisztensek a híreket, valamint az általuk előállított hibák és pontatlanságok mértékét és terjedelmét.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.