Ez a kérdés az összes mesterséges intelligencián kifog

Képtelenek megérteni a nagyon egyszerű fejtörőt a jelenlegi modellek.

A generatív mesterséges intelligenciás chatbotok időnként lenyűgözőnek ható válaszokat adnak a feltett kérdésekre, de jelen pillanatban még szinte teljesen statisztikai elven működnek, nagyon limitált mértékben képesek ténylegesen gondolkodni. A jelenségre most látványos példát hozott a MI-kutatással foglalkozó LAION nonprofit, egy nagyon egyszerű logikai kérdéssel bizonyította, hogy a jelenleg elérhető nyelvi modellek mennyire nem állnak a helyzet magaslatán, mikor az emberek számára magától értetődő kontextusban kell megérteniük a világot.

A kutatók által használt fejtörő nagyon egyszerű, többféle megfogalmazásban is feltehető a chatbotoknak, de alapvetően így szól: ha Aliznak X fiútestvére és Y lánytestvére van, akkor hány lánytestvére van Alíz fiútestvéreinek?

Ezt némi gondolkodás után már általános iskola alsó tagozatában is meg tudják oldani a gyerekek. Ha feltételezzük, hogy Aliznak két fiútestvére és három lánytestvére van, akkor a fiútestvéreinek Alizzal együtt négy lánytestvérük van.

A kutatók szerint a feladványt csak a legújabb OpenAI GPT-4o modell tudta úgy-ahogy megoldani, a kérdés konkrét megfogalmazásának függvényében 65% sikerességgel.

A korábbi GPT-3, a GPT-4, az Anthropic Claude 3 Opus, a Google Gemini, a Meta Llama, a Mistral AI Mextral, a Mosaic Dbrx, továbbá a Cohere Command R+ megfogalmazástól függetlenül képtelenek voltak megérteni, hibás gondolatmeneteket követően téves válaszokat adtak a fejtörőre.

Ami ennél is meglepőbb, hogy a modellek gyakran „felháborodtak”, mikor a kutatók rámutattak a tévedésükre és elmagyarázták annak az okát. Reakcióként újabb nonszensz érvelésekkel álltak elő, hogy meggyőzzék a felhasználókat a rossz válaszaik helyességéről.

Ha szeretne még több érdekes techhírt olvasni, akkor kövesse az Origo Techbázis Facebook-oldalát, kattintson ide!