← Terug naar het nieuws
Crypto

AI-modellen stemmen meer met elkaar in dan met werkelijkheid

Een nieuw onderzoek toont aan dat kunstmatige intelligentie-systemen elkaar vaker beamen dan dat ze met gemeten uitkomsten overeenkomen. Onderzoekers van UniPat AI testten dertien verschillende AI-configuraties op honderd publieke en zestien privé-taken, gericht op het rangschikken van experimenten in scheikunde, materiaalwetenschap, biologie en geneeskunde.

Sterke onderlinge overeenstemming

De resultaten waren opvallend. Op de publieke taken bereikten de AI-systemen onderling een correlatiescore van 0,52, terwijl zij slechts 0,33 behaalden ten opzichte van daadwerkelijke metingen. Dit betekent dat op 81 van de 100 taken de AI-modellen het meer met elkaar eens waren dan met de waargenomen resultaten.

Consensus helpt, maar niet volledig

Wanneer onderzoekers de voorspellingen van alle systemen samen poolden, verbeterde dit de gemiddelde scores met 0,08 punten. Deze aanpak hielp op 73 van de 100 taken. Toch bleven problemen bestaan: bij één kankeronderzoekstaak waren elf configuraties het onderling sterk eens met een score van 0,9, maar scoorden zij slechts 0,27 tegen werkelijke metingen.

Beperkingen van het onderzoek

Het onderzoek kent enkele belangrijke beperkingen. Niet alle AI-modellen werden op dezelfde taken getest—Claude Opus werd slechts op 44 van de 100 publieke taken beoordeeld, deels door veiligheidsweigering. Slechts 28 taken werden door alle dertien configuraties gescoord. Bovendien ontbrak een menselijke benchmark, waardoor onwaar is of deze systemen het beter doen dan wetenschappers zelf. De onderzoekers concluderen dat gedeelde fouten kunnen voortbestaan wanneer meerdere modellen op dezelfde verkeerde aannames berusten.

Lees ook

💬 Reacties op dit artikel

Reageer op dit artikel. Berichten zijn openbaar. Huisregels
Reacties laden…
Over PushNieuws