Google-AI har fel i var tionde sökning enligt undersökning

Återigen har det nu visat sig att AI fortfarande är ganska opålitligt. En ny analys visar nämligen att företagets AI-genererade sammanfattningar - så kallade AI Overviews - har fel i ungefär 10 procent av fallen. Vilket alltså i praktiken innebär miljontals felaktiga uppgifter som matas till användare varje timme.

AI Overviews, som drivs av Googles Gemini-modeller, ligger högst upp i sökresultaten och är tänkta att ge snabba, lättsmälta svar. Problemet är bara att de emellanåt bara hittar på. Eller åtminstone blandar ihop korrekt information med felaktigheter, missar kontext eller presenterar gamla uppgifter som sanning.

Enligt analysen - som bygger på tester genomförda tillsammans med AI-bolaget Oumi och benchmarken SimpleQA - ligger träffsäkerheten runt 90 procent. Det låter stabilt på pappret, men när Google hanterar miljarder sökningar varje dag innebär det att felmarginalen snabbt exploderar till enorma nivåer.

Google själva är dock inte helt övertygade om att kritiken träffar rätt. Företaget menar att testerna inte speglar verkliga användares sökningar och att systemet hela tiden förbättras genom nya modeller och justeringar.

Summa summarum, det gäller fortfarande att faktiskt undersöka saker själv och inte blint lita på det som matas oss via AI.