Google reageert op gekke AI Overview-antwoorden

Lijm op pizza, een dieet van stenen en sigaretten voor zwangere vrouwen: het AI Overview-systeem van Google lijkt het allemaal oké te vinden, maar het gaat om fake news.

Sinds vorig jaar kunnen Google-gebruikers van over de hele wereld proeven van allerlei AI-functies dankzij de ‘Search Generative Experience’. In Europa zijn de generatieve AI-tools zoals AI Overview nog niet beschikbaar, en dat is misschien maar goed ook: ze werken namelijk nog niet naar behoren.

Tijdens het Google I/O-evenement pakte het zoekmachinebedrijf sterk uit met een AI-integratie. Voortaan zou Google je vragen gewoon zelf beantwoorden, in plaats van dat je zelf naar het antwoord op zoek moet. In Amerika mochten gebruikers ondertussen al kennismaken met dat nieuwe systeem van ‘AI Overviews’, maar daar is niet iedereen even tevreden mee. Dat valt goed te verstaan: Liz Reid, hoofd van Google Search, laat in een blogpost weten waarom het AI-systeem soms de mist in ging.

Toch zou de AI Overview in het merendeel van de gevallen er net voor zorgen dat de zoekresultaten nuttiger worden. Uit analytische gegevens concludeert het bedrijf dat mensen langer op webpagina’s rondkijken, wellicht omdat de AI Overview makkelijker de juiste pagina’s vindt om antwoord te bieden op complexe vragen. De publieke opinie lijkt echter een andere richting uit te gaan: die suggereert dat de AI Overviews meestal fout zijn. Volgens Liz Reid is die bewering overdreven.

Fake screenshots en nonsensicale vragen
Zo circuleren er bijvoorbeeld een aantal screenshots waarop de Google AI Overview een fout of zelfs gevaarlijk antwoord op vragen geeft. Een groot deel van die screenshots is fake, laat Reid weten. Zo verschenen er vragen over honden in de auto laten tijdens warm weer, roken tijdens de zwangerschap en zelfs over mogelijke oplossingen voor depressie. Op sociale media lijkt het alsof Google vijf sigaretten per dag of een duik vanop de Golden Gate Bridge gepast vindt, maar dat is dus helemaal niet het geval: die AI Overviews zijn nooit verschenen, maar werden gefotoshopt. Reid spoort gebruikers dan ook aan om de zoekopdrachten zelf eens uit te voeren, om de authenticiteit te controleren.

Daarnaast valt het Reid ook op dat Google-gebruikers nieuwe vragen stellen, bedoeld om het AI Overview-systeem opzettelijk om de tuin te leiden. Wie aan Google vraagt hoeveel stenen je dagelijks mag eten, zal bijvoorbeeld zo’n AI-gegenereerd antwoord zien verschijnen. Die nonsensicale vragen zijn nieuw, zegt Reid: voor de introductie van de AI Overview werden ze simpelweg niet gesteld. Ook over het stenendieet circuleerde een foutief AI-antwoord op internet. Dat het AI-systeem dat bewuste antwoord gaf, zou volgens Reid aan een gebrek aan informatie liggen: er zijn heel weinig websites die het hebben over hoeveel stenen je precies mag eten. Wel vond Google een beetje informatie op een website over geologie, die het nadien overnam. Enige probleem: dat het om satire ging, zag de AI Overview over het hoofd.

Verbeteringen op til
Google kondigt meteen een aantal broodnodige verbeteringen aan voor het AI Overview-systeem. Bij nonsensicale vragen, zoals over saus die van de pizza glijdt, zal geen automatisch AI-antwoord meer verschijnen. Bovendien gaat Google iets voorzichter om met informatie die het van forums en andere discussieborden haalt: die kunnen namelijk misleidend zijn. Verder zal het zoekmachinebedrijf het AI-systeem ook wat vaker in de kast staan bij onderwerpen waar gebruikers het minder nuttig vinden.

Al bij al werkt het AI-systeem wel zeer goed, zegt Google. Minder dan één op de 7 miljoen unieke zoekopdrachten zou slechte resultaten opleveren, wat een zeer sterk resultaat is. Google lijkt de blunders die het met Bard beging dus niet te willen herhalen: kort na de lancering van die AI-chatbot, die ondertussen Gemini heet, klonk het nog dat het “te vroeg” was. Daar deze keer dus niets van: als het AI-systeem blunders begaat, dan zijn deze ofwel verzonnen ofwel gigantisch uitvergroot.