NeMo Guardrails van Nvidia verhindert hallucinatie bij chatbots

Nvidia heeft een nieuwe software ontwikkeld die kan helpen bij het grootste probleem met AI-chatbots: hallucinatie, oftewel inaccurate voorstellingen.

De techgigant die in de eerste plaats bekend staat om zijn grafische processoren, onthulde NeMo Guardrails. Die software moet generatieve AI-modellen, zoals chatbots die gebruikmaken van Large Language Models (LLM’s) “accuraat, gepast, on-topic en veilig maken”, klinkt het. Bovendien gaat Nvidia de code opensource maken, zodat AI-ontwikkelaars ze kunnen gebruiken om drie ‘grenzen’ af te bakenen voor AI-modellen: inhoudelijk gepast, veilig voor mensen en ook security-conform.

NeMo Guardrails beschermen chatbots
Zulke ‘guardrails of ‘vangrails’ moet helpen voorkomen dat de AI-chatbot het gesprek in een ongepaste richting stuurt door informatie te gaan zoeken die niet voor het doel van het gesprek bestemd is. Zo geeft Nvidia het simpele voorbeeld van een klantendienst-bot die het natuurlijk niet over het weer moet gaan hebben. Maar het kan ook ernstiger: een dergelijke guardrail was wellicht handig geweest om te voorkomen dat de chatbot van Bing ontspoorde, zoals in een beginfase gebeurde.

De nieuwe guardrails moeten misinformatie en hallucinaties door chatbots helpen voorkomen. Wanneer ze worden toegepast, zou het de AI-bot alvast moeten dwingen om niet buiten de lijntjes te kleuren. Zo kan een verbod op ongepast taalgebruik en het citeren van betrouwbare bronnen nog eens versterkt worden. Vanuit security-perspectief kunnen de guardrails AI-apps ook afschermen wanneer die (onbedoeld) onveilige applicaties zouden willen raadplegen.

Opensource en praktisch
Volgens Nvidia kan in theorie elke software-ontwikkelaar NeMo Guardrails toepassen omdat ze eenvoudig te integreren zijn. Bovendien werken ze met een groot aantal chatsbots die LLM’s hanteren. Ze zijn ook compatibel met alle tools die ontwikkelaars van bedrijfsapps gebruiken, zoals LangChain.

De GPU-fabrikant gaat NeMo Guardrails integreren in zijn Nvidia NeMo-framework, dat al grotendeels beschikbaar is als opensourcecode op GitHub. De nieuwe software zal ook aangeboden worden als onderdeel van Nvidia’s AI Enterprise-softwareplatform en als een dienst via Nvidia AI Foundations.