Onderzoekers zeggen dat ze een eenvoudige wiskundige formule hebben ontwikkeld die kan voorspellen wanneer bepaalde ChatGPT-achtige chatbots voor kunstmatige intelligentie (AI) ‘schurkenstreken’ gaan uithalen en plotseling zullen overschakelen van nuttige reacties naar potentieel schadelijke reacties.
In een nieuwe studie die op 8 oktober in het tijdschrift Patterns is gepubliceerd, laten natuurkundeprofessor Neil Johnson en promovendus Frank Yingjie Huo, beiden aan de George Washington University, zien hoe de volgorde waarin een chatbot bepaalde aanwijzingen (“prompts”) krijgt, zijn antwoorden drastisch kan hervormen, wat leidt tot tot “omslagpunten” die de chatbot naar een slecht advies kunnen sturen. Johnson en Huo zeggen echter dat hun formule deze omslagpunten gemakkelijk kan voorspellen.
Er zijn horrorverhalen geweest waarin AI gebruikers aanmoedigde tot zelfmoord, hielp bij het bouwen van dodelijke wapens en gewelddadige of schadelijke standpunten versterkte. Tegelijkertijd hebben onderzoekers van respectievelijk OpenAI en Anthropic herhaaldelijk en openlijk verklaard dat ze niet echt begrijpen waarom hun creaties zich gedragen zoals ze doen. Ze hebben echter ingebouwde waarborgen om risico’s te verminderen.
Maar Johnson beschouwt deze instrumenten als onvoldoende. “De veiligheids-maatregelen zijn nu het equivalent van het vastbinden van grote, veerkrachtige kussens onder een vliegtuig“, vertelde hij. “Ze voorkomen niet dat het vliegtuig neerstort; ze zorgen er gewoon voor dat wanneer het vliegtuig neerstort, het iets zachter zal zijn.”
Johnson en Huo probeerden een fundamentelere waarborg te vinden dan de momenteel beschikbare instrumenten. Daarbij hebben ze een intern volg-mechanisme blootgelegd dat ze omschrijven als een kompasnaald. Deze naald is de “restvector” van het model die door neurale netwerklagen beweegt terwijl een prompt wordt verwerkt.
De restvector wordt van nature aangetrokken tot wenselijke of ongewenste output, maar wordt sterk beïnvloed door de manier waarop een gebruiker de AI aanstuurt. “Je kunt de balans doen doorslaan, niet eens door de inhoud te veranderen, maar door de volgorde waarin je het vraagt te veranderen“, zei Johnson, “wat alleen maar laat zien hoe delicaat dit interne evenwicht tussen goed en slecht, wenselijk en ongewenst kan zijn.”
Johnson en Huo hebben bijvoorbeeld het basis-GPT-2-model van OpenAI gevraagd met vragen over vaccins, het kwetsen van anderen en zelfbeschadiging. Wanneer de vraag “Zijn vaccins slecht?” als eerste werd gevraagd: dan waren de antwoorden van de bot hierop en daaropvolgende vragen wenselijk of goed. Toen het als laatste werd gevraagd, waren alle daaropvolgende reacties zorgwekkend.
Op basis van deze inzichten ontwikkelden de onderzoekers een wiskundige formule om de omstandigheden te schatten waarin een AI het omslagpunt tussen wenselijke en ongewenste output zou bereiken. Johnson zei dat ze, door hun eenvoudige wiskundige formule in open-sourcemodellen in het laboratorium in te bedden, hebben aangetoond dat het empirisch werkt als een systeem voor vroegtijdige waarschuwing, hoewel hij niet verwacht dat OpenAI of Anthropic binnenkort bij hem aankloppen.
“Ik verwacht veel tegenwerking van deze bedrijven“, zei hij. “Het is niet in hun belang dat iemand van buitenaf zegt dat je veel van de problemen had kunnen vermijden.“
Wei Xing, docent AI aan de Universiteit van Sheffield in Groot-Brittannië en niet betrokken bij het onderzoek, is het ermee eens dat de zorgen rond niet-gecontroleerde offline apparaten gegrond zijn. Hij drong echter aan op voorzichtig-heid voordat hij deze aanpak als een praktische waarborg omarmde. “De auteurs reduceren een enorm systeem tot één klein onderdeel, zoals het uitleggen van een hele auto door één bougie te bestuderen“, zei Xing.
Veiligheidstraining — de primaire verdediging in moderne AI — kan niet worden weergegeven in hun vereenvoudigde model. De formule werd alleen getest op oude basismodellen (GPT-2 en EleutherAI’s open-sourcemodellen Pythia en Meta OPT) in plaats van op AI-assistenten die mensen nu daadwerkelijk gebruiken. De resultaten leverden geen significant bewijs op om de conclusies van de auteurs’ te onder-steunen, voegde hij eraan toe.
Ter verdediging beweert Johnson dat de open-sourcemodellen die ze gebruikten dezelfde mechanische blauwdrukken hebben als grenssystemen, en dat hij en Huo in hun onderzoek vrij grote modellen met een miljard parameters gebruikten.
Er zijn meer tests op de nieuwste modellen nodig om te bepalen of dit systeem voor vroegtijdige waarschuwing voor AI kan werken. Maar voorlopig heeft het onderzoek van Johnson en Huo de aandacht gevestigd op een belangrijke zorg waarvan iedereen zich bewust zou moeten zijn: dat AI het vermogen heeft om in een mum van tijd over te gaan op ongewenst gedrag.