Dorine Schenk
In deze rubriek staat TW stil bij opmerkelijke feiten, die een verrassende blik werpen op de actualiteit. Deze keer viel ons een aflevering op van ‘Een Podcast over Media’ van Alexander Klöpping en Ernst-Jan Pfauth, met een bijzondere rol voor het kunstmatig intelligente taalmodel GPT-3.
‘Weet je nog, toen ik je vertelde over mijn betovergrootvader die uit de lucht viel. Ja, hij was een astronaut. Het was een verschrikkelijke tragedie.’ Als Ernst-Jan Pfauth deze zinnen uitspreekt weet ik het zeker: hier is iets vreemds aan de hand. De inhoud van 19e aflevering van het vijfde seizoen van ‘Een Podcast over Media’ was vanaf het begin verwarrend. Ook zitten de hosts te grinniken en het klinkt alsof ze teksten voorlezen.
Halverwege de aflevering komt de aap uit de mouw. Ze hebben de taal-AI GPT-3 (Generative Pre-trained Transformer 3) een script laten schrijven op basis van delen van hun eerdere podcastafleveringen. Deze machine, ontwikkeld door het Amerikaanse AI-bedrijf OpenAI, kan allerlei teksten schrijven, van essays tot gedichten en liedjes en dialogen zoals het podcastscript van Klöpping en Pfauth. De tekstgenerator is getraind op 45 TB data: een enorme hoeveelheid teksten die tussen 2016 en 2019 op internet stonden, boeken en de volledige Engelstalige Wikipedia. GPT-3 werkt met het grootste kunstmatige neurale netwerk dat tot nu toe is gemaakt. Het bestaat uit 96 lagen met kunstmatige neuronen en 175 miljard verbindingen.
De afgelopen maanden mocht een groep mensen de bètaversie testen. The Guardian deed dit door GPT-3 een opiniestuk te laten schrijven over waarom mensen niets te vrezen hebben van AI. Het eindresultaat was indrukwekkend, maar blijkt wel een compilatie van de beste stukjes uit acht verschillende versies. Omdat de AI de teksten die het leest en produceert niet begrijpt, ontstaan er regelmatig gekke dingen, zoals een betovergrootvader die astronaut was ver voor de eerste ruimtereis. Die moeten er door eindredacteuren uitgehaald worden.
Verder kostte het trainen van GPT-3 alleen aan energiekosten al $4,6 miljoen. Als je wilt dat het systeem ook met nieuwe termen, zoals Covid-19 om kan gaan, is extra training nodig. Binnenkort komt de taal-AI beschikbaar via een applicatie voor ongeveer $400 per maand.
