Wat is GPT-3? Weer Een Stapje Verder in Het Decennium Van De Digitale Assistent

Afgelopen jaren gaan veel van mijn blogs over de ontwikkeling van Google in hun transitie van “Mobile First” naar “AI First”. Een belangrijk onderdeel daarvan is de digitale assistent. Google bestempeld deze zelfs als de volgende grote verschuiving in computergebruik:

Het duurde niet lang nadat OpenAI GPT-3 lanceerde, de derde (nu in closed beta) in een reeks NLP-modellen, om met de hashtag #gpt3 viral te gaan. Om maar meteen met de deur in huis vallen, check deze (digital marketing) demo’s die in zeer korte tijd gebouwd zijn met de GPT-3 API:

Handige apps bouwen

Advertentieteksten schrijven

Clickbait titels verzinnen

Lay-out ontwerpen

Nette email schrijven

Meer memes!

Met George Washington praten


Mind blown! 🤯 Maar hoe dan?

Wat is GPT-3?

GPT-3 (Generative Pretrained Transformer versie 3) is een Natural Language Processing (NLP) model met als doel om taal beter te begrijpen, zodat bijvoorbeeld een digitale assistent gemakkelijk een vraag kan vertalen naar een actie en natuurlijk overkomende conversaties kan voeren.

GPT-3 is in bijna alles “redelijk” goed

Waar BERT van Google, ook een NLP-model, het doel heeft om zoekopdrachten beter te begrijpen. Is GTP-3 niet gefinetuned voor een specifieke taak. Het doel van GPT-3 is om met zo min mogelijk toezicht zoveel mogelijk NLP-taken uit te kunnen voeren. Je kunt GPT-3 “primen” om een programmeur, een creatieve copywriter of een beroemd personage te worden.

Dit is allemaal mogelijk, omdat GTP-3 bestaat uit 173 miljard parameters. Bijna tien keer zoveel als het vorige grootste model; Turing-NLG van Microsoft. Om dit even in perspectief te zetten: het kost $4.6 miljoen aan computerkracht om dit model te trainen in de cloud of 355 jaar op 1 Tesla V100, de snelste deep learning GPU op de markt.

GPT-3, SEO en digital marketing

In een vervolg ga ik dieper in op de invloed van GPT-3 op SEO en digital marketing. Met een beetje geluk heb ik dan ook toegang tot de API. Een vraag wil ik alvast beantwoorden. De vraag die bijna altijd als eerst wordt gesteld na het zien van alle mogelijkheden: raken we nu allemaal onze baan kwijt?

Zeker niet! 🤖

  • GPT-3 leert niet constant
  • Kan niet onthouden wat die eerder gedaan heeft
  • Is een momentopname van de data waarop het model getraind is
  • Werkt niet aan / naar een bepaald doel (langere teksten die GPT-3 genereert zijn totaal random)
  • Discrimineert, is racistisch en gebruikt zonder gêne complottheorieën (omdat het model is getraind op data van “het internet”)

GPT-3 is vooral een grote stap in de richting van een nuttige digitale assistent. NLP is daar een belangrijk onderdeel van. Hoe goed zal het volgende model zijn met meer dan 1 biljoen parameters?