Språkmodeller er eksperter på språk. De er trent på et enormt tekstmateriale fra Internett, hvor de lærer å gjenkjenne og etterligne den underliggende strukturen og konteksten og de mønstrene som finnes i ulike språk og tekster. De beregner statistisk sannsynligheten for hva det neste ordet i en setning er på ulike språk, men de arbeider også med syntaks og sammenheng på tvers av setninger og avsnitt for å genere sammenhengende og relevante svar. Dette gjør at modellene evner å forfatte tekster innenfor et nærmest ubegrenset spekter av emner og sjangere. De genererer nytt innhold hver gang og de har uendelig med funksjoner – derfor kommer ingen av dem med bruksanvisning.
Chatboter bruker språkmodeller, men de store og mest kjente, som ChatGPT og Bing Chat, bruker også bildegenererende modeller; de kan der- for generere tekst og bilder. Bildegenererende modeller har blitt trent ved å analysere et enormt antall bilder. Skal en modell klare å skille en sebra fra en hest, kreves det millioner av bilder av begge arter. I tillegg har mennesker moderert både språkmodeller og bildemodellers, men dette er ressurskrevende og skjer i mindre grad. Om du ber om en rosa sebra, vil bildegeneratoren komme opp med en slik, og ikke en hest. Dette skyldes at modellen har lært seg å skjelne mellom de to, og kan gjøre en selvstendig vurdering om hvilket dyr og hvilken farge den skal benytte for å imøtekomme forespørselen din.
De mest kjente og brukte språkmodellene i dag er GPT-modellene. Det er spesielt to modeller som er mye brukt: GPT-3.5 og GPT-4. Den første er trent på om trent 45 terabyte med data, som skulle tilsvare omtrent 3735 millioner sider med tekst. GPT-4 er 100 ganger så stor, så den er i stand til å generere mer komplekse og varierte svar.172 Den har også bedre evne til å forstå konteksten rundt en oppgave du gir, og den kan analysere og forstå de ulike delene av en tekst og dennes sammenheng, slik at den kan gi mer nøyaktige og relevante svar. En annen forbedring er evnen til å generere lange sammenhengende tekster. GPT-3.5 skriver svar på opp til omtrent 3 000 ord, mens GPT-4 kan svare med mer enn 25 000 ord. GPT-4 kan identifisere sammenhenger mellom setninger og avsnitt som går langt tilbake i teksten, noe som gir mer naturlige og sammenhengende svar. Den er også i stand til å generere mer avansert og variert tekst i temaer og sjangere den ikke har blitt spesielt trent på. GPT-4 er på mange måter en kognitiv teknologi og kapabel til å utføre en del kognitive aspekter på nærmest menneskelig nivå.173 Men GPT-3.5 og GPT-4 har dårlig med minne, da de kun husker én samtale om gangen. Det betyr at du eksempelvis kan laste opp tekst og ha en samtale om denne, men i en ny samtale vil alt være glemt. Dette og mer til kan du lese om i min nye bok Digital studieteknikk