Spørsmålet dukker opp stadig oftere, og fra to svært ulike kanter. Noen forfattere har arbeidet med en språkmodell og vil vite om det synes. Andre har aldri rørt en, men er likevel redde for at teksten deres skal bli refusert fordi den «høres maskinskrevet ut». Begge bekymringene er forståelige, for stadig flere forlag, agenter og skrivekonkurranser kjører innsendte tekster gjennom en skanner for automatisk generert innhold før et menneske leser dem.
Den dårlige nyheten: Det finnes ingen pålitelig og endelig test som en gang for alle kan si «dette er skrevet av et menneske». Den gode nyheten: Så snart du forstår hva disse detektorene faktisk måler og hvor upålitelige de kan være, slutter du å frykte dem og gjør det eneste som virkelig hjelper: skriver slik at teksten høres ut som deg.
Kort svar: En detektor fastslår ikke «sannheten» om hvem som har skrevet en tekst. Den måler prosaens statistiske form, og den tar ofte feil, særlig på en ren, glatt og litt formell tekst. En dom av typen «denne teksten virker maskinskrevet» er ikke et bevis. I stedet for å lete etter en mirakeldetektor bør du analysere teksten selv, finne avsnittene som høres mekaniske ut, og skrive dem om med din egen stemme.
Hva «høres maskinskrevet ut» egentlig betyr
En detektor forstår ikke historien din. Den vet ikke om hovedpersonen din overbeviser eller om slutten holder. Den måler prosaens statistiske form: hvor forutsigbart hvert neste ord er, hvor jevn setningsrytmen er, hvor ofte du tyr til de samme konstruksjonene, hvor lite overraskelse et avsnitt inneholder. Tekst som er generert av en maskin, er som regel glatt, jevn i rytmen og fattig på overraskelser, og detektoren teller derfor denne jevnheten som et signal.
To ting følger av dette. For det første vurderer detektoren en stil, ikke ærlighet. Derfor kan din egen prosa, gjennomarbeidet og korrekt, få en dårlig poengsum selv om du har skrevet hvert ord selv. For det andre er det som presenteres som «kjennetegnene på generert tekst» (språkmodellenes yndlingsord, de pent oppstilte oppramsingene, de ferdigsnekrede overgangene) stilistiske observasjoner, ikke en pålitelig test. Noen ganger stemmer kjennetegnene, andre ganger villeder de, og de endrer seg med hver nye versjon av en modell. Behandle dem som indisier, ikke som en dom.
Hvorfor detektorene tar feil oftere enn du tror
Dette er ingen forsiktig antakelse, men resultatet av fagfellevurdert forskning. Et team fra Stanford (Liang mfl., 2023, i tidsskriftet Patterns fra Cell Press) lot sju populære detektorer vurdere essays skrevet av personer som ikke har engelsk som morsmål. Resultatet burde kjøle ned alle som ser disse verktøyene som et orakel: Detektorene klassifiserte i gjennomsnitt 61,3 % av disse menneskeskrevne essayene feilaktig som automatisk genererte. Enda verre: 89 av 91 essays, altså 97,8 %, ble flagget som maskintekst av minst én av de sju detektorene. Til sammenligning var andelen falske alarmer langt lavere for tekster av forfattere med engelsk som morsmål.
Konklusjonen er todelt. For det første har disse verktøyene en reell og høy andel falske positive. For det andre er de skjeve: De rammer hardest dem som skriver enklere, jevnere og mer «skoleaktig», og det er ofte nettopp personer som fortsatt lærer håndverket, eller som skriver på et annet språk enn morsmålet sitt. Hvis en detektor en dag flagger teksten din, så husk dette tallet. Dommen fra ett enkelt verktøy er ikke et bevis, men et anslag med stor feilmargin.
Slik sjekker du din egen tekst med skjønn
Siden hver detektor for seg kan ta feil, er det metoden som teller, ikke troen på ett enkelt verktøy.
- Analyser helheten først for å få et utgangspunkt. Ett tall for hele boka forteller deg om du har et avgrenset problem eller et problem som er jevnt fordelt.
- Gå deretter kapittel for kapittel. Avsnittene som høres mekaniske ut, ligger som regel samlet. Et kapittel som er skrevet i hast, eller med hjelp fra et verktøy, skiller seg ofte ut.
- Les setningene med lavest poengsum, ikke bare tallet. En god detektor peker ut konkrete setninger. Disse setningene er redigeringslisten din, ikke prosenten øverst på skjermen.
- Skriv dem om med dine egne ord. Bryt den altfor jevne rytmen, fjern fyllet, bytt ut generelle formuleringer med noe som hører til nettopp din historie. Kjør deretter analysen på nytt og sjekk at avsnittet nå høres ut som resten av boka.
- Ikke konkurrer med detektoren. Målet er ikke å «slå» verktøyet, men å sørge for at teksten virkelig høres ut som deg, før noen andre avgjør det.
Hva skal du konkret endre når et avsnitt høres mekanisk ut? Som regel det samme som du uansett ville rettet når du redigerer: Varier setningslengden, fjern passive vendinger og intetsigende verb, legg til en konkret detalj som bare karakteren din kjenner. Det er ikke å lure en detektor, det er rett og slett bedre prosa. Vi skriver om dette for seg i artikkelen om passiv i prosa.
En detektor for romanforfattere, ikke for skoleoppgaver
De fleste detektorene du finner på nettet, er laget for skolestiler, artikler og innleveringer. De er generelle, beregner ofte poengsummen på nivået til enkeltord og behandler en roman på 90 000 ord som én gigantisk tekstblokk som skal limes inn. De er ikke tenkt for skjønnlitteratur, for inndeling i kapitler eller for måten en romanforfatter faktisk skriver om på.
Skriveprogrammer har det motsatte problemet: De som er bygget rundt tekstgenerering, har av åpenbare grunner ingen detektor. De fleste forfattere ender derfor opp med å velge mellom et verktøy som hjelper dem å skrive, og en separat, generell kontroll som aldri er laget for bøker. Vellam har en innebygd detektor som viser, kapittel for kapittel eller for hele boka, hvor mekanisk prosaen høres ut, og som markerer setningene med lavest poengsum. Den er laget spesielt for forfattere, ikke som en generell skanner for skoleoppgaver. Men vær klar over dette: Detektoren støtter foreløpig ikke norsk. Den fungerer for tekster på polsk, engelsk, tysk, spansk, fransk, italiensk, portugisisk og nederlandsk. For et norsk manus er det i dag manusanalysen som gjør jobben: Den leser hele romanen kapittel for kapittel, og håndverksanalysen viser hvor prosaen og scenene trenger arbeid, slik at du kan skrive dem om med dine egne ord. Den regelbaserte stilanalysen finnes foreløpig bare på polsk, engelsk, tysk og spansk. Selvsjekken er en måte å berolige deg selv på som forfatter, ikke en dør der noen andre har nøkkelen. Vil du vite mer om hva du bør sjekke før innsending, kan du lese den utfyllende artikkelen om å sjekke romanen din før du sender den inn.
Husk én ting: Også en innebygd detektor gir et anslag, ikke et orakel. Poengsummen alene avgjør ingenting. Verdien ligger ikke i prosenten, men i de markerte setningene du kan arbeide med. Bruker du en ekstern detektor på et norsk manus, bør du i tillegg sjekke om den faktisk er laget for norsk tekst, og lese resultatet med ekstra stor skepsis hvis den ikke er det.
Dette bør du unngå
Til slutt tre feller det er lett å gå i når du er redd for at teksten din virker mekanisk.
Ikke skriv om hele boka for å få en poengsum
Hvis en detektor gir en høy prosent, men teksten faktisk er din, ligger problemet i verktøyet, ikke i teksten. Les setningene som er flagget, og vurder dem selv.
Ikke stol på én enkelt detektor
Med 61 % falske alarmer på menneskelig prosa avgjør en enkelt dom ingenting. Sammenlign gjerne flere detektorer, og les de konkrete avsnittene selv.
Ikke forveksle flyt med skyld
En ren og jevn setning er ikke et bevis på en maskin. Noen ganger er det bare en ren setning. Endre den fordi den leses upersonlig, ikke fordi et verktøy lyser rødt.
Ofte stilte spørsmål
Er detektorer for generert tekst pålitelige?
Bare delvis. Fagfellevurdert forskning fra Stanford, publisert i 2023, viste at populære detektorer i gjennomsnitt klassifiserte 61,3 % av menneskeskrevne essays feilaktig som automatisk genererte, og at 97,8 % av tekstene ble flagget av minst én av de sju detektorene. Dommen fra ett enkelt verktøy er et anslag med stor feilmargin, ikke et bevis på hvem forfatteren er.
Hvordan vet jeg om en tekst leses som om en maskin har skrevet den?
Detektorer reagerer på prosaens statistiske form: høy forutsigbarhet i ordvalget, jevn setningsrytme, gjentatte konstruksjoner og lite overraskelse. Det som kalles «kjennetegnene på generert tekst», er stilistiske observasjoner og ikke en pålitelig test, og kjennetegnene endrer seg med hver nye versjon av en modell. Se dem som indisier, og bygg avgjørelsen din på om et avsnitt høres ut som deg.
Kan teksten min bli flagget som maskintekst selv om jeg har skrevet den selv?
Ja, og det skjer ofte. Detektorer rammer hardest dem som skriver enklere, jevnere og mer formelt, blant annet personer som lærer håndverket, og forfattere som ikke skriver på morsmålet sitt. En falsk flagging betyr ikke at du har gjort noe galt, men at verktøyet tar feil.
Hvordan forbedrer jeg et avsnitt som høres mekanisk ut?
Som regel slik du ville forbedret det når du redigerer: Varier setningslengden, fjern intetsigende verb og passive vendinger, legg til en konkret detalj fra din egen historie og bryt den altfor jevne rytmen. Målet er ikke å slå detektoren, men å få setningen til å høres ut som resten av boka di.