A pergunta surge cada vez mais, e de dois lados completamente diferentes. Alguns autores usaram geradores de texto e querem saber se isso se nota. Outros nunca lhes tocaram, mas continuam com medo de que o texto seja recusado por «parecer escrito por uma máquina». Os dois receios fazem sentido, porque há cada vez mais editoras, agentes e concursos a passar os originais recebidos por um detetor de texto gerado por máquina antes de uma pessoa os ler.
A má notícia é que não existe um teste fiável e definitivo que diga de uma vez por todas «isto foi escrito por uma pessoa». A boa notícia é que, quando percebes o que estes detetores medem de facto e até que ponto podem ser pouco fiáveis, deixas de ter medo deles e passas a fazer a única coisa que ajuda realmente: escrever de modo a que o texto soe a ti.
Resposta curta: os detetores de texto gerado por máquina não detetam a «verdade» sobre a autoria, detetam a forma estatística da prosa, e enganam-se muitas vezes, sobretudo com textos limpos, fluidos e ligeiramente formais. Um veredicto do tipo «isto parece escrito por uma máquina» não é uma prova. Em vez de procurares um detetor milagroso, analisa tu o texto, encontra os excertos que soam mecânicos e reescreve-os com a tua voz.
O que quer dizer realmente «parecer escrito por uma máquina»
Um detetor não compreende a tua história. Não sabe se o teu protagonista convence nem se o final faz sentido. Mede a forma estatística da prosa: até que ponto cada palavra seguinte é previsível, até que ponto o ritmo das frases é uniforme, com que frequência recorres às mesmas construções, quão pouca surpresa há ao longo de um excerto. O texto gerado por máquina tende a ser liso, de ritmo regular e pouco surpreendente, por isso o detetor conta essa lisura como um sinal.
Daqui decorrem duas coisas. Primeiro, o detetor avalia o estilo, não a honestidade. É por isso que a tua prosa, cuidada e correta, pode ter um mau resultado mesmo que tenhas escrito cada palavra. Segundo, aquilo que as pessoas tomam por «sinais de texto gerado» (as palavras preferidas dos modelos de linguagem, listas certinhas, transições feitas de fórmulas) são observações de estilo, não um teste rigoroso. Às vezes acertam, às vezes enganam, e mudam a cada nova versão dos modelos. Trata-os como indícios, não como um veredicto.
Porque é que os detetores se enganam mais vezes do que pensas
Isto não é uma hipótese prudente, é o resultado de um estudo revisto por pares. Uma equipa de Stanford (Liang et al., 2023, na revista Patterns, da Cell Press) passou por sete detetores populares ensaios escritos por pessoas cuja língua materna não é o inglês. O resultado devia arrefecer quem trata estas ferramentas como um oráculo: em média, os detetores classificaram erradamente esses ensaios humanos como gerados por máquina em 61,3% dos casos. Pior ainda, 89 de 91 ensaios, ou seja, 97,8%, foram assinalados por pelo menos um dos sete detetores. Em comparação, nos textos de falantes nativos de inglês a taxa de falsos alarmes foi várias vezes mais baixa.
A conclusão tem duas partes. Primeiro, estas ferramentas têm uma taxa de falsos positivos real e elevada. Segundo, são enviesadas: prejudicam sobretudo quem escreve de forma mais simples, mais uniforme, mais «pelo manual», o que muitas vezes significa precisamente quem ainda está a aprender o ofício ou escreve numa língua que não é a sua. Se algum detetor assinalar o teu texto, lembra-te deste número. O veredicto de uma única ferramenta não é uma prova, é uma estimativa com uma grande margem de erro.
Como verificar o teu texto com bom senso
Como qualquer detetor isolado pode ser pouco fiável, o que conta é o método, não a fé numa ferramenta.
- Começa por analisar o livro inteiro para teres uma base. Um número para o livro todo diz-te se o problema é localizado ou uniforme.
- Depois, vai capítulo a capítulo. Os excertos que soam a máquina costumam aparecer agrupados. Um capítulo escrito à pressa, ou com a ajuda de uma ferramenta, tende a destacar-se do resto.
- Lê as frases com pior resultado, não só o número. Um bom detetor aponta-te linhas concretas. Essas linhas são a tua lista de revisão, não a percentagem no topo do ecrã.
- Reescreve-as com as tuas próprias palavras. Quebra o ritmo uniforme, corta o enchimento, troca as formulações genéricas por algo específico da tua história. Depois volta a analisar e confirma que o excerto já soa como o resto do livro.
- Não entres numa corrida contra o detetor. O objetivo não é «vencer» a ferramenta, é garantir que o texto soa mesmo a ti antes de outra pessoa decidir se soa ou não.
O que é que mudas exatamente quando um excerto soa a máquina? Normalmente, as mesmas coisas que corrigirias de qualquer forma na revisão: variar a extensão das frases, largar as construções passivas e os verbos genéricos, acrescentar um pormenor concreto que só a tua personagem saberia. Isto não é enganar um detetor, é simplesmente prosa melhor. Tratamos o assunto à parte no texto sobre a voz passiva na prosa.
Um detetor para romancistas, não para trabalhos escolares
A maioria dos detetores que encontras online foi feita para ensaios, artigos e trabalhos de casa. São genéricos, muitas vezes avaliam palavra a palavra e tratam um romance de 90 000 palavras como um bloco gigante de texto para colar. Não foram pensados para a ficção, para a estrutura em capítulos nem para a maneira como um romancista revê de facto o seu texto.
As ferramentas de escrita têm a lacuna oposta: as que apostam na geração de texto não trazem detetor nenhum, por razões óbvias. Assim, a maioria dos autores fica a escolher entre uma ferramenta que os ajuda a escrever e um verificador genérico à parte, que nunca foi feito para livros. A Vellam tem o detetor integrado: avalia o quanto a prosa soa a máquina, por capítulo ou no livro inteiro, e destaca as frases com pior resultado para as reescreveres com as tuas próprias palavras. É um detetor feito especificamente para escritores, não um verificador genérico de ensaios, e é precisamente por isso que funciona melhor para romancistas. Funciona também com textos em português. Ao lado dele, há uma camada gratuita de análise da prosa por regras (por agora em polaco, inglês, alemão e espanhol) que te ajuda a corrigir essas frases. É uma forma de te tranquilizares a ti, autor, e não uma barreira nas mãos de outra pessoa. Para uma visão mais ampla da verificação antes do envio, vê o texto complementar sobre como verificar o teu romance antes de o enviares.
Não te esqueças de uma coisa: o detetor integrado também é uma estimativa, não um oráculo. O resultado, sozinho, não decide nada. O valor não está na percentagem, está nas frases assinaladas, sobre as quais podes trabalhar.
O que não fazer
Por fim, três armadilhas em que é fácil cair quando começas a ter medo de «parecer escrito por uma máquina».
Não reescrevas o livro inteiro para perseguir um resultado
Se um detetor mostra uma percentagem alta mas o texto é teu, o problema está na ferramenta, não no texto. Lê as frases assinaladas e avalia-as tu.
Não confies num único detetor
Com uma taxa de falsos alarmes de 61% em prosa humana, um único veredicto não decide nada. Quando muito, compara vários e lê os excertos concretos.
Não confundas fluidez com culpa
Uma frase limpa e regular não é prova de uma máquina. Às vezes é só uma frase limpa. Muda-a porque soa impessoal, não porque uma ferramenta acendeu uma luz vermelha.
Perguntas frequentes
Os detetores de texto gerado por máquina são fiáveis?
Só em parte. Um estudo de Stanford de 2023, revisto por pares, concluiu que detetores populares classificaram erradamente ensaios humanos como gerados por máquina em 61,3% dos casos, em média, e que 97,8% dos textos foram assinalados por pelo menos um de sete detetores. O veredicto de uma única ferramenta é uma estimativa com uma grande margem de erro, não uma prova de autoria.
Como se percebe se um texto soa a gerado por máquina?
Os detetores reagem à forma estatística da prosa: palavras muito previsíveis, ritmo de frase uniforme, construções repetidas e pouca surpresa. Aquilo a que as pessoas chamam «sinais de texto gerado» são observações de estilo, não um teste rigoroso, e mudam a cada nova versão dos modelos. Trata-os como indícios e decide consoante o excerto soe ou não a ti.
O meu texto pode ser assinalado mesmo que o tenha escrito eu?
Sim, e acontece muitas vezes. Os detetores prejudicam sobretudo quem escreve de forma mais simples, mais uniforme e mais formal, incluindo quem está a aprender o ofício e quem escreve numa língua que não é a sua. Um falso alarme não quer dizer que fizeste algo de errado, quer dizer que a ferramenta se enganou.
Como corrijo um excerto que soa a máquina?
Normalmente, da mesma forma que o corrigirias na revisão: varia a extensão das frases, larga os verbos genéricos e as construções passivas, acrescenta um pormenor concreto da tua própria história e quebra o ritmo uniforme. O objetivo não é «vencer o detetor», mas fazer com que a frase soe como o resto do teu livro.