Na era do ChatGPT, como é ser acusado de trapaça?

O estudo, publicado na revista Learning: Research and Practice como parte de uma série sobre IA generativa, analisou 49 postagens do Reddit e suas discussões relacionadas de estudantes universitários que foram acusados de usar o ChatGPT em uma tarefa. Gorichanaz, que é professor assistente na Faculdade de Computação e Informática de Drexel, identificou uma série de temas nessas conversas, principalmente a frustração de alunos acusados injustamente, a ansiedade sobre a possibilidade de serem acusados injustamente e como evitá-la, e a dúvida e o cinismo sobre a necessidade do ensino superior na era da inteligência artificial generativa.

“À medida que o mundo do ensino superior se esforça coletivamente para entender e desenvolver as melhores práticas e políticas em torno do uso de ferramentas como o ChatGPT, é vital para nós entender como o fascínio, a ansiedade e o medo que vêm com a adoção de qualquer nova tecnologia educacional também afetam os alunos que estão passando por seu próprio processo de descobrir como usá-la, ” Gorichanaz disse.

Dos 49 alunos que postaram, 38 deles disseram que não usavam o ChatGPT, mas programas de detecção como o Turnitin ou o GPTZero haviam sinalizado sua atribuição como sendo gerada por IA. Como resultado, muitas das discussões assumiram o teor de um argumento jurídico. Os alunos perguntaram como poderiam apresentar evidências para provar que não haviam trapaceado, alguns comentaristas aconselharam continuar negando que tivessem usado o programa porque os detectores não são confiáveis.

“Muitos dos alunos expressaram preocupação com a possibilidade de serem acusados injustamente por um detector de IA”, disse Gorichanaz. “Algumas discussões entraram em grande detalhe sobre como os alunos poderiam coletar evidências para provar que haviam escrito uma redação sem IA, incluindo o rastreamento de versões de rascunho e o uso de software de gravação de tela. Outros sugeriram executar um detector em sua própria escrita até que ele voltasse sem ser sinalizado incorretamente.”

Outro tema que emergiu nas discussões foi a percepção do papel das faculdades e universidades como “guardiãs” do sucesso e, como resultado, os altos riscos associados a serem injustamente acusados de trapaça. Isso levou a perguntas sobre a preparação das instituições para a nova tecnologia e preocupações de que os professores seriam muito dependentes de detectores de IA – cuja precisão permanece em dúvida.

“As conversas que acontecem online evoluíram de dúvidas específicas sobre a precisão da detecção de IA e as políticas das universidades em torno do uso de IA generativa, para questionar amplamente o papel do ensino superior na sociedade e sugerir que a tecnologia tornará as instituições de ensino superior irrelevantes em um futuro próximo”, disse Gorichanaz.

O estudo também destacou uma erosão da confiança entre os alunos – e entre os alunos e seus professores – decorrente da percepção dos alunos de que eles estão persistentemente sob suspeita de trapaça. Uma série de comentários ilustrou a degradação dessas relações:

• “Eu nunca esperaria ser acusado por ele, de todos os meus professores.”
• “É claro que ela confia mais nesse detector de IA do que em nós.”
• “Eu sei que com certeza não plagiei, mas infelizmente nem sempre dá para confiar nos outros.”

A tecnologia de IA generativa forçou as instituições de ensino superior a reconsiderar suas práticas de avaliação educacional e políticas sobre trapaça. De acordo com o estudo, os alunos estão fazendo muitas das mesmas perguntas.

“Houve comentários sobre inconsistências de políticas em que os alunos foram punidos por usar algumas ferramentas de IA, como o ChatGPT, mas encorajados a usar outras ferramentas de IA, como o Grammarly. Outros alunos sugeriram que usar IA generativa para escrever um artigo não deveria ser considerado plágio porque é um trabalho original”, disse Gorichanaz. “Muitos estudantes chegaram à mesma conclusão com que as universidades têm se deparado: a necessidade de integrar a tecnologia e ir além das redações para a avaliação da aprendizagem.”

O estudo pode desempenhar um papel importante em ajudar faculdades e universidades a se comunicarem com seus alunos sobre o uso da tecnologia de IA generativa, sugere Gorichanaz.

“Embora esta seja uma amostra relativamente pequena, essas descobertas ainda são úteis para entender o que os alunos estão passando agora”, disse ele. “Ser acusado injustamente, ou constantemente sob suspeita, de usar IA para trapacear pode ser uma experiência angustiante para os alunos. Isso pode prejudicar a confiança que é tão importante para uma experiência educacional de qualidade. Assim, as instituições devem desenvolver políticas consistentes, comunicá-las claramente aos alunos e entender as limitações da tecnologia de detecção.”

Gorichanaz observou que mesmo os melhores detectores de IA poderiam produzir falsos positivos suficientes para os professores acusarem erroneamente dezenas de alunos – o que é claramente inaceitável, considerando as apostas.

“Em vez de tentar usar detectores de IA para avaliar se essas avaliações são genuínas, os instrutores podem ser melhores projetando diferentes tipos de avaliações: aquelas que enfatizam o processo em vez do produto ou avaliações mais frequentes e de menor risco”, escreveu ele, além de sugerir que os instrutores poderiam adicionar módulos sobre o uso apropriado da tecnologia de IA generativa, em vez de proibir completamente seu uso.

Embora o estudo ofereça uma análise temática, Gorichanaz sugere que pesquisas futuras poderiam expandir a amostra para um tamanho estatisticamente relevante e extraí-la de fontes além de conversas em inglês no Reddit.