“O plágio vem em diferentes sabores”, disse Dongwon Lee, professor de ciências da informação e tecnologia da Penn State. “Queríamos ver se os modelos de linguagem não apenas copiam e colam, mas recorrem a formas mais sofisticadas de plágio sem perceber.”
Os pesquisadores se concentraram em identificar três formas de plágio: textualmente ou copiar e colar diretamente o conteúdo; parafrasear, ou reformular e reestruturar o conteúdo sem citar a fonte original; e ideia, ou usando a ideia principal de um texto sem a devida atribuição. Eles construíram um pipeline para detecção automatizada de plágio e o testaram contra o GPT-2 da OpenAI porque os dados de treinamento do modelo de linguagem estão disponíveis on-line, permitindo que os pesquisadores comparem os textos gerados com os 8 milhões de documentos usados para pré-treinar o GPT-2.
Os cientistas usaram 210.000 textos gerados para testar o plágio em modelos de linguagem pré-treinados e modelos de linguagem ajustados, ou modelos treinados para se concentrar em áreas temáticas específicas. Neste caso, a equipe ajustou três modelos de linguagem para se concentrar em documentos científicos, artigos acadêmicos relacionados à COVID-19 e reivindicações de patentes. Eles usaram um mecanismo de pesquisa de código aberto para recuperar os 10 principais documentos de treinamento mais semelhantes a cada texto gerado e modificaram um algoritmo de alinhamento de texto existente para detectar melhor instâncias de plágio literal, de paráfrase e de ideias.
A equipe descobriu que os modelos de linguagem cometiam todos os três tipos de plágio e que quanto maior o conjunto de dados e os parâmetros usados para treinar o modelo, mais frequentemente o plágio ocorria. Eles também observaram que os modelos de linguagem ajustados reduziram o plágio literal, mas aumentaram os casos de plágio de paráfrase e ideia. Além disso, eles identificaram instâncias do modelo de linguagem expondo informações privadas dos indivíduos através de todas as três formas de plágio. Os pesquisadores apresentarão suas descobertas na 2023 ACM Web Conference, que acontece de 30 de abril a 4 de maio em Austin, Texas.
“As pessoas buscam grandes modelos de linguagem porque quanto maior o modelo fica, as habilidades de geração aumentam”, disse o principal autor Jooyoung Lee, estudante de doutorado na Faculdade de Ciências da Informação e Tecnologia da Penn State. “Ao mesmo tempo, estão colocando em risco a originalidade e a criatividade do conteúdo dentro do corpus de treinamento. Esta é uma descoberta importante.”
O estudo destaca a necessidade de mais pesquisas sobre geradores de texto e as questões éticas e filosóficas que eles colocam, de acordo com os pesquisadores.
“Mesmo que a saída possa ser atraente, e os modelos de linguagem possam ser divertidos de usar e parecer produtivos para certas tarefas, isso não significa que eles sejam práticos”, disse Thai Le, professor assistente de ciência da computação e da informação da Universidade do Mississippi, que começou a trabalhar no projeto como doutorando na Penn State. “Na prática, precisamos cuidar das questões éticas e de direitos autorais que os geradores de texto colocam.”
Embora os resultados do estudo se apliquem apenas ao GPT-2, o processo automático de detecção de plágio que os pesquisadores estabeleceram pode ser aplicado a modelos de linguagem mais recentes, como o ChatGPT, para determinar se e com que frequência esses modelos plagiam o conteúdo do treinamento. O teste de plágio, no entanto, depende de os desenvolvedores tornarem os dados de treinamento acessíveis ao público, disseram os pesquisadores.
O estudo atual pode ajudar os pesquisadores de IA a construir modelos de linguagem mais robustos, confiáveis e responsáveis no futuro, de acordo com os cientistas. Por enquanto, eles pedem que os indivíduos tenham cautela ao usar geradores de texto.
“Pesquisadores e cientistas de IA estão estudando como tornar os modelos de linguagem melhores e mais robustos, enquanto isso, muitos indivíduos estão usando modelos de linguagem em suas vidas diárias para várias tarefas de produtividade”, disse Jinghui Chen, professor assistente de ciências da informação e tecnologia da Penn State. “Embora aproveitar os modelos de linguagem como um mecanismo de pesquisa ou um estouro de pilha para depurar o código seja provavelmente bom, para outros fins, já que o modelo de linguagem pode produzir conteúdo plagiado, isso pode resultar em consequências negativas para o usuário.”
O resultado do plágio não é algo inesperado, acrescentou Dongwon Lee.
“Como um papagaio estocástico, ensinamos modelos de linguagem a imitar escritos humanos sem ensiná-los a não plagiar adequadamente”, disse ele. “Agora, é hora de ensiná-los a escrever mais corretamente, e temos um longo caminho a percorrer.”
A National Science Foundation apoiou este trabalho.