Inteligência artificial age na performance do candidato, enquanto a interação candidato-orientador age na competência linguística do candidato. Essas são as palavras de nossa professora de Português aqui do Rico Domingues, Mercedes Bonorino, durante a live exclusiva sobre o futuro papel da IA na correção de redação dos concursos públicos. Mas afinal, o que podemos esperar dessa nova tecnologia que promete ser intrínseca na preparação do candidato?
Aspectos positivos
► Retorno rápido – devolutiva em minutos – tira a ansiedade do aluno
► “feedback” – análise quantitativa dos dados
► Bom para correções de redações do Enem – que possuem 5 competências bem parametrizadas e rígidas.
► Bom para concursos com volume excessivo de correções – a IA torna possível a correção de um grande número de redações em um curto período de tempo. Isso é importante para exames em larga escala, como vestibulares e exames nacionais.
► Bom para a correção de discursivas técnicas – na qual há muitas vezes um “padrão resposta” da banca. Nesse caso, a capacidade da IA em gerar notas confiáveis próximas daquelas que o corretor daria – ou que a banca esperaria – é maior.
► Bom para otimizar o tempo dos professores – ela NÃO substitui a correção analítica, mas pode fazer uma triagem ou uma avaliação quantitativa que vai pautar as análises qualitativas e estratégias futuras que o professor traçará para cada candidato individualmente.
► Bom para a empresa que concebeu o aplicativo e para a instituição e profissionais que contrataram: pois gera dados que serão utilizados em futuros bacos de dados e redações. As correções geram dados muito ricos que são transformados em relatórios e entregues para a instituição. É uma fotografia completa do desempenho individual e coletivo da turma.
EMBORA AINDA NÃO SUBSTITUAM UM CORRETOR HUMANO, PODEM DAR UM NORTE PARA OS ESTUDANTES, ESPECIALMENTE NO PORTUGUÊS.
Aspectos negativos
► Falta de subjetividade – (nota de conteúdo ou nota de repertório) A IA ainda não capta questões de criatividade, originalidade que são importantes na avaliação da capacidade de montar estratégias argumentativas e de resolução de problemas. Além de não captar contextualizações não óbvias dos temas
► Padronização excessiva – A IA não entende idiossincrasias e criatividade das redações como item positivo a ser pontuado, uma vez que não está previsto pelo banco de dados do modelo. Os parâmetros aplicados pela IA são rígidos (como as 5 competências do ENEM) e não contempla abordagens individuais ou pensamentos “fora da curva”.
► Pode considerar como conteúdo inadequado a referência de um livro, ou personagem de série, para um tema, quando, na verdade, esse repertório seria o diferencial deste candidato.
► Não-observância de situações de contexto – a questão de referências culturais e exemplos de experiências coletivas ou estudos de caso]
► Vises ideológicos e preconceitos – dependendo da como é abastecido o “banco de dados das referências de repertório” a IA pode avaliar inadequadamente uma redação, não captando o alcance das referências ou, até, mesmo reproduzindo preconceitos e padrões.
► Feedback limitado – o feedback é automático e numérico – índices de performance do candidato, mas não consegue fornecer orientações detalhadas para o desenvolvimento das habilidades de escrita. Essas plataformas inclusive assumem isso e dizem que o tempo liberado do professor deve ser usado para estabelecer estratégias de melhoria com aluno. Assim, o aluno, após o momento endorfínico de receber a redação em minutos, passa para o estágio de querer saber o que fazer para melhorar: a IA não traz essa etapa e não estabelece qual estratégia o aluno deve executar para melhorar em X parâmetro – o que fazemos com nossos áudios de feedback.
► Erros de Avaliação
1 – De gramática – mesmo na gramática, onde IA mais acerta, há exceções, usos estilísticos, que agem por trás dos dados de IA, mascarando resultados.
2 – De coesão – os mecanismos de coesão referencial e sequencial são múltiplos e variados, e estão á disposição de candidato que escolhe a partir de vários critérios, nem todos são objetivos e parametrizáveis.
Embora a correção de redação por meio de IA seja eficiente em termos de tempo e dados estatísticos de feedback de performance, é necessário que as redações passem por uma avaliação analítica do professor para refinar a nota e traçar estratégias de melhoria.
Pontos a serem considerados
► REALIDADE DOS CORRETORES DE VESTIBULAR x REALIDADE DOS CORRETORES DE CONCURSOS PÚBLICO: A IA na correção de redação surge da demanda legítima para agilidade na correção de mais de 6 milhões de redações no padrão ENEM, cujos critérios – as famosas 5 competências da escrita – são claramente parametrizáveis, o que facilita a correção por meio de IA atingir eficácia parecida com a correção de professor contratado.
- Correção massificada (Mais: o corretor de redação de vestibular estilo Enem demora apenas minutos com cada redação, ……)
ENTRETANTO, ESTA NÃO É A REALIDADE DE CORRETORES DE CONCURSO PÚBLICO (salvo exceções, como concurso muitos amplos como CAIXA): É necessário admitir que há cenários diferentes para professores diferentes.
REALIDADE DOS CORRETORES
► Professor-corretor cenário (1): aquele que é pago para corrigir 150 redações/dia, sem se ater a contextualizações, sem conhecer o aluno ou sua trajetória, cuja correção é fria e mecânica, sem estabelecer um diálogo com este aluno. Para este cenário (1), as ferramentas de IA são perfeitas, na medida em que substituem o trabalho mecânico.
► Professor-corretor cenário (2): O professor que, além de corrigir, traça estratégias personalizadas de como fazer para melhorar a performance desse candidato. Para este cenário (2), as ferramentas de IA podem ser parceiras, na medida em que fornece dados que devem ser analisados pelo professor para traças estratégias para que o candidato atinja a nota máxima.
Este professor terá mais tempo para estabelecer: Qual (ou quais) a(s) estratégia(s) que o aluno deve executar para atingir a excelência na próxima redação?
O grande diferencial da correção qualitativa/analítica – feita por ‘humanos” é o retorno personalizado (“feedback”) quanto às estratégias que o candidato deve percorrer para que seu desempenho melhore. Os professores podem, então, concentrar-se em fornecer orientações de conteúdo mais valiosas e no desenvolvimento de habilidades de escrita dos alunos. A correção quantitativa/informativa – feita por ferramentas de IA – dará de forma rápida – quase em tempo real – a nota daquela redação individual, mas não avança (ainda) em traçar estratégias personalizadas, mas trará indicadores de performance úteis para que os professores – agora com mais tempo – tracem estratégias especificadas para cada demanda do candidato.
REDAÇÃO COM TEMA DE ATUALIDADES X REDAÇÃO DISCURSIVA TÉCNICA: IA É MAIS INTERESSANTE PARA CORREÇÃO DE TERMOS TÉCNICOS
► Alfacon;
► Chat GPT;
Editais
► FGV
► FCC
► CESPE
