Moderation BERT

Visão geral

O Moderation BERT implementa um pipeline de processamento de linguagem natural voltado à triagem automatizada de conteúdo textual em português brasileiro. O projeto realiza o ajuste fino (fine-tuning) do modelo contextual BERTimbau (neuralmind/bert-base-portuguese-cased) para identificar e pontuar padrões de linguagem que violem termos de uso em plataformas sociais.

O modelo captura nuances sintáticas, gírias regionais e variações ortográficas comuns em redes móveis, gerando distribuições de probabilidade para priorização em filas de moderação.

Preparação e particionamento do corpus

O pipeline de dados realiza as seguintes etapas de higienização e divisão:

1. Normalização de texto. Remoção de caracteres de controle, padronização de quebras de linha e filtragem de sequências vazias ou corrompidas.
2. Deduplicação estrita. Eliminação de textos idênticos ou com alta similaridade léxica para impedir vazamento de dados entre os conjuntos de treino, validação e teste.
3. Divisão estratificada. Particionamento dos dados preservando a proporção original das classes, assegurando representatividade estatística em todas as partições.

Treinamento e ajuste fino com BERTimbau

A rotina de treinamento é construída em PyTorch com a biblioteca Hugging Face Transformers.

• Loop de treinamento. Controle explícito de épocas com otimizador AdamW, escalonador linear de taxa de aprendizado com aquecimento (warmup) e cálculo de perda por entropia cruzada com pesos para balanceamento de classes.
• Validação sem gradientes. Avaliação periódica do modelo em partição isolada com desativação do cálculo de gradientes (torch.no_grad()), calculando acurácia, precisão, revocação (recall) e F1-score macro.
• Persistência de artefatos. Salvamento automático dos melhores pontos de controle (checkpoints) com base na perda de validação, acompanhado dos arquivos de vocabulário do tokenizer.

Calibragem de limiares e integração

O sistema opera com faixas calibradas de probabilidade para direcionar as decisões operacionais:

• Faixa de alta confiança. Conteúdos com probabilidade de violação acima do limiar crítico acionam ações imediatas de contenção ou ocultação temporária.
• Faixa de incerteza. Casos com probabilidade intermediária são encaminhados automaticamente para a fila de análise humana com o destaque dos termos de maior atenção.
• Auditoria contínua. Todas as inferências registram o identificador da requisição, a versão do modelo carregado, o tempo de resposta em milissegundos e o limiar aplicado.