Monitoramento de notícias municipais

Visão geral

O pipeline de Monitoramento de Notícias Municipais executa a coleta sistemática e o processamento de matérias jornalísticas e comunicados públicos relativos a licitações, contratos administrativos e fiscalização nos municípios baianos. O sistema converte páginas web heterogêneas em bases estruturadas com referências de data, fonte primária e município associado.

A ferramenta automatiza o trabalho de busca diária em múltiplos portais de notícias, organizando os dados para análises de risco e acompanhamento de auditoria.

Pipeline de extração e processamento

O fluxo operacional é executado através dos seguintes módulos:

1. Varredura e ingestão web. O Selenium gerencia instâncias de navegadores em modo headless para interpretar páginas com renderização dinâmica em JavaScript, enquanto o BeautifulSoup extrai blocos de título, corpo do texto e metadados.
2. Normalização de datas e links. Padronização de datas para formatos ISO, resolução de URLs relativas e desduplicação de matérias por meio de hashes calculados sobre título e conteúdo.
3. Validação de mídias. O módulo executa requisições HEAD para verificar a disponibilidade de imagens e anexos vinculados às matérias, registrando links ativos e descartando referências quebradas.
4. Desambiguação geográfica com spaCy. Um modelo de reconhecimento de entidades nomeadas (NER) integrado a um catálogo oficial dos 417 municípios baianos classifica as ocorrências geográficas no texto. O sistema aplica regras contextuais para desambiguar termos homônimos comuns (como diferenciar substantivos comuns das cidades de Saúde, Vitória da Conquista ou Glória).

Estrutura de dados e exportação

Os registros processados contêm os seguintes campos padronizados:

• Identificador único e hash de conteúdo.
• Título da matéria, resumo e corpo textual limpo.
• URL de origem canônica e nome do veículo de imprensa.
• Data e hora de publicação normalizadas.
• Municípios identificados com pontuação de confiança espacial.
• Status da validação de imagem e anexos.

Os dados são exportados periodicamente para planilhas em formato Excel via OpenPyXL e persistidos em banco de dados relacional para consultas históricas e cruzamento com bases de controle externo.