Pular para conteúdo

Requisitos de Machine Learning

O objetivo deste documento é especificar os requisitos de Machine Learning para o sistema SciNewsAI — um pipeline que usa recuperação de contexto (RAG) e modelos de linguagem (LLMs) para gerar versões simplificadas em português de artigos científicos. Aqui descrevemos os requisitos funcionais e não funcionais, métricas de avaliação, critérios de aceitação e restrições operacionais necessárias para garantir qualidade, robustez e conformidade ética do serviço.

Requisitos Funcionais (RF)

As seções abaixo detalham os requisitos funcionais esperados do sistema. Esses requisitos definem comportamento observável, formatos de entrada/saída, critérios de qualidade da geração e regras para manter a fidelidade ao conteúdo original.

  1. RFML01 - Entrada do Modelo: O modelo deve aceitar como entrada o texto completo (full_text) ou uma concatenação do título, resumo e texto completo de um artigo científico.
  2. RFML02 - Saída do Modelo: O modelo deve gerar um texto em português que seja uma versão simplificada do artigo original, explicando os conceitos chave, a metodologia e os resultados de forma clara e acessível para não especialistas.
  3. RFML03 - Consistência Factual: A simplificação gerada deve ser factualmente correta e não introduzir informações que não estejam presentes no artigo original.
  4. RFML04 - Controle de Jargão: O modelo deve identificar e explicar jargões técnicos ou substituí-los por termos mais simples, quando possível.

Requisitos Não Funcionais (RNF)

A seguir apresentamos os requisitos não funcionais que guiam desempenho, confiabilidade, custo e manutenção do sistema em produção. Eles incluem metas de latência, tolerância a falhas, reprodutibilidade e limitações de custo operacional.

  1. RNFML01 - Latência de Inferência: Como o processo rodará em background semanalmente, a latência por artigo não é crítica, mas o lote de artigos da semana deve ser processado em menos de 12 horas para garantir a publicação atempada.
  2. RNFML02 - Robustez: O modelo deve ser capaz de lidar com diferentes formatações de texto extraído de PDFs, incluindo notações matemáticas e referências, sem gerar erros.
  3. RNFML03 - Reprodutibilidade: Para um mesmo artigo de entrada, o processo de simplificação deve gerar resultados consistentes, mesmo que não sejam idênticos (devido à natureza estocástica de alguns modelos).
  4. RNFML04 - Custo de Inferência: O custo por artigo simplificado deve ser monitorado. Por exemplo, manter o custo abaixo de $0.05 por artigo.

Métricas de Avaliação do Modelo

Esta seção define as métricas quantitativas e qualitativas que serão utilizadas para avaliar o desempenho e a qualidade do modelo de simplificação (RAG + LLM) do SciNewsAI, bem como o comportamento operacional do pipeline de ML em produção.

Métricas Funcionais (Qualidade e Factualidade)

O modelo deve ser avaliado periodicamente com base em métricas padronizadas de qualidade textual e consistência factual. Estas métricas estão definidas na Tabela 1.

Categoria Métrica Descrição Valor Esperado Ferramenta
Semântica BERTScore Mede a similaridade semântica entre o artigo original e o texto simplificado, avaliando se o significado foi preservado. ≥ 0.80 bert_score (HuggingFace)
Factualidade RAGAS - Faithfulness Mede o quanto o texto gerado é fiel às evidências recuperadas no RAG, evitando alucinações. ≥ 0.70 ragas (LangChain)
Relevância RAGAS - Context Precision Mede se o modelo está utilizando apenas contextos relevantes e não redundantes. ≥ 0.70 ragas
Cobertura ROUGE-L Mede o grau de sobreposição entre o texto simplificado e o original, garantindo manutenção das principais ideias. ≥ 0.60 evaluate
Legibilidade Flesch Reading Ease (PT-BR) Mede o quão fácil é compreender o texto simplificado. ≥ 60 textstat

Tabela 1: Métricas funcionais de qualidade e factualidade. Fonte: Gustavo Melo e Matheus Henrique, 2025.

Métricas Operacionais (MLOps e Desempenho)

As métricas operacionais monitoram a performance da pipeline e confiabilidade das execuções automatizadas. As métricas selecionadas para este projeto estão resumidas na Tabela 2.

Categoria Métrica Descrição Valor Esperado Ferramenta
Desempenho Latência média por artigo Tempo total para processar e simplificar um artigo, incluindo coleta, RAG e geração. ≤ 60 s/artigo Prefect Metrics / Prometheus
Throughput Artigos processados por hora Quantidade média de artigos processados automaticamente. ≥ 20 artigos/hora Prefect Metrics
Disponibilidade Uptime da pipeline Percentual de execuções agendadas concluídas com sucesso. ≥ 99% Prefect / Grafana

Tabela 2: Métricas operacionais de MLOps e desempenho. Fonte: Gustavo Melo e Matheus Henrique, 2025.

Métricas de Experiência do Usuário (Feedback Loop)

Após a publicação dos textos simplificados, métricas de experiência serão coletadas para medir clareza, confiança e engajamento dos usuários. As métricas de UX selecionadas estão resumidas abaixo na Tabela 3.

Categoria Métrica Descrição Valor Esperado Ferramenta
Clareza Nota média de clareza (1–5) Usuários avaliam a facilidade de compreensão do texto. ≥ 4.0 Formulário / UI feedback
Confiança percebida Nota média de confiança (1–5) Mede se o usuário percebe o texto como coerente, lógico e confiável, mesmo sem conhecer o artigo original. ≥ 4.0 Feedback simples (positivo/negativo)
Engajamento Taxa de leitura completa (%) Percentual de usuários que leem o artigo até o final. ≥ 70% Google Analytics / Web stats

Tabela 3: Métricas de UX. Fonte: Gustavo Melo e Matheus Henrique, 2025.

Métricas de Qualidade e Ética (Incremental/Futuro)

Para garantir transparência e confiabilidade do sistema, métricas adicionais podem ser implementadas nas próximas fases (Tabela 4):

Categoria Métrica Descrição Valor Esperado Ferramenta
Alucinação Alucinação Detectada (LlamaIndex Eval) Mede se o modelo introduz informações não presentes nas fontes originais. LlamaIndex evals
Auditabilidade Explicabilidade (Prompt Trace) Registra e rastreia prompts e respostas para auditoria e análise posterior. LangSmith / MLflow

Tabela 4: Métricas de qualidade e ética. Fonte: Gustavo Melo e Matheus Henrique, 2025.

Histórico de Versões

Versão Data Descrição Autores Revisores
1.0 18/10/2025 Adiciona documentação de requisitos da IA. Matheus Henrique Gustavo Melo
1.1 20/10/2025 Formata texto e adiciona legendas nas tabelas. Bruno Martins