Requisitos de Machine Learning
O objetivo deste documento é especificar os requisitos de Machine Learning para o sistema SciNewsAI — um pipeline que usa recuperação de contexto (RAG) e modelos de linguagem (LLMs) para gerar versões simplificadas em português de artigos científicos. Aqui descrevemos os requisitos funcionais e não funcionais, métricas de avaliação, critérios de aceitação e restrições operacionais necessárias para garantir qualidade, robustez e conformidade ética do serviço.
Requisitos Funcionais (RF)
As seções abaixo detalham os requisitos funcionais esperados do sistema. Esses requisitos definem comportamento observável, formatos de entrada/saída, critérios de qualidade da geração e regras para manter a fidelidade ao conteúdo original.
- RFML01 - Entrada do Modelo: O modelo deve aceitar como entrada o texto completo (full_text) ou uma concatenação do título, resumo e texto completo de um artigo científico.
- RFML02 - Saída do Modelo: O modelo deve gerar um texto em português que seja uma versão simplificada do artigo original, explicando os conceitos chave, a metodologia e os resultados de forma clara e acessível para não especialistas.
- RFML03 - Consistência Factual: A simplificação gerada deve ser factualmente correta e não introduzir informações que não estejam presentes no artigo original.
- RFML04 - Controle de Jargão: O modelo deve identificar e explicar jargões técnicos ou substituí-los por termos mais simples, quando possível.
Requisitos Não Funcionais (RNF)
A seguir apresentamos os requisitos não funcionais que guiam desempenho, confiabilidade, custo e manutenção do sistema em produção. Eles incluem metas de latência, tolerância a falhas, reprodutibilidade e limitações de custo operacional.
- RNFML01 - Latência de Inferência: Como o processo rodará em background semanalmente, a latência por artigo não é crítica, mas o lote de artigos da semana deve ser processado em menos de 12 horas para garantir a publicação atempada.
- RNFML02 - Robustez: O modelo deve ser capaz de lidar com diferentes formatações de texto extraído de PDFs, incluindo notações matemáticas e referências, sem gerar erros.
- RNFML03 - Reprodutibilidade: Para um mesmo artigo de entrada, o processo de simplificação deve gerar resultados consistentes, mesmo que não sejam idênticos (devido à natureza estocástica de alguns modelos).
- RNFML04 - Custo de Inferência: O custo por artigo simplificado deve ser monitorado. Por exemplo, manter o custo abaixo de $0.05 por artigo.
Métricas de Avaliação do Modelo
Esta seção define as métricas quantitativas e qualitativas que serão utilizadas para avaliar o desempenho e a qualidade do modelo de simplificação (RAG + LLM) do SciNewsAI, bem como o comportamento operacional do pipeline de ML em produção.
Métricas Funcionais (Qualidade e Factualidade)
O modelo deve ser avaliado periodicamente com base em métricas padronizadas de qualidade textual e consistência factual. Estas métricas estão definidas na Tabela 1.
| Categoria | Métrica | Descrição | Valor Esperado | Ferramenta |
|---|---|---|---|---|
| Semântica | BERTScore | Mede a similaridade semântica entre o artigo original e o texto simplificado, avaliando se o significado foi preservado. | ≥ 0.80 |
bert_score (HuggingFace) |
| Factualidade | RAGAS - Faithfulness | Mede o quanto o texto gerado é fiel às evidências recuperadas no RAG, evitando alucinações. | ≥ 0.70 |
ragas (LangChain) |
| Relevância | RAGAS - Context Precision | Mede se o modelo está utilizando apenas contextos relevantes e não redundantes. | ≥ 0.70 |
ragas |
| Cobertura | ROUGE-L | Mede o grau de sobreposição entre o texto simplificado e o original, garantindo manutenção das principais ideias. | ≥ 0.60 |
evaluate |
| Legibilidade | Flesch Reading Ease (PT-BR) | Mede o quão fácil é compreender o texto simplificado. | ≥ 60 |
textstat |
Tabela 1: Métricas funcionais de qualidade e factualidade. Fonte: Gustavo Melo e Matheus Henrique, 2025.
Métricas Operacionais (MLOps e Desempenho)
As métricas operacionais monitoram a performance da pipeline e confiabilidade das execuções automatizadas. As métricas selecionadas para este projeto estão resumidas na Tabela 2.
| Categoria | Métrica | Descrição | Valor Esperado | Ferramenta |
|---|---|---|---|---|
| Desempenho | Latência média por artigo | Tempo total para processar e simplificar um artigo, incluindo coleta, RAG e geração. | ≤ 60 s/artigo |
Prefect Metrics / Prometheus |
| Throughput | Artigos processados por hora | Quantidade média de artigos processados automaticamente. | ≥ 20 artigos/hora |
Prefect Metrics |
| Disponibilidade | Uptime da pipeline | Percentual de execuções agendadas concluídas com sucesso. | ≥ 99% |
Prefect / Grafana |
Tabela 2: Métricas operacionais de MLOps e desempenho. Fonte: Gustavo Melo e Matheus Henrique, 2025.
Métricas de Experiência do Usuário (Feedback Loop)
Após a publicação dos textos simplificados, métricas de experiência serão coletadas para medir clareza, confiança e engajamento dos usuários. As métricas de UX selecionadas estão resumidas abaixo na Tabela 3.
| Categoria | Métrica | Descrição | Valor Esperado | Ferramenta |
|---|---|---|---|---|
| Clareza | Nota média de clareza (1–5) | Usuários avaliam a facilidade de compreensão do texto. | ≥ 4.0 |
Formulário / UI feedback |
| Confiança percebida | Nota média de confiança (1–5) | Mede se o usuário percebe o texto como coerente, lógico e confiável, mesmo sem conhecer o artigo original. | ≥ 4.0 |
Feedback simples (positivo/negativo) |
| Engajamento | Taxa de leitura completa (%) | Percentual de usuários que leem o artigo até o final. | ≥ 70% |
Google Analytics / Web stats |
Tabela 3: Métricas de UX. Fonte: Gustavo Melo e Matheus Henrique, 2025.
Métricas de Qualidade e Ética (Incremental/Futuro)
Para garantir transparência e confiabilidade do sistema, métricas adicionais podem ser implementadas nas próximas fases (Tabela 4):
| Categoria | Métrica | Descrição | Valor Esperado | Ferramenta |
|---|---|---|---|---|
| Alucinação | Alucinação Detectada (LlamaIndex Eval) | Mede se o modelo introduz informações não presentes nas fontes originais. | LlamaIndex evals |
|
| Auditabilidade | Explicabilidade (Prompt Trace) | Registra e rastreia prompts e respostas para auditoria e análise posterior. | LangSmith / MLflow |
Tabela 4: Métricas de qualidade e ética. Fonte: Gustavo Melo e Matheus Henrique, 2025.
Histórico de Versões
| Versão | Data | Descrição | Autores | Revisores |
|---|---|---|---|---|
1.0 |
18/10/2025 | Adiciona documentação de requisitos da IA. | Matheus Henrique | Gustavo Melo |
1.1 |
20/10/2025 | Formata texto e adiciona legendas nas tabelas. | Bruno Martins |