PLANO DE TRABALHO

Processo: 23103.025655/2024-13

1. 1. DADOS CADASTRAIS

2.  

PARTÍCIPE 1: FUNDAÇÃO UNIVERSIDADE FEDERAL DE CIÊNCIAS DA SAÚDE DE PORTO ALEGRE- UFCSPA

CNPJ: 92.967.595/0001-77

Endereço: Rua Sarmento Leite nº 245. Centro Histórico Cidade: Porto Alegre Estado: Rio Grande do Sul

Nome do responsável: Lucia Campos Pellanda Cargo/função: Reitora

Nome do pesquisador técnico, responsável pela pesquisa na UFCSPA: Eliana Márcia Da Ros Wendland

PARTÍCIPE 2: Fundação Empresa Escola de Engenharia da UFRGS. FEEng CNPJ: 02.475.386/0001-13

Endereço: Praça Argentina, nº 09 – Sala 203 Cidade: Porto Alegre

Estado: Rio Grande do Sul

Nome do responsável: Luciani Somensi Lorenzi Diretora Presidente

*FINANCIADOR: Ministério da Saúde do Brasil

2. 2. IDENTIFICAÇÃO DO OBJETO

3.  

Título do projeto: Inteligência Artificial para Análise Econômica do Programa Mais Médicos

Data de início da execução: 02/01/2025

Data estimada para término da execução: 01/03/2028

​Descrição do projeto a ser realizado:

O Programa Mais Médicos (PMM), instituído em 2013, pelo governo brasileiro, representa uma das principais estratégias para a ampliação do acesso à atenção primária à saúde, especialmente em regiões vulneráveis e de difícil provimento de profissionais médicos. Com a promulgação da Lei nº 14.621, de 14 de julho de 2023, o Programa Mais Médicos foi reformulado para qualificar ainda mais as estratégias de fixação de profissionais em regiões prioritárias. A nova legislação introduz incentivos adicionais que buscam ampliar a atratividade do programa para médicos recém-formados e experientes, com o objetivo de melhorar o acesso à atenção primária à saúde nas regiões mais necessitadas. . No entanto, permanece a necessidade de avaliações rigorosas e contínuas para garantir a sustentabilidade do programa e o alcance de suas metas. Estudos mostram a efetividade do PMM na redução da mortalidade infantil em áreas com altos índices de mortalidade, saúde indígena e satisfação dos usuários. O projeto visa realizar uma análise econômica do Programa Mais Médicos (PMM), focando no impacto dos benefícios incorporados pela Lei nº 14.621/2023. A análise incluirá a avaliação do custo- efetividade dos incentivos educacionais e financeiros para a fixação de profissionais em áreas vulneráveis do Brasil, utilizando modelos tradicionais e machine learning. As metas incluem o desenvolvimento de modelos preditivos, comparações regionais e disseminação de resultados.

3. JUSTIFICATIVA

A avaliação de programas como o Mais Médicos é complexa e apresenta uma série de desafios metodológicos, com resultados que podem, a princípio, parecer conflitantes, a depender dos parâmetros utilizados e da metodologia empregada. Desta forma, avaliar o custo-efetividade do programa e a sua sustentabilidade econômica a longo prazo, frente aos diferentes incentivos fornecidos, identificando regiões ou áreas onde o programa pode ser mais bem utilizado em termos de custo e efetividade é fundamental para o planejamento das ações a longo prazo.

4. OBJETIVOS GERAL e ESPECÍFICOS

4.1 Objetivo geral:

Avaliar o impacto econômico e o custo-efetividade dos benefícios incorporados pela Lei nº 14.621 de 14 de julho de 2023 do Programa Mais Médicos no Brasil.

4.2 Objetivos específicos:

4.2.1 Avaliar o custo-efetividade dos diferentes incentivos incorporados através da Lei nº 14.621, educacionais e financeiros diretos, sobre a fixação de profissionais de saúde no período imediatamente anterior e posterior;

4.2.2 Avaliar se existem diferentes no custo-efetividade do programa nas diferentes regiões do Brasil;

4.2.3 Desenvolver modelos de predição de custo do Programa Mais Médicos utilizando machine learning, investigando quais os benefícios ou características associadas à fixação de profissionais e número de internações.

5. METODOLOGIA

5.1 Desenho do estudo

Trata-se de um estudo observacional utilizando dados secundários. As análises econômicas serão realizadas através de dois tipos de estudo: Estudo de custo-efetividade, que irá responder aos primeiros dois objetivos específicos (meta 1 e 2) e um estudo de modelagem de custos utilizando machine learning.

O desfecho principal a ser estudado será a fixação de profissionais na atenção primária. Tempo de fixação no local primário, permanência no programa e na região geográfica inicialmente designada serão considerados desfechos secundários, bem como o número de internações por condições sensíveis à atenção primária (Portaria Nº 221, DE 17 de abril de 2008).

5.2 Estudo de custo-efetividade

O estudo de custo-efetividade utilizará a abordagem clássica, conforme descrito nas diretrizes do Ministério da Saúde (23,23,24), Organização Panamericana da Saúde (23) e Organização Mundial da Saúde (2), integrando análises de custo-efetividade e impacto econômico (25).

Brevemente, as etapas a serem desenvolvidas serão:

• Criação de um modelo conceitual lógico incorporando medidas de custo a serem utilizados;

• Abstração dos dados e consolidação das diferentes bases de dados (dados sobre o PMM, base sobre formação dos recursos humanos - FIOCRUZ, base com informações do FIES);

• Cálculo dos custos e efetividades das estratégias e razões de custo-efetividade incrementais. A principal medida de desfecho será a retenção dos profissionais no programa durante 12 e 18 meses. A retenção na área primária alocada e na região geográfica alocada também serão avaliados. Serão incorporados no modelo valores com bolsa-formação, auxílio moradia, auxílio alimentação, auxílio deslocamento, custos com formação (diferentes níveis de incentivo educacional), outros benefícios utilizados como licença maternidade e paternidade durante o tempo estudado, valor utilizado por profissional do FIES.

• Estratificação dos cálculos de custo-efetividade pelas cinco regiões geográficas do Brasil;

• Validação do modelo e análises de sensibilidade. A validação do modelo será feita seguindo as recomendações do ISPOR-SMDM Modeling Good Research Practices Task Force-7(26). A validade interna do modelo será avaliada através do instrumento desenvolvido pelo CADTH (Canadian Agency for Drugs and Technologies in Health)(27). Análises de sensibilidade serão realizadas levando em conta a faixa de valores do auxílio alimentação.

• Descrição e discussão dos resultados.

5.3 Modelo preditivo utilizando Machine Learning

Para atender ao terceiro objetivo específico (meta 3), será realizado um estudo de modelagem para estimar os custos do programa ao longo do tempo, de acordo com as várias estratégias de incentivo, utilizando machine learning:

5.3.1 Criar um modelo conceitual para cada um dos agravos estudados com definição de variáveis a serem utilizadas no modelo (28,29);

5.3.2 Seleção e consolidação dos dados disponíveis;

Serão utilizados bancos de dados com informações sobre o PMM e base com informações do FIES (fornecidos pelo Ministério da Saúde), base sobre formação dos recursos humanos (FIOCRUZ), dados com informações sociodemográficas e econômicas (IBGE) e informações sobre serviços de saúde (CNES). Análises secundárias utilizando como desfecho as internações sensíveis à atenção primária serão realizadas usando-se as informações do SIH/SUS.

Após identificar e selecionar múltiplos bancos de dados relevantes para o projeto de machine learning, o próximo passo consiste em consolidar essas diferentes fontes de dados em um banco de dados único e coeso.

Esse processo envolve várias etapas críticas:

• Integração e Mapeamento de Esquemas: Primeiramente, é necessário realizar uma análise detalhada dos esquemas de cada banco de dados, identificando correspondências e diferenças
• nas estruturas de dados (como nomes de tabelas, tipos de dados e relacionamentos). Isso permite mapear os diferentes esquemas em um formato comum, garantindo a consistência dos dados integrados.
•  
• Normalização e Limpeza de Dados: Antes da fusão, os dados provenientes de diferentes fontes serão submetidos a um processo de normalização, padronizando formatos, unidades de medida, nomenclaturas, e resolvendo possíveis conflitos ou duplicidades. Além disso, técnicas de limpeza de dados serão aplicadas para lidar com dados ausentes, outliers e inconsistências.
•  
• União de Dados (Data Merging): Com os dados normalizados, a próxima etapa é realizar a fusão dos conjuntos de dados, seja por meio de operações de junção (joins) em caso de dados relacionais, ou agregação (union/append) em caso de dados não-relacionais. Essa fusão é conduzida de maneira a preservar as relações entre os dados e maximizar a integridade e a completude das informações combinadas.
•  
• Criação de Índices e Estruturação: Uma vez consolidado, o banco de dados unificado será estruturado com a criação de índices, chaves primárias e estrangeiras, e outras otimizações de performance, facilitando o acesso eficiente aos dados e a execução de consultas complexas durante as fases de modelagem de machine learning.
•  
• Validação e Verificação: Finalmente, será realizada uma validação minuciosa do banco de dados unificado, comparando amostras dos dados resultantes com os dados originais para assegurar que a fusão manteve a integridade e a precisão dos dados. Verificações de consistência e testes de performance garantirão que o banco de dados esteja pronto para suportar as atividades de treinamento e avaliação de modelos de machine learning.
• Esse processo de consolidação é essencial para garantir que o projeto de machine learning seja baseado em uma base de dados completa, coerente e otimizada, maximizando a qualidade e a robustez dos modelos gerados.

5.3.3 Seleção dos modelos de machine learning

Para selecionar o modelo de machine learning mais adequado aos meus dados, é fundamental passar por uma fase estruturada de experimentação e validação de diferentes algoritmos. Essa etapa começa com a escolha de um conjunto de algoritmos que possuem potencial para resolver o problema em questão. Tipicamente, esses algoritmos incluem, mas não se limitam a métodos de classificação como regressão logística, SVM (Support Vector Machine), árvores de

decisão, ensembles como Random Forest e Gradient Boosting, e técnicas baseadas em redes neurais, como MLPs (Multi-Layer Perceptrons).

Cada um desses algoritmos possui diferentes capacidades de modelagem e pressupostos subjacentes sobre a distribuição dos dados e as relações entre variáveis. Por exemplo, a regressão logística assume linearidade entre as features e a variável de saída, enquanto redes neurais podem modelar relações não lineares complexas. Devido a essas diferenças, o desempenho de cada modelo pode variar significativamente dependendo das características específicas dos dados—tais como a presença de outliers, multicolinearidade, a relação entre variáveis, e o balanceamento de classes.

A experimentação consiste em treinar esses modelos com os dados disponíveis, utilizando técnicas de validação cruzada (como k-fold cross-validation) para garantir que o desempenho avaliado seja representativo e não enviesado por overfitting em uma única partição dos dados. Durante essa etapa, diferentes métricas de avaliação são aplicadas, dependendo do objetivo final do modelo. Por exemplo, em problemas de classificação binária, métricas como acurácia, precisão, recall, F1-score, e a curva ROC-AUC são essenciais para entender a performance sob diferentes perspectivas (balanceamento entre falsos positivos e falsos negativos, capacidade de discriminação, etc.).

Além da avaliação de desempenho bruto, também se realiza uma análise de tuning de hiperparâmetros para cada modelo, utilizando técnicas como grid search ou random search, a fim de identificar a configuração de parâmetros que maximizam a performance do algoritmo. Esse processo permite ajustar o modelo não apenas para a melhor performance geral, mas também para uma performance estável e robusta frente à variabilidade dos dados.

Após a experimentação e avaliação, a seleção do modelo final é baseada em uma combinação de critérios quantitativos (como as métricas de desempenho mencionadas) e qualitativos, como a interpretabilidade do modelo, complexidade computacional, tempo de treinamento e inferência, e escalabilidade para novos dados. A escolha do modelo mais adequado, portanto, não depende apenas do desempenho em termos de acurácia ou outras métricas, mas também de como ele se integra ao contexto operacional e às restrições do problema específico.

4. 5.3.4 Teste do modelo final

Depois do modelo escolhido faremos a validação completa dos dados sobre este modelo:

Testes com Dados de Teste: Após treinar o modelo com os dados de treinamento, o modelo é avaliado usando um conjunto de dados separado, conhecido como dados de teste. Este conjunto de dados não foi usado durante o treinamento e serve para verificar a capacidade do modelo de fazer previsões em situações novas.

Avaliação de Métricas de Desempenho: Métricas como acurácia, precisão, recall, F1-score, e AUC-ROC são calculadas para avaliar a performance do modelo. Essas métricas ajudam a determinar se o modelo está atingindo o nível de desempenho esperado.

Análise de Overfitting e Underfitting: Durante os testes, é importante verificar se o modelo está sofrendo de overfitting (onde o modelo se ajusta muito bem aos dados de treinamento, mas não generaliza para novos dados) ou underfitting (onde o modelo não captura bem os padrões nos dados). Testar o modelo com os dados de teste ajuda a identificar esses problemas.

Validação Cruzada (Cross-Validation): Em alguns casos, pode ser útil realizar uma validação cruzada, onde o conjunto de dados é dividido em múltiplas partes, e o modelo é treinado e testado várias vezes em diferentes subdivisões dos dados. Isso fornece uma estimativa mais robusta do desempenho do modelo.

Ajustes Finais e Tunagem de Hiperparâmetros: Com base nos resultados dos testes, pode ser necessário ajustar os hiperparâmetros do modelo ou fazer pequenos ajustes para melhorar o desempenho antes de considerar o modelo como final.

5.3.5 Produção de dados de predição

Com o modelo final selecionado e validado, a próxima etapa envolve a aplicação do modelo para gerar predições futuras com base nos dados históricos disponíveis. O modelo será utilizado para projetar tendências e resultados para os próximos anos, considerando os parâmetros previamente definidos. Esses dados históricos serão alimentados no modelo em lote, permitindo a geração de predições que ajudarão a prever cenários futuros e a tomar decisões estratégicas. A produção dessas predições incluirá a análise de diferentes cenários, levando em conta possíveis variações nos parâmetros ao longo do tempo, garantindo assim que as projeções sejam robustas e úteis para o planejamento de longo prazo.

6. 5.3.6 Relatório final

Com o modelo implementado e as predições realizadas, o próximo passo é a criação de um do relatório final e do artigo científico que documentará detalhadamente todo o processo do projeto. Este relatório incluirá uma descrição completa dos dados utilizados, a metodologia aplicada, a seleção e o treinamento do modelo, os resultados dos testes e validações, além das predições geradas para os próximos anos. O artigo também apresentará uma análise crítica dos resultados, discutindo suas implicações práticas, as limitações do estudo, e sugestões de melhorias para futuras pesquisas. Para atender aos padrões acadêmicos, o artigo será estruturado de acordo com as normas exigidas pelas revistas científicas, incluindo uma revisão da literatura relevante, uma discussão sobre a importância dos resultados no contexto atual, e

as contribuições do estudo para o campo de machine learning aplicado à saúde pública (ou outra área específica). Este artigo será essencial para a comunicação dos achados, a disseminação do conhecimento gerado e a replicabilidade do estudo por outros pesquisadores.

5.3.7 Avaliação de risco

Ao conduzir um projeto de machine learning com dados de saúde pública, é crucial considerar e mitigar diversos riscos associados a aspectos éticos, legais, técnicos e operacionais.

5.3.8 Aspectos éticos

Serão utilizados dados de domínio público, sem a necessidade de submissão ao comitê de ética em pesquisa em seres humanos. O projeto está registrado no diretório de projetos da COMPESQ UFCSPA sob número 995-2024.

6. 6. DESCRIÇÃO DAS ATIVIDADES E RESPONSABILIDADES DOS PARTÍCIPES

7.  

Objetivo 1: Avaliar o custo-efetividade dos diferentes incentivos incorporados através da Lei nº 14.621, educacionais e financeiros diretos, sobre a fixação de profissionais de saúde no período imediatamente anterior e posterior;

Atividade: condução de um estudo de custo-efetividade Responsável: Profa. Eliana Wendland e Profa. Carine Raquel Blatt Período: 20/dez/2024 a 20/jan/2026

Recursos necessários e participe responsável por sua disponibilização: Para este projeto, contrataremos um aluno de pós-doutorado, conforme orçamento que segue.

Objetivo 2: Avaliar se existem diferentes no custo-efetividade do programa nas diferentes regiões do Brasil;

Atividade: Realizar 1 (uma) comparação detalhada da avaliação de custo-efetividade do Programa Mais Médicos nas cinco regiões geográficas do Brasil (Norte, Nordeste, Centro-Oeste, Sudeste e Sul), utilizando dados econômicos e sociodemográficos regionais dentro do prazo de 13 meses, com a entrega do relatório parcial ao final desse período.

Responsável: Profa. Eliana Wendland e Profa. Carine Raquel Blatt

Período: 20/dez/2024 a 20/jan/2026

Recursos necessários e participe responsável por sua disponibilização: Para este projeto, contrataremos um aluno de pós-doutorado, conforme orçamento que segue.

Objetivo 3: Desenvolver modelos de predição de custo do Programa Mais Médicos utilizando machine learning, investigando quais os benefícios ou características associadas à fixação de profissionais e número de internações.

Atividade: Desenvolver 1 (um) modelo de modelagem matemática baseada em técnicas de machine learning para prever os custos associados ao Programa Mais Médicos, considerando as diferentes estratégias de incentivos e suas implicações na fixação de profissionais em áreas de alta vulnerabilidade, em um prazo de 13 meses, com a entrega do relatório parcial contendo as predições de custos ao final desse período.

Responsável: Prof. Eliana Wendland e Silvio

Período: 01/jan/2025 a 31/dez/2025

Recursos necessários e participe responsável por sua disponibilização: Para este fim, contrataremos um aluno de doutorado, para a execução do estudo, em colaboração com a Secretaria de Saúde do Estado do Rio Grande do Sul.

7. 7. RESULTADOS ESPERADOS

• Desenvolver de 01 (um) modelo de decisão de custo-efetividade baseado em diferentes incentivos que fazem parte do Programa Mais Médicos no intervalo de 13 meses.

• Realizar 1 (uma) comparação detalhada da avaliação de custo-efetividade do Programa Mais Médicos nas cinco regiões geográficas do Brasil (Norte, Nordeste, Centro-Oeste, Sudeste e Sul), utilizando dados econômicos e sociodemográficos regionais dentro do prazo de 13 meses, com a entrega do relatório parcial ao final desse período.

• Desenvolver 1 (um) modelo de modelagem matemática baseada em técnicas de machine learning para prever os custos associados ao Programa Mais Médicos, considerando as diferentes estratégias de incentivos e suas implicações na fixação de profissionais em áreas de alta vulnerabilidade, em um prazo de 13 meses, com a entrega do relatório parcial contendo as predições de custos ao final desse período.

• Desenvolver 2 (dois) policy briefing e 1 (um) relatório final contendo as informações consolidadas, com o objetivo de fornecer dados, disseminar resultados do estudo e produzir recomendações aos gestores públicos nas esferas municipal, estadual e federal, em um prazo de 13 meses.

8.  

9. 8. DEFINIÇÃO DA INFRAESTRUTURA NECESSÁRIA

A infraestrutura computacional, incluindo recursos de processamento, armazenamento, rede e suporte técnico necessários para o desenvolvimento e execução de modelos de aprendizado de máquina e simulação, será integralmente fornecida pela empresa. As demais atividades serão desenvolvidas na UFCSPA, que dispõem das infraestrutura física necessária para tal.

9. 9. DEFINIÇÃO DA EQUIPE TÉCNICA

Conforme descrito no orçamento deste projeto, a equipe técnica será composta por professores e alunos de pós-doutorado, a serem contratados pelo período de vigência do projeto.

UFCSPA coordenará este estudo (coordenador geral Profa. Dra. Eliana Márcia Wendland), em articulação com a Secretaria de Atenção Primária.

10. UNIDADE RESPONSÁVEL e COORDENADOR DO ACORDO DE COOPERAÇÃO TÉCNICA

Unidade: Pró-Reitoria de Pesquisa e Pós-Graduação Coordenador técnico da pesquisa: Eliana Wendland

O fiscal do contrato será designado pela PROPPG, mediante emissão de portaria específica

11. 11. ESTIMATIVA ORÇAMENTÁRIA

12.  

13. 11.1 Recursos

14. Este projeto foi aprovado para execução com recursos do Ministério da Saúde do Brasil, de modo que nenhum custo será imputado às instituições participantes. Os gastos com recursos humanos no projeto são resumidos na tabela abaixo:

*Os valores a serem pagos de bolsa respeitarão o teto do funcionalismo público no Brasil.

11.2 Pagamento de pessoa jurídica

Para os propósitos de simulações e aprendizado de máquina, contrataremos empresa especializada na realização desses processos, em valor estimado de R$ 675.421,70 através de contratação adequada.

11.3. Pagamento de diárias e passagens

Diárias e passagens serão utilizadas par reuniões com o Ministério da Saúde e para divulgação dos resultados em fóruns específicos no valor de R$ 19.925,00.

11.4 Administração dos recursos

Os recursos a serem obtidos por este projeto serão administrados por uma fundação de apoio, com taxa administrativa de 8%, conforme tabela abaixo:

12. CRONOGRAMA

Assinam:

Eliana Márcia Da Ros Wendland - Coordenador Técnico da Pesquisa

---

Documento assinado eletronicamente por Eliana Marcia Da Ros Wendland, PROFESSOR 3 GRAU, em 02/07/2025, às 16:53, conforme horário oficial de Brasília, com fundamento no art. 6º, § 1º, do Decreto nº 8.539, de 8 de outubro de 2015.

---

A autenticidade deste documento pode ser conferida no site https://sei.ufcspa.edu.br/sei/controlador_externo.php?acao=documento_conferir&id_orgao_acesso_externo=0, informando o código verificador 2222545 e o código CRC 4265E316.

---