287 XXXI MOSTRA UNISINOS DE INICIAÇÃO CIENTÍFICA E TECNOLÓGICA De 28/10/2024 a 01/11/2024 Unisinos São Leopoldo Ciências Exatas e da Terra - PPG em Computação Aplicada Autor(a): Mizaéli da Silva Rodrigues Coautor(es): Blanda Mello; Cristiano André da Costa Modalidade de Bolsa: PIBITI CNPq Orientador(a): Prof. Dr. Rodolfo Stoffel Antunes MAPEAMENTO DE NOTAS NÃO-ESTRUTURADAS SOBRE COVID-19 À TERMINOLOGIA INTERNACIONAL: UMA AVALIAÇÃO DA CAPACIDADE DE MAPEAMENTO SEMÂNTICO A aplicação do aprendizado de máquina demonstra potencial capacidade de inovação tecnológica na área da saúde, sobretudo na análise de dados clínicos. Neste estudo, buscou-se avaliar a capacidade de modelos de linguagem de grande porte (LLMs) em mapear semanticamente textos médicos não-estruturados sobre covid-19, comparando seus resultados com aqueles obtidos por redatores estudantes da área da saúde, visando à estruturação para terminologia internacional. Com a estruturação de dados à terminologia internacional, busca-se desenvolver uma ontologia padronizada para dados de saúde, alinhada com padrões internacionais como openEHR, HL7 FHIR, entre outros. Para isso, foi realizada uma análise das notas não-estruturadas no contexto da Covid-19 retiradas de prontuários do Hospital de Clínicas de Porto Alegre. O processo metodológico adotado para avaliar a capacidade de mapeamento semântico incluiu a criação de um conjunto de regras e exemplos para a identificação das entidades e relações descritas em texto. Em seguida, realizou-se a extração de dados por meio dos LLMs, bem como as anotações realizadas por redatores. A avaliação do desempenho desses modelos foi conduzida utilizando métricas de precisão, revocação e F1-score. Os resultados obtidos na pesquisa foram: “Redatores” precisão de 74,47%, revocação de 44,05% e F1-score de 55,59%; “GEMINI” precisão de 80,65%, revocação de 45,16% e F1-score de 58,21%; “GPT-4” precisão de 73,23%, revocação de 64,43% e F1-score de 68,57%. Os resultados obtidos demonstram que GPT-4 se sobressai quanto a revocação e F1-score, enquanto GEMINI se destaca pela maior precisão. A baixa revocação das extrações realizadas pelo grupo redatores e GEMINI sugere maior seletividade, resultando em menos falsos positi-
RkJQdWJsaXNoZXIy MjEzNzYz