Dezvăluirea vulnerabilităților modelelor lingvistice mari în terapia intensivă: perspective din aplicațiile de gestionare a sepsisului

Abstract

Introducere Sepsisul rămâne o cauză principală a mortalității în ATI, necesitând decizii rapide, bazate pe dovezi, privind terapia cu antibiotice și respectarea ghidurilor. Modelele lingvistice mari (LLM) integrate în sistemele multi-agent oferă instrumente promițătoare de asistență decizională, însă tendința lor spre halucinații - rezultate neacceptate sau excesive - prezintă riscuri semnificative în contexte cu mize mari. Acest studiu evaluează un sistem bazat pe LLM multi-agent pentru gestionarea sepsisului, evidențiind aceste riscuri pentru a informa aplicații mai sigure în terapia intensivă. Materiale și metode Un sistem multi-agent a fost dezvoltat folosind Palmyra-Med 70B LLM, orchestrat prin Crew.ai, cu trei agenți: gestionarea sepsisului, recomandarea antibioticelor și respectarea ghidurilor. Generarea augmentată de recuperare (RAG) a utilizat baze de date vectoriale Chroma populate cu literatură și ghiduri recente despre sepsis. Zece cazuri diverse de sepsis (8 din baza de date MIMIC-IV, 2 din literatura de specialitate) au fost procesate ca viniete. Rezultatele au fost evaluate programatic folosind TruLens (prin GPT-3.5 Turbo) pentru fundamentare, relevanță a răspunsului și relevanță contextuală (cu scor 0-1). Doi intensiviști au furnizat evaluări de specialitate pe o scală de la 0 la 10 pentru relevanță și fundamentare. Acordul interrater a fost măsurat cu Kappa Cohen. Rezultate Recomandările de antibiotice au obținut scoruri medii mari (0,89-1,0), reflectând o fundamentare puternică a dovezilor. Cu toate acestea, rezultatele privind gestionarea sepsisului și conformitatea au avut scoruri mai mici (0,44-0,94 și, respectiv, 0,50-0,89), cu halucinații frecvente (de exemplu, semne clinice fabricate în cazurile de fasciită necrozantă) și detalii excesive. Evaluările experților au reflectat tendințele programatice, cu Kappa Cohen la 0,622 (p=0,003) pentru cazul inițial, dar o variabilitate mai mică în celelalte cazuri. Testarea comparativă a LLM (Palmyra-Med 70B, GPT-3.5 Turbo, GPT-4o Mini) a semnalat halucinații în 20-40% din rezultate per LLM. Concluzii Deși sistemele multi-agent bazate pe LLM excelează în sugestiile rapide de antibiotice, halucinațiile compromit fiabilitatea în gestionarea sepsisului, riscând erori clinice în îngrijirea la ATI. Rafinarea RAG și a prompturilor de agent este esențială; studiile viitoare ar trebui să valideze în timp real și să exploreze cadre hibride om-IA pentru a atenua aceste riscuri și a spori încrederea. Studiul a fost finanțat de Agenția Națională pentru Cercetare și Dezvoltare (ANCD) din Moldova în cadrul grantului 25.00208.5007.07/PD pentru proiectul „Metode și algoritmi software inteligenți pentru terapia intensivă. Abordare prin prisma științei complexității”, implementat la Universitatea Tehnică a Moldovei.

Introduction Sepsis remains a leading cause of ICU mortality, demanding rapid, evidence-based decisions for antibiotic therapy and guideline adherence. Large language models (LLMs) integrated into multiagent systems offer promising decision-support tools, yet their propensity for hallucinations— unsupported or excessive outputs—poses significant risks in high-stakes settings. This study evaluates a multi-agent LLM-based system for sepsis management, highlighting these risks to inform safer applications in intensive care. Materials and Methods A multi-agent system was developed using Palmyra-Med 70B LLM, orchestrated via Crew.ai, with three agents: sepsis management, antibiotic recommendation, and guidelines compliance. Retrievalaugmented generation (RAG) utilized Chroma vector databases populated with recent sepsis literature and guidelines. Ten diverse sepsis cases (8 from MIMIC-IV database, 2 from literature) were processed as vignettes. Outputs were assessed programmatically using TruLens (via GPT-3.5 Turbo) for groundedness, answer relevance, and context relevance (scored 0-1). Two intensivists provided expert evaluations on a 0-10 scale for relevance and groundedness. Interrater agreement was measured with Cohen’s Kappa. Results Antibiotic recommendations achieved high mean scores (0.89-1.0), reflecting strong evidence grounding. However, sepsis management and compliance outputs scored lower (0.44-0.94 and 0.50- 0.89, respectively), with frequent hallucinations (e.g., fabricated clinical signs in necrotizing fasciitis cases) and excessive details. Expert ratings mirrored programmatic trends, with Cohen’s Kappa at 0.622 (p=0.003) for the initial case but lower variability across others. Comparative LLM testing (Palmyra-Med 70B, GPT-3.5 Turbo, GPT-4o Mini) flagged hallucinations in 20-40% of outputs per LLM. Conclusions While LLM-based multi-agent systems excel in rapid antibiotic suggestions, hallucinations compromise reliability in sepsis management, risking clinical errors in ICU care. Refining RAG and agent prompts is essential; future studies should validate in real-time settings and explore hybrid human-AI frameworks to mitigate these risks and enhance trustworthiness. The study was funded by the National Agency for Research and Development (NARD) of Moldova under grant number 25.00208.5007.07/PD for the project "Intelligent Software Methods and Algorithms for Intensive Care: A Complexity Science Approach," implemented at the Technical University of Moldova.