Preguntas y respuestas sobre imágenes médicas

Qué hace

El modelo Preguntas y respuestas sobre imágenes médicas responde preguntas libres sobre una imagen que no cubre ningún modelo específico de MedRun. Se cargan unas pocas imágenes, un volumen de TC o RM o un clip corto y se pregunta en lenguaje natural: "¿Es una radiografía en decúbito lateral?", "¿Qué es la estructura brillante junto a la vesícula?". El ID de modelo sin endpoint ejecuta esta herramienta de preguntas y devuelve una respuesta con una confianza y, cuando la imagen lo permite, un recuadro que muestra de dónde procede la respuesta.

La misma ejecución puede localizar una frase ("el nódulo", "riñón derecho") como recuadros y, con un estudio previo, describe lo que es nuevo, se ha resuelto, ha aumentado o ha disminuido. Una herramienta aparte redacta un borrador de informe de tipo radiológico para cualquier estudio, empezando por una breve descripción estructurada de lo que muestran las imágenes.

Uso previsto

Orientación y redacción de borradores. Un médico se orienta rápidamente en un tipo de estudio poco habitual; un desarrollador explora qué contiene un estudio antes de elegir un modelo específico; un docente convierte un caso en preguntas y respuestas. Cada respuesta indica su procedencia, y el texto generado nunca aporta cifras a un informe clínico. Cuando MedRun tiene un modelo específico para el estudio, la consola sugiere primero ese modelo.

A quién va dirigido

Clínicos que quieren preguntar sobre una imagen fuera del catálogo específico, docentes y residentes que exploran casos, y desarrolladores e investigadores que evalúan respuestas multimodales sobre sus propios datos.

Entradas admitidas

• Imágenes: hasta unas pocas imágenes 2D (radiografías, fotogramas de ecografía, fotografías, imágenes de endoscopia) en DICOM, PNG o JPEG.
• Volúmenes: una serie de TC o RM; los cortes se muestrean para ajustarse al contexto del modelo.
• Clips: un clip de cine o un video corto.
• Pregunta: texto libre; para la localización, la frase que se quiere localizar.
• Estudio previo (opcional, en prior_files): una imagen anterior de la misma región para la descripción del cambio.

Requisitos

Requisito	Motivo
Un estudio por pregunta	Las respuestas se refieren a las imágenes aportadas, no a otras series
Imágenes en las que el hallazgo siga siendo visible tras el redimensionado	Las imágenes se redimensionan al tamaño de entrada del modelo
Misma región y proyección comparable en el estudio previo	La descripción del cambio compara elementos equivalentes

Contexto opcional

Se puede indicar en clinical_context una breve historia o indicación; se entrega al modelo junto con la pregunta.

El resultado

Sección	Contenido
Respuesta	Respuesta en texto libre con confianza y, cuando procede, un recuadro de localización (la salida principal de ask)
Descripción del estudio	Modalidad, región, proyección o secuencia, técnica y hallazgos destacados; la devuelve universal/vqa/report como inicio de su borrador de informe
Localización de frases	Recuadros para una frase como "el nódulo" o "riñón derecho"
Cambio respecto al previo	Descripción del cambio frente a la imagen previa: nuevo, resuelto, mayor o menor

Los recuadros de localización se devuelven como coordenadas de imagen, de modo que cada frase localizada puede dibujarse sobre la imagen de origen.

Estándares

• JSON: bloque report marcado como generative: true con su procedencia, citations[] para los recuadros de localización, changes[] para la comparación con el previo.
• DICOM: regiones planares SR TID 1500 para los recuadros de localización; superposiciones GSPS.
• FHIR: DiagnosticReport con estado preliminary para los borradores de informe.

Herramientas relacionadas

• universal/vqa/report: un borrador de informe de tipo radiológico (hallazgos e impresión) para cualquier estudio, con la descripción del estudio como primera sección; las radiografías y TC de tórax usan pesos de modelo especializados para el informe. Se devuelve como FHIR DiagnosticReport con estado preliminary.
• universal/segment: contornea la estructura a la que se refiere una respuesta y la mide.