Segmentación por prompt

Qué hace

El modelo Segmentación por prompt contornea estructuras en cualquier imagen médica. Se hace clic dentro de una lesión, se dibuja un recuadro, un trazo o un lazo sobre una imagen 2D, un corte de un volumen de TC o RM, o un fotograma de un video de ecografía o endoscopia; la ejecución devuelve una máscara, y cada nuevo clic la refina. El ID de modelo sin endpoint ejecuta esta herramienta interactiva.

A partir de la máscara mide el área o el volumen, y la sección de propagación de máscara lleva una máscara dibujada en un fotograma o un corte a todo el clip, el clip de cine o el volumen. Dos herramientas relacionadas cubren los casos sin clics: nombrar una estructura en texto ("hígado", "quiste renal izquierdo", "derrame pleural") o etiquetar en una sola pasada todas las estructuras que admite la modalidad.

Uso previsto

Una herramienta general para anotar, medir y corregir estructuras cuando no se aplica ningún modelo específico de MedRun, o cuando la máscara de un modelo específico necesita una corrección. Un radiólogo contornea una lesión con dos clics y lee su volumen; un investigador segmenta todos los órganos de una cohorte de TC; un desarrollador propaga una máscara a lo largo de un clip de ecografía. Una máscara dibujada con clics lleva la etiqueta que le asigna el usuario.

A quién va dirigido

Desarrolladores e investigadores que construyen conjuntos de datos y flujos de medición, radiólogos y otros médicos que miden o corrigen estructuras, y equipos que obtienen volumetrías o modelos 3D a partir de TC y RM.

Entradas admitidas

• Imágenes: cualquier serie que MedRun admite, incluidos volúmenes de TC, RM y PET, cine de ecografía, angiografía y endoscopia, radiografías y fotografías; también NIfTI-1/2, NRRD, PNG, JPEG y MP4.
• Prompts: puntos positivos y negativos, recuadros, trazos o un lazo sobre una imagen 2D, un corte o un fotograma de video.
• Máscara de referencia (opcional): una máscara DICOM SEG o NIfTI existente para refinarla o propagarla.

Requisitos

Requisito	Motivo
Espaciado entre cortes coherente en los volúmenes 3D	Volúmenes en milímetros y propagación entre cortes
Hasta unos 1000 cortes por llamada	Las series más grandes se recortan a la región corporal de interés
Video de hasta unos pocos minutos	La propagación recorre todos los fotogramas del clip
Al menos un prompt para la herramienta interactiva	La máscara se define por dónde hace clic o dibuja el usuario

La modalidad se reconoce a partir de la serie y se aplica una normalización específica: ventanas de unidades Hounsfield para la TC, normalización de intensidad para la RM y tratamiento del color para la ecografía y la endoscopia.

Contexto opcional

Se puede añadir al prompt una etiqueta para la estructura ("nódulo suprarrenal derecho"), de modo que la máscara y su medición aparezcan con nombre en el resultado.

El resultado

Sección	Contenido
Máscara y mediciones	La máscara indicada por prompt, refinada con cada prompt, con su área (2D) o su volumen (3D)
Propagación de máscara	Una máscara de un fotograma o un corte llevada a todo un video, clip de cine o volumen, como máscara multiframe

Los prompts se devuelven con el resultado, de modo que una máscara puede reproducirse o refinarse más tarde a partir de los mismos clics.

Estándares

• DICOM: Segmentation Storage y Label Map Segmentation Storage con códigos SNOMED CT de categoría y tipo de segmento; RTSTRUCT a petición; SR TID 1500 para los volúmenes; GSPS para las superposiciones sobre las imágenes de origen.
• Otros formatos: máscaras NIfTI-1/2 para flujos de análisis; JSON con measurements[] y referencias a las máscaras.
• Terminología: SNOMED CT y RadLex para las estructuras con nombre.

Consejos para los prompts

En la angiografía por rayos X, conviene usar clics en lugar de recuadros. Un clic negativo corta una fuga hacia una estructura vecina.

Herramientas relacionadas

• universal/segment/text: una máscara por cada estructura nombrada en un prompt de texto, con una puntuación de existencia, en DICOM SEG con códigos SNOMED CT.
• universal/segment/everything: mapa de etiquetas automático de los órganos, huesos y vasos conocidos para la modalidad detectada, con volúmenes por estructura en SR TID 1500.