Embeddings de imagen y casos similares

Qué hace

El modelo Embeddings de imagen y casos similares convierte una imagen o una serie médica en un vector: una representación numérica compacta en la que las imágenes de contenido similar quedan próximas entre sí. Se carga una imagen o una serie; el ID de modelo sin endpoint devuelve el embedding (vector de características) junto con el codificador y su dimensión, listo para guardarse en un índice vectorial.

Dos herramientas relacionadas se basan en los mismos vectores. La búsqueda de casos similares devuelve los casos más próximos de la casuística propia de la organización, cada uno con su informe, para comparación y docencia. El etiquetado zero-shot puntúa una imagen frente a una lista de etiquetas redactadas por el propio usuario, sin entrenar antes un clasificador.

Uso previsto

Un componente básico para desarrolladores e investigadores y una ayuda de referencia para los clínicos. Los embeddings permiten la búsqueda, la agrupación, los clasificadores few-shot y la curación de datos de entrenamiento. Los casos similares ayudan a un residente o a un lector a ver cómo se informaron estudios comparables.

A quién va dirigido

Desarrolladores que construyen flujos de búsqueda, triaje o curación de datos; investigadores que necesitan características de imagen coherentes en toda una cohorte; servicios que mantienen archivos docentes y quieren encontrar casos comparables en su propio archivo.

Entradas admitidas

• Imágenes: una imagen o una serie por solicitud, de cualquier modalidad que MedRun admite: radiografías, volúmenes de TC y RM, ecografía, retinografías y otras fotografías, teselas de patología; también NIfTI, PNG y JPEG.
• Casuística (búsqueda de casos similares): los casos que la organización ha cargado, con sus informes.
• Lista de etiquetas (etiquetado zero-shot): las etiquetas como frases de texto cortas.

Requisitos

Requisito	Motivo
El mismo codificador y la misma versión para todos los vectores que se comparan	Los espacios de embedding difieren entre codificadores, por lo que los vectores mezclados no son comparables
Reindexación tras actualizar el codificador	Una nueva versión del codificador produce un nuevo espacio de embedding
Una serie por solicitud de volumen	Los datos 3D procesados con un codificador 2D se agregan sobre los cortes de esa serie
Una casuística de casos informados (búsqueda de casos similares)	La calidad de la recuperación depende más de la casuística que del codificador

La modalidad se reconoce a partir de la serie y se elige el codificador adecuado; el resultado indica el codificador y su versión, de modo que los vectores almacenados siguen siendo trazables.

Contexto opcional

En la búsqueda de casos similares se puede fijar el número de vecinos que se devuelven; en el etiquetado zero-shot, la lista de etiquetas es el único contexto que necesita la ejecución.

El resultado

Salida	Contenido
Embedding	El vector, o una referencia a él, con el nombre, la versión y la dimensión del codificador
Origen	La imagen o la serie a partir de la que se calculó el vector, y cualquier agregación de cortes aplicada

El vector se devuelve en el resultado JSON en embedding, de modo que puede escribirse directamente en una base de datos vectorial.

Estándares

• JSON: embedding con modelo, dimensión y vector o referencia; neighbors[] con referencia del caso y puntuación de similitud en la búsqueda de casos similares; classifications[] para las etiquetas zero-shot.
• DICOM: documentos Key Object Selection que referencian los casos similares, para que un visor PACS pueda abrirlos.
• Entradas: DICOM o las formas convertidas NIfTI, PNG y JPEG de las mismas imágenes.

Cómo elegir entre las herramientas

El embedding se usa cuando se construye un índice o un clasificador propio y se necesitan las características en bruto. La búsqueda de casos similares se usa cuando se quieren casos informados comparables de la propia casuística sin mantener un índice propio. El etiquetado zero-shot sirve para ordenar o filtrar imágenes con etiquetas definidas por el usuario antes de invertir en un modelo entrenado.

Herramientas relacionadas

• universal/embed/similar-cases: los k casos más similares de la casuística de la organización, con sus informes y referencias DICOM Key Object Selection.
• universal/embed/classify: probabilidades para una lista de etiquetas definida por el usuario, sin entrenamiento.