universal/embed

Bild-Embeddings und ähnliche Fälle

Medizinische Bild-Embeddings für Suche, Clustering und Zero-Shot-Labels, plus Suche ähnlicher Fälle.

Bald verfügbarANYUniversell & multimodal

Dieses Modell kann noch nicht ausgeführt werden. Stimmen Sie ab, um Ihr Interesse zu zeigen, und erhalten Sie eine E-Mail, sobald es verfügbar ist.

Überblick

Funktionsweise

Bild-Embeddings und ähnliche Fälle wandelt ein medizinisches Bild oder eine Serie in einen Vektor um: eine kompakte numerische Darstellung, in der Bilder mit ähnlichem Inhalt nahe beieinander liegen. Laden Sie ein Bild oder eine Serie hoch; die einfache Modell-ID liefert das Embedding zusammen mit Encoder und Dimension, bereit zur Speicherung in einem Vektorindex.

Zwei ergänzende Tools bauen auf denselben Vektoren auf. Die Suche nach ähnlichen Fällen liefert die nächstgelegenen Fälle aus der eigenen Fallbibliothek Ihrer Organisation, jeweils mit Befund, für Vergleich und Lehre. Das Zero-Shot-Labeling bewertet ein Bild anhand einer selbst geschriebenen Liste von Labels, ohne zuvor einen Klassifikator zu trainieren.

Einsatzzweck

Ein Baustein für Entwickler und Forschende und eine Referenzhilfe für Ärztinnen und Ärzte. Embeddings unterstützen Suche, Clustering, Few-Shot-Klassifikatoren und die Kuratierung von Trainingsdaten. Ähnliche Fälle helfen Ärzten in Weiterbildung oder befundenden Personen zu sehen, wie vergleichbare Untersuchungen befundet wurden.

Zielgruppe

Entwickler, die Pipelines für Suche, Triage oder Datenkuratierung bauen; Forschende, die einheitliche Bildmerkmale über eine Kohorte benötigen; Abteilungen, die Lehrfallsammlungen pflegen und vergleichbare Fälle im eigenen Archiv finden wollen.

Eingaben und Protokoll

Unterstützte Eingaben

Bilder: ein Bild oder eine Serie pro Anfrage, aus jeder von MedRun akzeptierten Modalität: Röntgenaufnahmen, CT- und MRT-Volumina, Ultraschall, Fundus- und andere Fotos, Pathologie-Kacheln; auch NIfTI, PNG und JPEG.
Fallbibliothek (Suche nach ähnlichen Fällen): die von Ihrer Organisation hochgeladenen Fälle mit ihren Befunden.
Labelliste (Zero-Shot-Labeling): die Labels als kurze Textphrasen.

Anforderungen

Anforderung	Grund
Derselbe Encoder in derselben Version für alle verglichenen Vektoren	Embedding-Räume unterscheiden sich zwischen Encodern, daher sind gemischte Vektoren nicht vergleichbar
Neuindexierung nach einem Encoder-Upgrade	Eine neue Encoder-Version erzeugt einen neuen Embedding-Raum
Eine Serie pro Volumenanfrage	3D-Daten, die mit einem 2D-Encoder eingebettet werden, werden über die Schichten dieser Serie gepoolt
Eine Bibliothek befundeter Fälle (Suche nach ähnlichen Fällen)	Die Qualität der Suche hängt mehr von der Bibliothek als vom Encoder ab

Die Modalität wird aus der Serie erkannt und der passende Encoder gewählt; das Ergebnis nennt Encoder und Version, sodass gespeicherte Vektoren nachvollziehbar bleiben.

Optionale klinische Angaben

Für die Suche nach ähnlichen Fällen lässt sich die Zahl der zurückgegebenen Nachbarn festlegen; für das Zero-Shot-Labeling ist die Labelliste der einzige Kontext, den die Analyse benötigt.

Ergebnisse und Standards

Das Ergebnis

Ausgabe	Inhalt
Embedding	Der Vektor oder ein Verweis darauf, mit Encoder-Name, Version und Dimension
Quelle	Das Bild oder die Serie, aus der der Vektor berechnet wurde, und ein gegebenenfalls angewendetes Schicht-Pooling

Der Vektor wird im JSON-Ergebnis unter embedding zurückgegeben, sodass er direkt in eine Vektordatenbank geschrieben werden kann.

Standards

JSON: embedding mit Modell, Dimension und Vektor oder Verweis; neighbors[] mit Fallverweis und Ähnlichkeitsscore für die Suche nach ähnlichen Fällen; classifications[] für Zero-Shot-Labels.
DICOM: Key-Object-Selection-Dokumente mit Verweisen auf die ähnlichen Fälle, damit ein PACS-Viewer sie öffnen kann.
Eingaben: DICOM oder die konvertierten NIfTI-, PNG- und JPEG-Formen derselben Bilder.

Auswahl des passenden Tools

Nutzen Sie das Embedding, wenn Sie einen eigenen Index oder Klassifikator aufbauen und Rohmerkmale benötigen. Nutzen Sie die Suche nach ähnlichen Fällen, wenn Sie vergleichbare befundete Fälle aus Ihrer Bibliothek ohne eigenen Index wünschen. Nutzen Sie das Zero-Shot-Labeling, um Bilder nach selbst definierten Labels zu sortieren oder zu filtern, bevor Sie in ein trainiertes Modell investieren.

Ergänzende Tools

universal/embed/similar-cases: die Top-k ähnlichsten Fälle aus der Bibliothek Ihrer Organisation, mit ihren Befunden und Verweisen per DICOM Key Object Selection.
universal/embed/classify: Wahrscheinlichkeiten für eine benutzerdefinierte Labelliste, ohne Training.