universal/segment

Promptbasierte Segmentierung

Jede Struktur im medizinischen Bild abgrenzen: Klick, Box oder Scribble, per Name oder alle Organe.

Bald verfügbarANYUniversell & multimodal

Dieses Modell kann noch nicht ausgeführt werden. Stimmen Sie ab, um Ihr Interesse zu zeigen, und erhalten Sie eine E-Mail, sobald es verfügbar ist.

Überblick

Funktionsweise

Promptbasierte Segmentierung grenzt Strukturen auf jedem medizinischen Bild ab. Klicken Sie in eine Läsion, ziehen Sie eine Box, zeichnen Sie ein Scribble oder ein Lasso auf einem 2D-Bild, einer Schicht eines CT- oder MRT-Volumens oder einem Bild eines Ultraschall- oder Endoskopievideos; die Analyse liefert eine Maske, und jeder weitere Klick verfeinert sie. Die einfache Modell-ID führt dieses interaktive Tool aus.

Aus der Maske misst sie Fläche oder Volumen, und der Abschnitt Maskenpropagation überträgt eine auf einem Bild oder einer Schicht gezeichnete Maske durch den gesamten Clip, Cine-Loop oder das Volumen. Zwei ergänzende Tools decken die Fälle ohne Klicks ab: eine Struktur im Text benennen („Leber“, „Zyste linke Niere“, „Pleuraerguss“) oder jede Struktur, die die Modalität unterstützt, in einem Durchgang labeln.

Einsatzzweck

Ein allgemeines Werkzeug zum Annotieren, Messen und Korrigieren von Strukturen, wo kein spezielles MedRun-Modell greift oder die Maske eines speziellen Modells korrigiert werden muss. Eine Radiologin grenzt eine Läsion mit zwei Klicks ab und liest ihr Volumen ab; ein Forscher segmentiert jedes Organ in einer CT-Kohorte; ein Entwickler propagiert eine Maske durch einen Ultraschallclip. Eine aus Klicks erstellte Maske trägt das Label, das der Nutzer ihr gibt.

Zielgruppe

Entwickler und Forschende, die Datensätze und Messpipelines aufbauen, Radiologen und andere Ärzte, die Strukturen messen oder korrigieren, sowie Teams, die Volumetrie oder 3D-Modelle aus CT und MRT erstellen.

Eingaben und Protokoll

Unterstützte Eingaben

Bilder: jede von MedRun akzeptierte Serie, einschließlich CT-, MRT- und PET-Volumina, Ultraschall-, Angiographie- und Endoskopie-Cine, Röntgenaufnahmen und Fotos; auch NIfTI-1/2, NRRD, PNG, JPEG und MP4.
Prompts: positive und negative Punkte, Boxen, Scribbles oder ein Lasso auf einem 2D-Bild, einer Schicht oder einem Videobild.
Referenzmaske (optional): eine vorhandene DICOM-SEG- oder NIfTI-Maske zum Verfeinern oder Propagieren.

Anforderungen

Anforderung	Grund
Einheitlicher Schichtabstand bei 3D-Volumina	Volumina in Millimetern und Propagation zwischen Schichten
Bis zu etwa 1000 Schichten pro Aufruf	Größere Serien werden auf die interessierende Körperregion zugeschnitten
Video von bis zu wenigen Minuten	Die Propagation läuft durch jedes Bild des Clips
Mindestens ein Prompt für das interaktive Tool	Die Maske wird dadurch definiert, wo der Nutzer klickt oder zeichnet

Die Modalität wird aus der Serie erkannt, und eine modalitätsspezifische Normalisierung wird angewendet: Hounsfield-Fenster für CT, Intensitätsnormalisierung für MRT, Farbbehandlung für Ultraschall und Endoskopie.

Optionale klinische Angaben

Ein Label für die Struktur („Knoten rechte Nebenniere“) kann dem Prompt beigefügt werden, sodass Maske und Messwert im Ergebnis benannt sind.

Ergebnisse und Standards

Das Ergebnis

Abschnitt	Inhalt
Maske und Messwerte	Die per Prompt erstellte Maske, mit jedem Prompt verfeinert, mit Fläche (2D) oder Volumen (3D)
Maskenpropagation	Eine Maske von einem Bild oder einer Schicht, übertragen durch ein Video, einen Cine-Loop oder ein Volumen, als Multiframe-Maske

Die Prompts werden mit dem Ergebnis zurückgegeben, sodass sich eine Maske später aus denselben Klicks reproduzieren oder verfeinern lässt.

Standards

DICOM: Segmentation Storage und Label Map Segmentation Storage mit SNOMED-CT-Codes für Segmentkategorie und -typ; RTSTRUCT auf Anfrage; SR TID 1500 für Volumina; GSPS für Overlays auf den Quellbildern.
Weitere Formate: NIfTI-1/2-Masken für Analysepipelines; JSON mit measurements[] und Maskenverweisen.
Terminologie: SNOMED CT und RadLex für benannte Strukturen.

Tipps für Prompts

Bei der Röntgenangiographie eignen sich Klicks besser als Boxen. Ein negativer Klick entfernt ein Überlaufen der Maske in eine Nachbarstruktur.

Ergänzende Tools

universal/segment/text: eine Maske pro benanntem Ziel aus einem Textprompt, mit Existenzscore, in DICOM SEG mit SNOMED-CT-Codes.
universal/segment/everything: automatische Label-Map der Organe, Knochen und Gefäße, die für die erkannte Modalität bekannt sind, mit Volumina pro Struktur in SR TID 1500.