universal/vqa

Fragen an medizinische Bilder

Fragen zu medizinischen Bildern: Antworten mit Grounding-Boxen und Vergleich zur Voruntersuchung.

Bald verfügbarANYUniversell & multimodal

Dieses Modell kann noch nicht ausgeführt werden. Stimmen Sie ab, um Ihr Interesse zu zeigen, und erhalten Sie eine E-Mail, sobald es verfügbar ist.

Überblick

Funktionsweise

Fragen an medizinische Bilder beantwortet freie Fragen zu einem Bild, für das kein spezielles MedRun-Modell existiert. Laden Sie einige Bilder, ein CT- oder MRT-Volumen oder einen kurzen Clip hoch und fragen Sie in natürlicher Sprache: „Ist das eine Aufnahme in Seitenlage?“, „Was ist die helle Struktur neben der Gallenblase?“. Die einfache Modell-ID führt dieses Frage-Tool aus und liefert eine Antwort mit Konfidenz und, wo das Bild es erlaubt, eine Box, die zeigt, woher die Antwort stammt.

Dieselbe Analyse kann eine Phrase („der Knoten“, „rechte Niere“) als Bounding Boxes verorten und beschreibt mit einer Voruntersuchung, was neu, rückläufig, größer oder kleiner ist. Ein separates Tool schreibt einen Befundentwurf im Stil eines Radiologiebefunds für jede Untersuchung, beginnend mit einer kurzen strukturierten Beschreibung dessen, was die Bilder zeigen.

Einsatzzweck

Orientierung und Entwurf. Eine Ärztin verschafft sich schnell einen Überblick über einen ungewohnten Untersuchungstyp; ein Entwickler erkundet, was eine Untersuchung enthält, bevor er ein spezielles Modell wählt; eine Lehrende macht aus einem Lehrfall Fragen und Antworten. Zu jeder Antwort wird ihre Herkunft angegeben, und generierter Text liefert nie Zahlen für einen klinischen Befund. Hat MedRun ein spezielles Modell für die Untersuchung, schlägt die Konsole zuerst dieses Modell vor.

Zielgruppe

Ärztinnen und Ärzte, die Fragen zu einem Bild außerhalb des speziellen Katalogs stellen möchten, Lehrende und Ärzte in Weiterbildung, die Fälle erkunden, sowie Entwickler und Forschende, die multimodale Antworten auf eigenen Daten evaluieren.

Eingaben und Protokoll

Unterstützte Eingaben

Bilder: einige wenige 2D-Bilder (Röntgenaufnahmen, Ultraschallbilder, Fotos, Endoskopie-Standbilder) als DICOM, PNG oder JPEG.
Volumina: eine CT- oder MRT-Serie; Schichten werden so ausgewählt, dass sie in den Kontext des Modells passen.
Clips: ein kurzer Cine-Loop oder ein kurzes Video.
Frage: Freitext; für das Grounding die zu verortende Phrase.
Voruntersuchung (optional, in prior_files): ein früheres Bild derselben Region für die Beschreibung der Veränderung.

Anforderungen

Anforderung	Grund
Eine Untersuchung pro Frage	Antworten beziehen sich auf die übergebenen Bilder, nicht auf andere Serien
Bilder, in denen der Befund nach dem Skalieren sichtbar bleibt	Bilder werden auf die Eingabegröße des Modells skaliert
Gleiche Region und vergleichbare Ansicht bei einer Voruntersuchung	Die Beschreibung der Veränderung vergleicht Gleiches mit Gleichem

Optionale klinische Angaben

Eine kurze Anamnese oder Indikation kann in clinical_context übergeben werden; sie wird dem Modell zusammen mit der Frage übergeben.

Ergebnisse und Standards

Das Ergebnis

Abschnitt	Inhalt
Antwort	Freitextantwort mit Konfidenz und, wo möglich, einer Grounding-Box (die primäre Ausgabe von `ask`)
Beschreibung der Untersuchung	Modalität, Region, Ansicht oder Sequenz, Technik und wesentliche Befunde; geliefert von `universal/vqa/report` als Einleitung seines Befundentwurfs
Phrase Grounding	Bounding Boxes für eine Phrase wie „der Knoten“ oder „rechte Niere“
Veränderung zur Voruntersuchung	Beschriebene Veränderung gegenüber dem früheren Bild: neu, rückläufig, größer oder kleiner

Grounding-Boxen werden als Bildkoordinaten ausgegeben, sodass sich jede verortete Phrase auf dem Quellbild einzeichnen lässt.

Standards

JSON: report-Block mit der Kennzeichnung generative: true und Herkunftsangabe, citations[] für Grounding-Boxen, changes[] für den Vergleich mit der Voruntersuchung.
DICOM: planare Regionen in SR TID 1500 für Grounding-Boxen; GSPS-Overlays.
FHIR: DiagnosticReport mit Status preliminary für Befundentwürfe.

Ergänzende Tools

universal/vqa/report: ein Befundentwurf im Stil eines Radiologiebefunds (Befund und Beurteilung) für jede Untersuchung, mit der Beschreibung der Untersuchung als erstem Abschnitt; für Röntgen-Thorax und CT kommen spezialisierte Modellgewichte für die Befundung zum Einsatz. Ausgegeben als FHIR DiagnosticReport mit Status preliminary.
universal/segment: die Struktur, auf die sich eine Antwort bezieht, abgrenzen und vermessen.