Tıbbi Görüntü Soru-Cevap

Ne yapar

Tıbbi Görüntü Soru-Cevap, ayrı bir MedRun modelinin kapsamadığı bir görüntü hakkında serbest soruları yanıtlar. Birkaç görüntü, bir BT veya MR hacmi ya da kısa bir klip yükleyin ve sade bir dille sorun: "Is this a lateral decubitus film?", "What is the bright structure next to the gallbladder?". Yalın model kimliği bu soru aracını çalıştırır ve bir güven değeriyle birlikte, görüntü elverdiğinde yanıtın nereden geldiğini gösteren bir kutuyla bir yanıt döndürür.

Aynı çalıştırma bir ifadeyi ("the nodule", "right kidney") sınırlayıcı kutular olarak konumlandırabilir; önceki bir inceleme varsa neyin yeni, kaybolmuş, büyümüş veya küçülmüş olduğunu tanımlar. Ayrı bir araç, herhangi bir inceleme için görüntülerin neyi gösterdiğine dair kısa, yapılandırılmış bir tanımla başlayan radyoloji tarzı bir taslak rapor yazar.

Kullanım amacı

Yön bulma ve taslak oluşturma. Bir hekim alışık olmadığı bir inceleme türünde hızla yön bulur; bir geliştirici ayrı bir model seçmeden önce bir incelemenin neler içerdiğini keşfeder; bir eğitici bir eğitim olgusunu sorulara ve yanıtlara dönüştürür. Her yanıt kaynak bilgisini taşır ve üretilen metin klinik bir rapora asla sayı sağlamaz. MedRun'ın inceleme için ayrı bir modeli olduğunda konsol önce o modeli önerir.

Kimler için

Ayrı modellerin kapsamı dışındaki bir görüntü hakkında soru sormak isteyen klinisyenler, olguları inceleyen eğiticiler ve asistanlar ve multimodal yanıtları kendi verileri üzerinde değerlendiren geliştiriciler ve araştırmacılar.

Kabul edilen girdiler

• Görüntüler: DICOM, PNG veya JPEG olarak birkaç adede kadar 2D görüntü (radyografiler, ultrason kareleri, fotoğraflar, endoskopi durağan görüntüleri).
• Hacimler: bir BT veya MR serisi; kesitler modelin bağlamına sığacak şekilde örneklenir.
• Klipler: kısa bir sine kayıt veya video.
• Soru: serbest metin; konumlandırmada yeri bulunacak ifade.
• Önceki inceleme (isteğe bağlı, prior_files içinde): değişim tanımı için aynı bölgenin daha önceki bir görüntüsü.

Gereksinimler

Gereksinim	Neden
Soru başına bir inceleme	Yanıtlar diğer serilere değil, sağlanan görüntülere atıfta bulunur
Yeniden boyutlandırmadan sonra bulgunun görünür kaldığı görüntüler	Görüntüler modelin girdi boyutuna yeniden boyutlandırılır
Önceki inceleme için aynı bölge ve karşılaştırılabilir görüntü	Değişim tanımı benzerleri karşılaştırır

İsteğe bağlı bağlam

Kısa bir öykü veya endikasyon clinical_context alanında iletilebilir; soruyla birlikte modele verilir.

Sonuç

Bölüm	İçerik
Yanıt	Güven değeriyle ve elverdiğinde bir konumlandırma kutusuyla serbest metin yanıt (ask aracının birincil çıktısı)
İnceleme tanımı	Modalite, bölge, görüntü veya sekans, teknik ve belirgin bulgular; taslak raporunun girişi olarak universal/vqa/report tarafından döndürülür
İfade konumlandırma	"the nodule" veya "right kidney" gibi bir ifade için sınırlayıcı kutular
Önceki incelemeye göre değişim	Önceki görüntüye göre tanımlanan değişim: yeni, kaybolmuş, büyümüş veya küçülmüş

Konumlandırma kutuları görüntü koordinatları olarak döndürülür; böylece konumlandırılan her ifade kaynak görüntü üzerine çizilebilir.

Standartlar

• JSON: kaynak bilgisiyle generative: true olarak işaretlenmiş report bloğu, konumlandırma kutuları için citations[], önceki karşılaştırma için changes[].
• DICOM: konumlandırma kutuları için SR TID 1500 düzlemsel bölgeleri; GSPS bindirmeleri.
• FHIR: taslak raporlar için preliminary durumuyla DiagnosticReport.

İlgili araçlar

• universal/vqa/report: herhangi bir inceleme için ilk bölümü inceleme tanımı olan radyoloji tarzı taslak rapor (bulgular ve kanaat); akciğer grafileri ve BT için özelleşmiş rapor ağırlıkları kullanılır. preliminary durumuyla bir FHIR DiagnosticReport olarak döndürülür.
• universal/segment: bir yanıtın atıfta bulunduğu yapının sınırlarını çizin ve ölçün.