Görüntü Embedding ve Benzer Olgular

Ne yapar

Görüntü Embedding ve Benzer Olgular, bir tıbbi görüntüyü veya seriyi bir vektöre dönüştürür: benzer içerikli görüntülerin birbirine yakın konumlandığı kompakt bir sayısal temsil. Bir görüntü veya bir seri yükleyin; yalın model kimliği, kodlayıcı ve boyutuyla birlikte bir vektör indeksinde saklanmaya hazır embedding'i döndürür.

Aynı vektörler üzerine iki ilgili araç kuruludur. Benzer olgu araması, kurumunuzun kendi olgu kütüphanesinden en yakın olguları, karşılaştırma ve eğitim için raporlarıyla birlikte döndürür. Zero-shot etiketleme, önce bir sınıflayıcı eğitmeden bir görüntüyü kendi yazdığınız etiket listesine göre skorlar.

Kullanım amacı

Geliştiriciler ve araştırmacılar için bir yapı taşı, klinisyenler için bir başvuru aracı. Embedding'ler aramayı, kümelemeyi, few-shot sınıflayıcıları ve eğitim verisinin düzenlenmesini destekler. Benzer olgular, bir asistanın veya okuyucunun benzer incelemelerin nasıl raporlandığını görmesine yardım eder.

Kimler için

Arama, triyaj veya veri düzenleme iş akışları kuran geliştiriciler; bir kohort boyunca tutarlı görüntü özniteliklerine ihtiyaç duyan araştırmacılar; eğitim arşivleri tutan ve kendi arşivlerinde benzer olguları bulmak isteyen bölümler.

Kabul edilen girdiler

• Görüntüler: MedRun'ın kabul ettiği herhangi bir modaliteden istek başına bir görüntü veya bir seri: radyografiler, BT ve MR hacimleri, ultrasonografi, fundus ve diğer fotoğraflar, patoloji karoları; ayrıca NIfTI, PNG ve JPEG.
• Olgu kütüphanesi (benzer olgu araması): kurumunuzun raporlarıyla birlikte yüklediği olgular.
• Etiket listesi (zero-shot etiketleme): kısa metin ifadeleri olarak etiketler.

Gereksinimler

Gereksinim	Neden
Karşılaştırılan her vektör için aynı kodlayıcı ve sürüm	Embedding uzayları kodlayıcılar arasında farklıdır; karışık vektörler karşılaştırılamaz
Kodlayıcı yükseltmesinden sonra yeniden indeksleme	Yeni bir kodlayıcı sürümü yeni bir embedding uzayı üretir
Hacim isteği başına bir seri	2D kodlayıcıyla embedding'i çıkarılan 3D veri, o serinin kesitleri boyunca birleştirilir (pooling)
Raporlanmış olgulardan oluşan bir kütüphane (benzer olgu araması)	Erişim kalitesi kodlayıcıdan çok kütüphaneye bağlıdır

Modalite seriden tanınır ve ona uygun kodlayıcı seçilir; sonuç kodlayıcıyı ve sürümünü belirtir, böylece saklanan vektörler izlenebilir kalır.

İsteğe bağlı bağlam

Benzer olgu araması için döndürülecek komşu sayısı ayarlanabilir; zero-shot etiketleme için çalıştırmanın ihtiyaç duyduğu tek bağlam etiket listesidir.

Sonuç

Çıktı	İçerik
Embedding	Kodlayıcı adı, sürümü ve boyutuyla vektör veya ona bir referans
Kaynak	Vektörün hesaplandığı görüntü veya seri ve uygulanan kesit birleştirme

Vektör, JSON sonucunda embedding altında döndürülür; böylece doğrudan bir vektör veritabanına yazılabilir.

Standartlar

• JSON: model, boyut ve vektör veya referansla embedding; benzer olgu araması için olgu referansı ve benzerlik skoruyla neighbors[]; zero-shot etiketler için classifications[].
• DICOM: bir PACS görüntüleyicisinin açabilmesi için benzer olgulara referans veren Key Object Selection belgeleri.
• Girdiler: DICOM veya aynı görüntülerin dönüştürülmüş NIfTI, PNG ve JPEG biçimleri.

Araçlar arasında seçim

Kendi indeksinizi veya sınıflayıcınızı kurduğunuzda ve ham özniteliklere ihtiyaç duyduğunuzda embedding'i kullanın. Kendi indeksinizi çalıştırmadan kütüphanenizden benzer raporlanmış olgular istediğinizde benzer olgu aramasını kullanın. Eğitilmiş bir modele yatırım yapmadan önce görüntüleri kendi tanımladığınız etiketlere göre sıralamak veya filtrelemek için zero-shot etiketlemeyi kullanın.

İlgili araçlar

• universal/embed/similar-cases: raporları ve DICOM Key Object Selection referanslarıyla kurumunuzun kütüphanesinden en benzer k olgu.
• universal/embed/classify: eğitim gerektirmeden kullanıcı tanımlı bir etiket listesi için olasılıklar.