Perguntas e respostas sobre imagens médicas

O que faz

As Perguntas e respostas sobre imagens médicas respondem a perguntas livres sobre uma imagem que nenhum modelo dedicado do MedRun cobre. Envie algumas imagens, um volume de TC ou RM ou um clipe curto e pergunte em linguagem simples: "Esta é uma radiografia em decúbito lateral?", "Qual é a estrutura brilhante ao lado da vesícula biliar?". O ID do modelo sem sufixo executa essa ferramenta de perguntas e retorna uma resposta com uma confiança e, quando a imagem permite, uma caixa mostrando de onde vem a resposta.

A mesma execução pode localizar uma frase ("o nódulo", "rim direito") como caixas delimitadoras e, com um estudo prévio, descreve o que é novo, resolvido, maior ou menor. Uma ferramenta separada escreve um rascunho de laudo no estilo radiológico para qualquer estudo, começando com uma breve descrição estruturada do que as imagens mostram.

Uso previsto

Orientação e redação. Um médico se orienta rapidamente em um tipo de estudo pouco familiar; um desenvolvedor explora o conteúdo de um estudo antes de escolher um modelo dedicado; um docente transforma um caso didático em perguntas e respostas. Cada resposta traz a sua procedência, e o texto gerado nunca fornece números a um laudo clínico. Quando o MedRun tem um modelo dedicado para o estudo, o console sugere esse modelo primeiro.

Para quem é

Médicos que querem perguntar sobre uma imagem fora do catálogo dedicado, docentes e residentes que exploram casos, e desenvolvedores e pesquisadores que avaliam respostas multimodais nos próprios dados.

Entradas aceitas

• Imagens: até algumas imagens 2D (radiografias, quadros de ultrassom, fotografias, imagens estáticas de endoscopia) em DICOM, PNG ou JPEG.
• Volumes: uma série de TC ou RM; os cortes são amostrados para caber no contexto do modelo.
• Clipes: um cine ou vídeo curto.
• Pergunta: texto livre; para a localização, a frase a localizar.
• Exame anterior (opcional, em prior_files): uma imagem anterior da mesma região para a descrição da evolução.

Requisitos

Requisito	Motivo
Um estudo por pergunta	As respostas se referem às imagens enviadas, não a outras séries
Imagens em que o achado continue visível após o redimensionamento	As imagens são redimensionadas para o tamanho de entrada do modelo
Mesma região e incidência comparável no exame anterior	A descrição da evolução compara elementos equivalentes

Contexto opcional

Uma breve história ou indicação pode ser enviada em clinical_context; ela é fornecida ao modelo junto com a pergunta.

O resultado

Seção	Conteúdo
Resposta	Resposta em texto livre com confiança e, quando possível, uma caixa de localização (a saída principal de ask)
Descrição do estudo	Modalidade, região, incidência ou sequência, técnica e achados relevantes; retornada por universal/vqa/report como abertura do seu rascunho de laudo
Localização de frases	Caixas delimitadoras para uma frase como "o nódulo" ou "rim direito"
Evolução em relação ao exame anterior	Mudança descrita em relação à imagem anterior: novo, resolvido, maior ou menor

As caixas de localização são retornadas em coordenadas da imagem, de modo que cada frase localizada pode ser desenhada na imagem de origem.

Padrões

• JSON: bloco report marcado com generative: true e a procedência, citations[] para as caixas de localização, changes[] para a comparação com o exame anterior.
• DICOM: regiões planares SR TID 1500 para as caixas de localização; sobreposições GSPS.
• FHIR: DiagnosticReport com status preliminary para os rascunhos de laudo.

Ferramentas relacionadas

• universal/vqa/report: um rascunho de laudo no estilo radiológico (achados e impressão) para qualquer estudo, com a descrição do estudo como primeira seção; radiografias e TC de tórax usam pesos de laudo especializados. Retornado como FHIR DiagnosticReport com status preliminary.
• universal/segment: delimita a estrutura a que uma resposta se refere e a mede.