Embeddings de imagens e casos semelhantes

O que faz

Os Embeddings de imagens e casos semelhantes transformam uma imagem ou série médica em um vetor: uma representação numérica compacta em que imagens de conteúdo semelhante ficam próximas umas das outras. Envie uma imagem ou uma série; o ID do modelo sem sufixo retorna o embedding junto com o codificador e a sua dimensão, pronto para ser armazenado em um índice vetorial.

Duas ferramentas relacionadas se apoiam nos mesmos vetores. A busca de casos semelhantes retorna os casos mais próximos da biblioteca de casos da própria organização, cada um com o seu laudo, para comparação e ensino. A rotulagem zero-shot pontua uma imagem em relação a uma lista de rótulos escritos pelo próprio usuário, sem treinar um classificador antes.

Uso previsto

Um componente de base para desenvolvedores e pesquisadores e um recurso de referência para médicos. Os embeddings permitem busca, agrupamento, classificadores few-shot e a curadoria de dados de treinamento. Os casos semelhantes ajudam um residente ou leitor a ver como estudos comparáveis foram laudados.

Para quem é

Desenvolvedores que constroem pipelines de busca, triagem ou curadoria de dados; pesquisadores que precisam de características de imagem consistentes em uma coorte; serviços que mantêm arquivos didáticos e querem encontrar casos comparáveis no próprio acervo.

Entradas aceitas

• Imagens: uma imagem ou uma série por solicitação, de qualquer modalidade aceita pelo MedRun: radiografias, volumes de TC e RM, ultrassom, retinografias e outras fotografias, tiles de patologia; também NIfTI, PNG e JPEG.
• Biblioteca de casos (busca de casos semelhantes): os casos que a organização enviou, com os seus laudos.
• Lista de rótulos (rotulagem zero-shot): os rótulos como frases curtas.

Requisitos

Requisito	Motivo
O mesmo codificador e a mesma versão para todos os vetores comparados	Os espaços de embedding diferem entre codificadores, por isso vetores misturados não são comparáveis
Reindexação após uma atualização do codificador	Uma nova versão do codificador produz um novo espaço de embedding
Uma série por solicitação de volume	Dados 3D processados por um codificador 2D são agregados entre os cortes dessa série
Uma biblioteca de casos laudados (busca de casos semelhantes)	A qualidade da busca depende mais da biblioteca do que do codificador

A modalidade é reconhecida a partir da série e o codificador adequado a ela é escolhido; o resultado identifica o codificador e a versão, de modo que os vetores armazenados continuam rastreáveis.

Contexto opcional

Na busca de casos semelhantes, o número de vizinhos a retornar pode ser definido; na rotulagem zero-shot, a lista de rótulos é o único contexto de que a execução precisa.

O resultado

Saída	Conteúdo
Embedding	O vetor, ou uma referência a ele, com nome, versão e dimensão do codificador
Origem	A imagem ou série a partir da qual o vetor foi calculado e a eventual agregação de cortes aplicada

O vetor é retornado no resultado JSON em embedding, de modo que pode ser gravado diretamente em um banco de dados vetorial.

Padrões

• JSON: embedding com modelo, dimensão e vetor ou referência; neighbors[] com referência do caso e escore de similaridade na busca de casos semelhantes; classifications[] para os rótulos zero-shot.
• DICOM: documentos Key Object Selection que referenciam os casos semelhantes, para que um visualizador PACS possa abri-los.
• Entradas: DICOM ou as formas convertidas NIfTI, PNG e JPEG das mesmas imagens.

Como escolher entre as ferramentas

Use o embedding ao construir um índice ou classificador próprio que precise das características brutas. Use a busca de casos semelhantes para obter casos laudados comparáveis da biblioteca sem manter um índice próprio. Use a rotulagem zero-shot para ordenar ou filtrar imagens por rótulos definidos antes de investir em um modelo treinado.

Ferramentas relacionadas

• universal/embed/similar-cases: os k casos mais semelhantes da biblioteca da organização, com os seus laudos e referências DICOM Key Object Selection.
• universal/embed/classify: probabilidades para uma lista de rótulos definida pelo usuário, sem treinamento.