Segmentação por prompt

O que faz

A Segmentação por prompt delimita estruturas em qualquer imagem médica. Clique dentro de uma lesão, desenhe uma caixa, rabisque ou contorne com laço em uma imagem 2D, em um corte de um volume de TC ou RM, ou em um quadro de um vídeo de ultrassom ou endoscopia; a execução retorna uma máscara, e cada novo clique a refina. O ID do modelo sem sufixo executa essa ferramenta interativa.

A partir da máscara, ela mede a área ou o volume, e a seção de propagação de máscara leva uma máscara desenhada em um quadro ou corte por todo o clipe, a aquisição cine ou o volume. Duas ferramentas relacionadas cobrem os casos sem cliques: nomear uma estrutura em texto ("fígado", "cisto renal esquerdo", "derrame pleural") ou rotular de uma só vez todas as estruturas que a modalidade permite.

Uso previsto

Uma ferramenta geral para anotar, medir e corrigir estruturas quando nenhum modelo dedicado do MedRun se aplica, ou quando a máscara de um modelo dedicado precisa de correção. Um radiologista delimita uma lesão com dois cliques e lê o seu volume; um pesquisador segmenta todos os órgãos em uma coorte de TC; um desenvolvedor propaga uma máscara por um clipe de ultrassom. Uma máscara desenhada por cliques recebe o rótulo que o usuário lhe dá.

Para quem é

Desenvolvedores e pesquisadores que constroem conjuntos de dados e pipelines de medição, radiologistas e outros médicos que medem ou corrigem estruturas, e equipes que produzem volumetria ou modelos 3D a partir de TC e RM.

Entradas aceitas

• Imagens: qualquer série aceita pelo MedRun, incluindo volumes de TC, RM e PET, cine de ultrassom, angiografia e endoscopia, radiografias e fotografias; também NIfTI-1/2, NRRD, PNG, JPEG e MP4.
• Prompts: pontos positivos e negativos, caixas, rabiscos ou laço em uma imagem 2D, em um corte ou em um quadro de vídeo.
• Máscara de referência (opcional): um DICOM SEG ou uma máscara NIfTI existente para refinar ou propagar.

Requisitos

Requisito	Motivo
Espaçamento entre cortes consistente nos volumes 3D	Volumes em milímetros e propagação entre cortes
Até cerca de 1.000 cortes por chamada	Séries maiores são recortadas na região do corpo de interesse
Vídeo de até alguns minutos	A propagação percorre todos os quadros do clipe
Pelo menos um prompt na ferramenta interativa	A máscara é definida por onde o usuário clica ou desenha

A modalidade é reconhecida a partir da série e uma normalização específica é aplicada: janelas em unidades Hounsfield na TC, normalização de intensidade na RM, tratamento de cor no ultrassom e na endoscopia.

Contexto opcional

Um rótulo para a estrutura ("nódulo adrenal direito") pode ser anexado ao prompt, para que a máscara e a sua medida sejam nomeadas no resultado.

O resultado

Seção	Conteúdo
Máscara e medidas	A máscara do prompt, refinada a cada prompt, com área (2D) ou volume (3D)
Propagação de máscara	Uma máscara de um quadro ou corte levada por um vídeo, uma aquisição cine ou um volume, como máscara multiframe

Os prompts são devolvidos com o resultado, de modo que uma máscara pode ser reproduzida ou refinada depois a partir dos mesmos cliques.

Padrões

• DICOM: Segmentation Storage e Label Map Segmentation Storage com códigos SNOMED CT de categoria e tipo de segmento; RTSTRUCT sob demanda; SR TID 1500 para volumes; GSPS para sobreposições nas imagens de origem.
• Outros formatos: máscaras NIfTI-1/2 para pipelines de análise; JSON com measurements[] e referências às máscaras.
• Terminologia: SNOMED CT e RadLex para as estruturas nomeadas.

Dicas de prompt

Na angiografia por raios X, use cliques em vez de caixas. Acrescente um clique negativo para cortar um vazamento da máscara para uma estrutura vizinha.

Ferramentas relacionadas

• universal/segment/text: uma máscara por alvo nomeado a partir de um prompt de texto, com um escore de existência, em DICOM SEG com códigos SNOMED CT.
• universal/segment/everything: mapa de rótulos automático dos órgãos, ossos e vasos conhecidos para a modalidade detectada, com volumes por estrutura em SR TID 1500.