O DreamMat é um modelo inovador que gera materiais de renderização baseada em física (PBR) para malhas 3D com base em prompts de texto. Ele supera as deficiências dos modelos de difusão 2D existentes na decomposição de materiais, gerando materiais PBR de alta qualidade consistentes com a geometria e o ambiente de iluminação fornecidos, sem efeitos de sombra embutidos. Essa tecnologia é significativa para tarefas downstream, como produção de jogos e filmes, pois melhora significativamente a qualidade de renderização e aprimora a experiência visual do usuário.