Sandflow abre o sand3d: 100.000 modelos 3D como codigo Python, 3,8 vezes mais curto que bpy

Se voce pedir a um modelo de linguagem que "faca uma mesa", ele conseguira escrever o texto facilmente, mas o 3D e mais complicado. O modelo gera um script desorganizado para o Blender ou depende de uma rede neural que produz uma malha formada por milhares de triangulos. A Sandflow AI propoe uma terceira alternativa: treinar LLMs para escrever programas parametricos compactos. Para isso, a empresa abriu a biblioteca sand3d e um conjunto de dados com mais de 100.000 objetos.

Por que os conjuntos de dados antigos atrapalhavam

A maioria dos projetos de geracao 3D depende do Objaverse. Trata-se de uma colecao enorme, mas com qualidade irregular. Muitos modelos sao uma verdadeira "sopa de triangulos": conjuntos de triangulos com topologia defeituosa, nos quais nao e possivel separar a perna de uma mesa do tampo. Para treinar um modelo que precisa compreender a estrutura de um objeto, esses dados sao praticamente inuteis.

Alem disso, cada equipe de pesquisa limpava o Objaverse para suas proprias necessidades e mantinha o resultado em privado. O mesmo trabalho era repetido dezenas de vezes, enquanto as colecoes abertas de modelos CAD evoluiam lentamente. A Sandflow afirma ter feito essa limpeza uma unica vez e disponibilizado o resultado para todos.

Como funciona na pratica

No sand3d, um objeto e descrito por um programa curto em Python. Tomemos um armario como exemplo. Em uma malha, ele e formado por dezenas de milhares de triangulos anonimos. No sand3d, ele consiste em algumas partes nomeadas, como corpo, porta e prateleira, alem de alguns parametros: largura, altura, profundidade e numero de prateleiras. Quer um armario 20 cm mais largo? Basta alterar um numero, e toda a geometria e reconstruida sem a necessidade de editar vertices manualmente.

Isso e conveniente para LLMs por dois motivos. Primeiro, os nomes semanticos dao significado ao modelo: ele aprende a associar a palavra "porta" a uma parte especifica do codigo. Segundo, o formato e compacto. Segundo a Sandflow, a sintaxe do sand3d usa, em media, 3,8 vezes menos tokens que o Python convencional do Blender (bpy), ou aproximadamente 74% menos. Isso significa custos menores de treinamento e inferencia e mais objetos dentro da janela de contexto.

O conjunto de dados inclui moveis, mecanismos articulados e pecas CAD, totalizando mais de 100.000 itens. Tudo esta disponivel abertamente: o codigo no GitHub, a colecao de conjuntos de dados e um explorador 3D interativo no Hugging Face.

O que deve ser levado em conta

Primeiro, os numeros de 3,8 vezes e 74% foram divulgados pela propria Sandflow, e ainda nao vimos medicoes independentes. A comparacao com bpy tambem depende de como os scripts de referencia sao escritos.

Segundo, o codigo parametrico descreve bem moveis, mecanismos e pecas com geometria claramente definida. Formas organicas, como personagens, roupas ou plantas, se encaixam pior nesses programas, e as malhas continuarao sendo necessarias nesses casos. Tambem nao esta claro com que fidelidade os objetos reescritos a partir de malhas correspondem aos originais.

Terceiro, o conjunto de dados, por si so, nao oferece um "gerador 3D por chat" pronto para uso. Ele e materia-prima para treinamento. Somente experimentos mostrarao quanto os modelos treinados com esses dados realmente ganham em qualidade.

O que fazer com isso

Se voce desenvolve ferramentas para CAD, recursos de jogos, design de interiores ou configuradores de produtos, vale a pena conferir desde ja o explorador e o repositorio. Para comecar, e possivel usar um pequeno modelo aberto, ajusta-lo com um subconjunto do sand3d e verificar como ele responde a solicitacoes como "uma comoda de 80 cm de largura com tres gavetas".

Para equipes de produto, o ponto principal e que os parametros tornam os objetos editaveis. O usuario pode dizer "deixe um pouco mais baixo", e o modelo altera um numero em vez de gerar todo o objeto novamente. E exatamente esse tipo de comportamento que costuma faltar aos geradores 3D convencionais, que entregam uma malha pronta sem permitir que ela seja ajustada adequadamente.

A ideia em si nao e nova: o codigo e usado ha muito tempo como representacao intermediaria em CAD e computacao grafica. A novidade e que alguem reuniu um conjunto de dados grande, unificado e aberto nesse formato, algo que ja deveria ter sido feito ha muito tempo.