САПР. Вышла GenCAD — нейросеть для генерации CAD-моделей по фотографии

Искусственный интеллект , Машинное обучение ,

CAD/CAM

Исследователи выпустили GenCAD — открытую модель для генерации параметрических трёхмерных CAD-моделей на основе фотографий. В отличие от стандартных генераторов image-to-mesh, GenCAD создаёт не полигональную сетку, а полный скрипт построения детали. По словам разработчиков, его можно сразу загрузить в редактор, изменить и отправить в производство.

Авторы проекта отмечают, что сложность CAD-моделей затрудняет обучение эффективных нейросетей для их генерации. Разработчики часто жертвуют точностью и используют для генерации облака точек, воксели или полигональные сетки. Такие способы генерации хорошо подходят для дизайна, но не для инженерных задач и производства.

Для решения проблемы исследователи разработали GenCAD. Архитектура модели включает в себя:

• трансформе-кодировщик, который считывает последовательность CAD-команд и сжимает её в компактное внутреннее представление;

• модель контрастивного обучения, которая формирует общее латентное пространство для CAD-команд и CAD-изображений;

• диффузионную модель, которая по фотографии генерирует скрытое представление CAD-команд;

• декодер, превращающий скрытое представление в последовательность параметрических CAD-команд.

Главное преимущество GenCAD в том, что на выходе модель выдаёт не «трёхмерную болванку», а полноценную CAD-модель. Её можно редактировать, форматировать и отправлять в производство.

Код проекта доступен на GitHub. Также разработчики опубликовали датасет и набор предварительно обученных моделей. Полный текст исследования можно найти на портале arXiv.

Источник:  https://www.google.com/amp/s/habr.com/ru/amp/publications/929722/