ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ НЕЙРОСЕТЕЙ В РАМКАХ ИЗУЧЕНИЯ ДИСЦИПЛИНЫ «ТРЕХМЕРНОЕ МОДЕЛИРОВАНИЕ»

Раздел: Организация обучения и методическое обеспечение дисциплин «Основы искусственного интеллекта», «Системы искусственного интеллекта в профессиональной деятельности педагога»

Журнал: Материалы III Всероссийской научно-практической конференции с междун. участием «ИИ в образовании. Современные достижения и перспективы применения: в генерации знаний, управлении, обучении, оценке результатов обучения и формировании компетенций обучающихся»

9 июля 2024 г.

Авторы: Читайло Кристина Сергеевна

Информационно-коммуникационные технологии в педагогическом образовании, 2024. № 6 (93). infed.ru

_______________________________________________________________________

УДК 372.862, 378.147.88

К. С. Читайло

K. S. Chitailo

Читайло Кристина Сергеевна, ассистент, КГПИ ФГБОУ ВО «КемГУ», г. Новокузнецк, Россия.

Chitailo Kristina Sergeevna, assistant, Kuzbass Humanitarian and Pedagogical Institute of Kemerovo State University, Novokuznetsk, Russia.

ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ НЕЙРОСЕТЕЙ В РАМКАХ ИЗУЧЕНИЯ ДИСЦИПЛИНЫ «ТРЕХМЕРНОЕ МОДЕЛИРОВАНИЕ»

PROSPECTS FOR USING NEURAL NETWORKS IN STUDYING THE DISCIPLINE «THREE-DIMENSIONAL MODELING»

Аннотация. В статье описаны перспективы использования генераторов трехмерных моделей, представлен опыт создания 3D-объектов с помощью сервиса Tripo AI, раскрыта суть метода иерархического предсказания поверхности.

Annotation. The article describes the prospects for using generators of three-dimensional models, presents the experience of creating 3D objects using the Tripo AI service, and reveals the essence of the hierarchical surface prediction method.

Ключевые слова: искусственный интеллект, нейросетевые генераторы, 3D-моделирование.

Keywords: artificial intelligence, neural network generators, 3D modeling.

Развитие цифровых технологий, в частности – нейросетей находит широкое применение в образовательном процессе. Персонализация обучения, автоматизация рутинных задач, разработка новых образовательных методик, прогнозирование успеваемости и многое другое – все это уже стало неотъемлемой частью современного образования, использующего нейросеть как эффективный инструмент работы.

Рассмотрим перспективы использования нейросетей на конкретном примере – при изучении дисциплины «Трехмерное моделирование» студентами специальности «Компьютерный дизайн». В рамках курса перед обучающимися встают различные практические задачи: создание трехмерных сцен, разработка геометрии моделей, с последующим их текстурированием, постановка света в сцене, ретопология моделей и т.д. Для выполнения некоторых из перечисленных задач уже сегодня можно использовать различные генераторы 3D-моделей, текстур, аватаров и пр.

Нейросети открывают новые горизонты для создания трёхмерных миров, автоматизации процессов, генерации контента и повышения реализма моделей.

Автоматизация процессов в трехмерном моделировании подразумевает, что использование нейросетей позволяет ускорить процесс создания 3D-моделей, и тем самым дает возможность дизайнерам больше сосредоточиться на творчестве, а не тратить большое количество времени на рутинные задачи. Примером автоматизации может служить генерация базовых форм, оптимизация геометрии, ретопология.

Генерация контента находит широкое применение в 3д-моделировании. В силу того, что нейросети обучены через анализ тысячи текстур, моделей, стилей и форм, они способны генерировать новый контент в соответствии с заданными параметрами. Это придаёт уникальность и разнообразие создаваемым 3D-объектам.

С использованием нейросетей в 3D-моделировании удаётся достичь невероятного уровня реализма объектов. Они способны создавать текстуры, имитирующие поведение света, тени и отражения, приближая итоговый рендер модели к фотореалистичному виду.

Конечно, стоит отметить, что для эффективной работы нейросетей в области 3D-моделирования важно обучать их на больших объёмах данных. Датасеты, содержащие разнообразные 3D-модели и сцены, играют ключевую роль в формировании нейросетевой интеллектуальности. Потому что существующие генераторы пока что далеки от совершенства, и не всегда выдают корректные результаты.

Рассмотрим подробнее работу генератора Tripo AI – нейросеть для генерации 3D-моделей. Сервис является вполне достойным решением на рынке в данной сфере. Данная нейросеть генерирует 3D-модели из текстовых запросов или 2D изображений. В случае использования текстовых промптов сервис создаёт 4 варианта, любой из которых можно улучшить. Результат можно загрузить в различных форматах (glb, obj, stl).

Особенности Tripo AI:

Генератор 3D-моделей. Нейросеть генерирует 3D-модели из текстового запроса с достаточно высокой скоростью. Сервис хорошо справляется с генерацией предметов, персонажей и других элементов.
Режимы работы. Нейросеть умеет генерировать 3D-модели не только из текстовых инструкций, а также из изображений. Загруженная фотография или картинка будет обработана алгоритмами искусственного интеллекта.
Улучшение моделей. После генерации 3D-модели нейросетью возможно запросить улучшение объекта. Это займет некоторое время, но результат будет более высокого качества.

На данный момент нейросеть генерирует 3D-модели бесплатно, но в месяц можно скачать до 10 результатов в высоком качестве. Для большей скорости работы и 100 моделей в высоком качестве потребуется подписка за $29.99 [2].

Примеры сгенерированных работ представлены на рисунках 1, 2.

Рисунок 1. Пример сгенерированных 3D-моделей на основе запроса «Water tower»

Рисунок 2. Пример сгенерированной 3D-модели на основе ее 2D-изображения

Для создания 3D-моделей из 2D-изображения данный генератор использует технологию иерархического предсказания поверхности.

Иерархическое предсказание поверхности (ИПП) – это метод машинного обучения, который используется для прогнозирования трёхмерной геометрии объектов на основе их двухмерных изображений. Этот метод был предложен в статье «Иерархическое предсказание поверхности» (Hierarchical Surface Prediction), опубликованной в IEEE Transactions on Pattern Analysis and Machine Intelligence в 2019 году [1].

Основная идея ИПП заключается в том, чтобы сначала спрогнозировать воксели высокого разрешения вокруг прогнозируемых поверхностей, а затем использовать эти воксели для создания более точной и детализированной трёхмерной модели объекта. В отличие от традиционных методов, которые используют грубое разрешение вокселей, ИПП позволяет прогнозировать поверхности с более высоким разрешением, что улучшает качество и точность трёхмерной модели.

Для реализации ИПП используются глубокие свёрточные нейронные сети, которые обучаются на больших наборах данных, содержащих изображения объектов и соответствующие трёхмерные модели этих объектов. Во время обучения сеть учится устанавливать связи между различными масштабами поверхности и предсказывать значения высот поверхности в разных масштабах.

После обучения сеть может быть использована для прогнозирования трёхмерной геометрии объектов на основе их двухмерных изображений. Сначала сеть получает входное изображение и преобразует его в карту признаков, представляющую информацию о различных деталях изображения. Затем сеть использует эту карту признаков для прогнозирования значений высот поверхности в разных масштабах, создавая, таким образом, трёхмерную модель объекта с высоким разрешением (рис. 3).

Рисунок 3. Метод иерархического предсказание поверхности на примере создания
3D-модели самолета по его 2D-изображению

Таким образом, различные генераторы находят все более широкое применение в 3D-моделировании. В перспективе можно предположить, что уже в ближайшем времени нейросети смогут создавать не только отдельные 3D-элементы, но целые трехмерные миры, основываясь на промтах, полученных от человека.

Симбиоз 3D-моделирования и нейросетей раздвигает границы технологического творчества, вносит революцию в процессы создания виртуальных миров. Этот союз не только ускоряет процессы работы, но и открывает новые горизонты для дизайнеров.

Список литературы

Hane C, Tulsiani S, Malik J. Hierarchical Surface Prediction. IEEE Trans Pattern Anal Mach Intell. 2020 Jun;42(6):1348-1361. doi: 10.1109/TPAMI.2019.2896296. Epub 2019 Jan 30. PMID: 30714908.
Tripo AI – Нейросеть для генерации 3D-объектов. – Текст : электронный // Neural-Networked : [сайт]. – URL : https://neural-networked.ru/tripo-3d-ai/ (дата обращения : 08.05.2024).

PDF