NishAi. Онлайн-курс по работе в нейросети для архитекторов и визуализаторов
Как работает ControlNet?
Впервые технология ControlNet была представлена в статье Adding Conditional Control to Text-to-Image Diffusion Models в феврале 2023 года.
ControlNet позволяет разработчику подсказок управлять процессом создания изображений, используя дополнительные входные изображения или условия, а не только текстовые подсказки.
Как же он работает?
В нем используется слой "zero convolution", который начинается с нулевых "весов".

Этот слой добавляется к каждому блоку предварительно обученной модели (например, Stable Diffusion).

Zero convolution позволяет обучать ControlNet конкретным задачам без изменения знаний исходной модели.

(1) Текстовые подсказки отправляются в нейронную сеть ControlNet

(2) Затем обученная модель искусственного интеллекта используется для создания изображения.

(3) Затем ControlNet используется для добавления дополнительных условий к сгенерированному изображению.

(4) Затем сгенерированное изображение настраивается с помощью ControlNet.

(5) Затем выводится настроенное изображение.