NishAi. Онлайн-курс по работе в нейросети для архитекторов и визуализаторов
Как работает ControlNet?
Впервые технология ControlNet была представлена в статье Adding Conditional Control to Text-to-Image Diffusion Models в феврале 2023 года.
ControlNet позволяет разработчику подсказок управлять процессом создания изображений, используя дополнительные входные изображения или условия, а не только текстовые подсказки.
Как же он работает?
В нем используется слой "zero convolution", который начинается с нулевых "весов".
Этот слой добавляется к каждому блоку предварительно обученной модели (например, Stable Diffusion).
Zero convolution позволяет обучать ControlNet конкретным задачам без изменения знаний исходной модели.
(1) Текстовые подсказки отправляются в нейронную сеть ControlNet
(2) Затем обученная модель искусственного интеллекта используется для создания изображения.
(3) Затем ControlNet используется для добавления дополнительных условий к сгенерированному изображению.
(4) Затем сгенерированное изображение настраивается с помощью ControlNet.
(5) Затем выводится настроенное изображение.
Этот слой добавляется к каждому блоку предварительно обученной модели (например, Stable Diffusion).
Zero convolution позволяет обучать ControlNet конкретным задачам без изменения знаний исходной модели.
(1) Текстовые подсказки отправляются в нейронную сеть ControlNet
(2) Затем обученная модель искусственного интеллекта используется для создания изображения.
(3) Затем ControlNet используется для добавления дополнительных условий к сгенерированному изображению.
(4) Затем сгенерированное изображение настраивается с помощью ControlNet.
(5) Затем выводится настроенное изображение.
