В нем используется слой "zero convolution", который начинается с нулевых "весов".
Этот слой добавляется к каждому блоку предварительно обученной модели (например, Stable Diffusion).
Zero convolution позволяет обучать ControlNet конкретным задачам без изменения знаний исходной модели.
(1) Текстовые подсказки отправляются в нейронную сеть ControlNet
(2) Затем обученная модель искусственного интеллекта используется для создания изображения.
(3) Затем ControlNet используется для добавления дополнительных условий к сгенерированному изображению.
(4) Затем сгенерированное изображение настраивается с помощью ControlNet.
(5) Затем выводится настроенное изображение.