Пояснення назв ComfyUI

Unet

U-Net є моделлю глибокого навчання, яка в основному використовується для завдань сегментації зображень. Вона спочатку була запропонована в галузі обробки медичних зображень, але тепер широко застосовується у різних завданнях обробки зображень.

U-подібна структура: Назва U-Net походить від U-подібної архітектури її мережі. Вона складається з кодувальника (частина зменшення розміру) та декодувальника (частина збільшення розміру).
Кодувальник: Роль кодувальника полягає в поступовому витягуванні ознак з зображення. Він зменшує розмір зображення поетапно через серію згорткових шарів і шарів вибірки, одночасно збільшуючи глибину ознак (тобто кількість карток ознак). Цей процес допомагає моделі захоплювати високорівневі ознаки зображення.
Декодувальник: Функція декодувальника полягає в відновленні ознак, витягнутих кодувальником, назад до того ж розміру, що й вхідне зображення для сегментації. Він поступово відновлює розмір зображення через збільшення (наприклад, транспонована згортка), комбінуючи ознаки з кодувальника для збереження детальної інформації.
Пропуски зв'язків: Ключовою особливістю U-Net є використання пропусків зв'язків, які безпосередньо з'єднують карти ознак з певних шарів кодувальника з відповідними вхідними шарами декодувальника. Це допомагає зберегти просторову інформацію, таким чином покращуючи точність сегментації.

Застосування U-Net

Сегментація медичних зображень: Наприклад, сегментація органів або пухлин у зображеннях КТ або МРТ.
Аналіз супутникових зображень: Наприклад, класифікація використання земель.
Автономне водіння: Визначення доріг, транспортних засобів та пішоходів.

Резюме

U-Net є потужною моделлю сегментації зображень, яка ефективно витягує та відновлює ознаки зображення через свою унікальну U-подібну структуру та пропуски зв'язків, широко застосовується в різних завданнях, які потребують точної сегментації.
U-Net є архітектурою згорткової нейронної мережі (CNN).
У багатьох реалізаціях моделей дифузії U-Net використовується як мережа для зменшення шуму. У зворотному процесі моделі дифузії, тобто на етапі зменшення шуму, U-Net може ефективно навчитися відновлювати чіткі зображення з шумних зображень.

Модель дифузії

Модель дифузії є генеративною моделлю, яка в основному використовується для генерації зображень, аудіо та інших даних. Її робочий принцип можна розділити на два основні етапи: прямий процес дифузії та зворотний процес дифузії.

Процес прямої дифузії: Цей процес схожий на поступове додавання шуму до зображення. Уявіть, що у вас є чітке зображення, наприклад, кота. Ми поступово додаємо шум до цього зображення, поки воно не стане повністю розмитим і випадковим. Після кількох додавань шуму оригінальне зображення майже невидиме, залишаючи тільки купу випадкового шуму. Приклад: Ви можете уявити, що вставляєте чітку фотографію кота в принтер і безперервно ллєте на неї чорнило. Після багатьох проливань все, що ви бачите, це розмите чорне маса.
Процес зворотної дифузії: Цей процес полягає в відновленні оригінального зображення з шуму. Модель вчиться поступово видаляти шум, щоб відновити чітке зображення. Цей процес здійснюється шляхом навчання моделі, як видаляти шум на кожному кроці. Приклад: Уявіть, що у вас є чашка молока з доданим шоколадним порошком. Після перемішування молоко стає повністю змішаним, і ви не можете бачити його оригінальну форму. Зворотний процес схожий на поступове розділення молока та шоколаду, поки вони не повернуться до свого оригінального стану.

Практичні застосування моделей дифузії

Генерація зображень: Використання моделей дифузії для генерації нових зображень, таких як створення мистецтва в певному стилі або синтез нових зображень персонажів. Наприклад, модель може згенерувати обличчя неіснуючої людини або створити нові пейзажні картини.
Відновлення зображень: Моделі дифузії можуть бути використані для ремонту пошкоджених або відсутніх частин зображення. Наприклад, якщо у вас є стара фотографія з деякими знебарвленими частинами, модель дифузії може допомогти заповнити ці прогалини, відновлюючи її до більш повного вигляду.
Генерація зображень з тексту: Деякі моделі дифузії можуть генерувати зображення на основі текстових описів. Наприклад, якщо ви введете "собака, що грає на пляжі", модель згенерує зображення, яке відповідає цьому опису.

Резюме

Основна ідея моделей дифузії полягає в генерації високоякісних даних шляхом поступового додавання та видалення шуму. Вони все краще справляються з генерацією зображень, відновленням та іншими творчими застосуваннями. За допомогою цього методу ми можемо створити безліч зображень та художніх творів, які раніше були неможливими.

Модель Clip

Модель CLIP використовується для перетворення тексту в формат, зрозумілий UNet (тобто вектори), що дозволяє UNet генерувати відповідні зображення на основі вхідних текстових підказок.

VAE

UNet часто використовується разом з варіаційними автокодерами (VAE), які відповідають за перетворення зображень з латентного простору в візуальний піксельний простір для остаточного представлення згенерованих зображень.