0.1 Вступление
Часть 1. Что такое Stable Diffusion.
1.1. Обзор технологии
1.2 Как создавался Stable Diffusion
1.3 На чьих картинках учился Stable Diffusion?
Часть 2. Установка Stable Diffusion Automatic1111
0.1 Вступление
Часть 1. Что такое Stable Diffusion.
1.1. Обзор технологии
1.2 Как создавался Stable Diffusion
1.3 На чьих картинках учился Stable Diffusion?
Часть 2. Установка Stable Diffusion Automatic1111
Хороший синтаксис важен, поскольку он помогает чекпоинту лучше понять ваши намерения и создать более точные и желаемые результаты.
Такой подход к изменению акцента является наиболее предпочтительным.
Хороший синтаксис важен, поскольку он помогает чекпоинту лучше понять ваши намерения и создать более точные и желаемые результаты.
Такой подход к изменению акцента является наиболее предпочтительным.
Пока вы только выбираете подходящий промпт, нет необходимости генерировать множество изображений и долго ожидать результата. Когда ваш промпт будет хорошо сформулирован и отредактирован, тогда используйте ресурсы видеокарты на полную мощность.
Из этого урока вы научитесь определять оптимальные настройки генерации для вашей видеокарты. В таблице ниже представлена эффективность видеокарты в зависимости от значения batch size.
Вот какие выводы можно сделать из этой таблицы:
Проведите такой же тест на своём компьютере.
Пока вы только выбираете подходящий промпт, нет необходимости генерировать множество изображений и долго ожидать результата. Когда ваш промпт будет хорошо сформулирован и отредактирован, тогда используйте ресурсы видеокарты на полную мощность.
Из этого урока вы научитесь определять оптимальные настройки генерации для вашей видеокарты. В таблице ниже представлена эффективность видеокарты в зависимости от значения batch size.
Вот какие выводы можно сделать из этой таблицы:
Проведите такой же тест на своём компьютере.
Из видео вы кое-что узнали про сэмплеры, теперь посмотрим какой из них самый лучший.
График показывает относительное время генерации при использовании разных сэмплеров. Чем меньше столбик на графике, тем быстрее будет генерация.
Посмотрите на ещё один пример того как картинка изменяется при изменении Seed и сэмплера.
Из видео вы кое-что узнали про сэмплеры, теперь посмотрим какой из них самый лучший.
График показывает относительное время генерации при использовании разных сэмплеров. Чем меньше столбик на графике, тем быстрее будет генерация.
Посмотрите на ещё один пример того как картинка изменяется при изменении Seed и сэмплера.
Некоторые слова в промпте влияют сразу на всю картинку, другие изменяют лишь некоторые части. В дальнейших примерах с помощью механизма «перекрестного внимания» вы увидите, как нейронка связывает слова с изображением.
В примере выше белым цветом выделены те области, которые Stable Diffusion ассоциирует со словом «ears» (уши). Как видите «ears» изменяет не всю картинку, но преимущественно область морды. На морде у свиньи «ears» проявляется сильнее, чем на морде собаки (могло быть и наоборот). Над животными и под ними маска тёмная, это значит, что нейронка не ассоциирует «ears» с этой частью изображения.
В этом примере выделены области, которые нейронка ассоциирует со словом «window» (окно). Выделено окно — это логично, но кроме него нейронка «видит» «window» в некоторых других частях изображения, например, справа от свиньи. В этом тоже есть смысл, ведь наличие окна в помещение влияет на то, как выглядят объекты в комнате.
Некоторые слова в промпте влияют сразу на всю картинку, другие изменяют лишь некоторые части. В дальнейших примерах с помощью механизма «перекрестного внимания» вы увидите, как нейронка связывает слова с изображением.
В примере выше белым цветом выделены те области, которые Stable Diffusion ассоциирует со словом «ears» (уши). Как видите «ears» изменяет не всю картинку, но преимущественно область морды. На морде у свиньи «ears» проявляется сильнее, чем на морде собаки (могло быть и наоборот). Над животными и под ними маска тёмная, это значит, что нейронка не ассоциирует «ears» с этой частью изображения.
В этом примере выделены области, которые нейронка ассоциирует со словом «window» (окно). Выделено окно — это логично, но кроме него нейронка «видит» «window» в некоторых других частях изображения, например, справа от свиньи. В этом тоже есть смысл, ведь наличие окна в помещение влияет на то, как выглядят объекты в комнате.
(⓿_⓿) Внимание! Примеры на видео созданы в ранних версиях Stable Diffusion. Современные чекпоинты сгенерируют результат с более высокой эстетической оценкой. Общая суть промптинга при этом остаётся неименной. С видами чекпоинтов познакомимся в одном из следующих уроков.
Создание промптов для Stable Diffusion является ключевым этапом в работе с нейросетями и моделями text2image. Эффективные промпты позволяют добиться высококачественных результатов и реализовать творческие замыслы. Промпт — это текстовый запрос, который формулируется таким образом, чтобы нейросеть могла его понять и воплотить в изображение. В промпте указывается тип (фотография, иллюстрация, скетч и т.п), субъект (то, что должно быть изображено), его действия или окружение, а также ключевые слова, определяющие стиль и детали. Важно помнить, что расположение слов в промпте влияет на итоговую генерацию: чем ближе слово к началу, тем больше его влияние. Для создания эффективных промптов можно использовать различные подходы: самостоятельное написание, использование конструкторов промптов или оптимизационных инструментов.
Посмотрите как модификаторы влияют на генерируемое изображение.
(⓿_⓿) Внимание! Примеры на видео созданы в ранних версиях Stable Diffusion. Современные чекпоинты сгенерируют результат с более высокой эстетической оценкой. Общая суть промптинга при этом остаётся неименной. С видами чекпоинтов познакомимся в одном из следующих уроков.
Создание промптов для Stable Diffusion является ключевым этапом в работе с нейросетями и моделями text2image. Эффективные промпты позволяют добиться высококачественных результатов и реализовать творческие замыслы. Промпт — это текстовый запрос, который формулируется таким образом, чтобы нейросеть могла его понять и воплотить в изображение. В промпте указывается тип (фотография, иллюстрация, скетч и т.п), субъект (то, что должно быть изображено), его действия или окружение, а также ключевые слова, определяющие стиль и детали. Важно помнить, что расположение слов в промпте влияет на итоговую генерацию: чем ближе слово к началу, тем больше его влияние. Для создания эффективных промптов можно использовать различные подходы: самостоятельное написание, использование конструкторов промптов или оптимизационных инструментов.
Посмотрите как модификаторы влияют на генерируемое изображение.
Примеры платных серверов: Google Colab, Paperspace, Runpod.
Плюсы:
Минусы:
Способ показанный в видео доступен только для платных пользователей google colab.
Примеры платных серверов: Google Colab, Paperspace, Runpod.
Плюсы:
Минусы:
Способ показанный в видео доступен только для платных пользователей google colab.
Если программа у вас уже установлена — переходите к третьей части курса.
Есть два основных способа запуска Stable Diffusion Automatic1111: Запуск на своём компьютере и аренда мощного сервера. Выбор зависит от ваших потребностей и возможностей. Установка на собственный ПК обеспечивает больший контроль и гибкость, но требует мощного оборудования. Аренда сервера может быть более доступным вариантом, но менее гибким и часто платным.
Минимальные требования:
Плюсы:
Если программа у вас уже установлена — переходите к третьей части курса.
Есть два основных способа запуска Stable Diffusion Automatic1111: Запуск на своём компьютере и аренда мощного сервера. Выбор зависит от ваших потребностей и возможностей. Установка на собственный ПК обеспечивает больший контроль и гибкость, но требует мощного оборудования. Аренда сервера может быть более доступным вариантом, но менее гибким и часто платным.
Минимальные требования:
Плюсы:
Датасет — это набор картинок, на которых обучается нейросеть. В видео я покажу как посмотреть на эти картинки и как среди них найти свои фотографии или рисунки.
Тот самый пост с челленджем на генерацию Чебурашки.
При обучении Stable Diffusion версии 1.5 использовался общедоступный датасет изображений. Однако большинство компаний, создающих нейросети, например, Midjourney, предпочитают не раскрывать источники данных, использованных для обучения их моделей. Государства тоже не стесняются использовать наши персональные данные для обучения надзирающего «Большого брата» 😈
Датасет — это набор картинок, на которых обучается нейросеть. В видео я покажу как посмотреть на эти картинки и как среди них найти свои фотографии или рисунки.
Тот самый пост с челленджем на генерацию Чебурашки.
При обучении Stable Diffusion версии 1.5 использовался общедоступный датасет изображений. Однако большинство компаний, создающих нейросети, например, Midjourney, предпочитают не раскрывать источники данных, использованных для обучения их моделей. Государства тоже не стесняются использовать наши персональные данные для обучения надзирающего «Большого брата» 😈
В основе работы Stable Diffusion лежит диффузионная модель машинного обучения. Процесс обучения этой модели начинается с того, что исследователи берут реальные изображения из интернета и искусственно добавляют к ним случайный шум, похожий на помехи на старом телевизоре. Затем нейросеть обучают убирать этот шум и восстанавливать исходное изображение.
На ранних этапах обучения шум добавляется в небольших количествах. Постепенно его уровень повышается, пока в конечном итоге изображение не будет полностью замаскировано случайными помехами. Несмотря на это, нейросеть учится находить в этом хаотичном шуме визуальные образы: людей, предметы, растения и другие объекты.
Наступает момент, когда нейросети показывают картинку, состоящую исключительно из случайного шума, и просят сгенерировать изображение цветка, кота или шаурмы. И удивительным образом нейросеть способна увидеть в этом беспорядочном наборе пикселей искомые объекты, какими бы они ни были. Этот процесс и называется «диффузионной моделью» машинного обучения.
Но на этом возможности нейросети не заканчиваются. Она не только находит образы в шуме, но и постепенно добавляет детали к изображению, шаг за шагом преобразуя хаотичные пиксели в привлекательную и реалистичную картинку.
Чем больше шагов удаления шума — тем лучше становится картинка, но только до некоторого предела, после которого картинка перестаёт улучшаться. Этот процесс занимает от 1 секунды до нескольких минут в зависимости от количества шагов удаления шума, размера картинки, мощности компьютера и других параметров.
В рамках этого курса мы сосредоточимся на практическом применении диффузионных моделей, таких как Stable Diffusion. Однако для тех, кто захочет углубиться в технические детали и узнать больше о том, как устроены эти модели, я предоставлю дополнительные материалы и ресурсы.
В основе работы Stable Diffusion лежит диффузионная модель машинного обучения. Процесс обучения этой модели начинается с того, что исследователи берут реальные изображения из интернета и искусственно добавляют к ним случайный шум, похожий на помехи на старом телевизоре. Затем нейросеть обучают убирать этот шум и восстанавливать исходное изображение.
На ранних этапах обучения шум добавляется в небольших количествах. Постепенно его уровень повышается, пока в конечном итоге изображение не будет полностью замаскировано случайными помехами. Несмотря на это, нейросеть учится находить в этом хаотичном шуме визуальные образы: людей, предметы, растения и другие объекты.
Наступает момент, когда нейросети показывают картинку, состоящую исключительно из случайного шума, и просят сгенерировать изображение цветка, кота или шаурмы. И удивительным образом нейросеть способна увидеть в этом беспорядочном наборе пикселей искомые объекты, какими бы они ни были. Этот процесс и называется «диффузионной моделью» машинного обучения.
Но на этом возможности нейросети не заканчиваются. Она не только находит образы в шуме, но и постепенно добавляет детали к изображению, шаг за шагом преобразуя хаотичные пиксели в привлекательную и реалистичную картинку.
Чем больше шагов удаления шума — тем лучше становится картинка, но только до некоторого предела, после которого картинка перестаёт улучшаться. Этот процесс занимает от 1 секунды до нескольких минут в зависимости от количества шагов удаления шума, размера картинки, мощности компьютера и других параметров.
В рамках этого курса мы сосредоточимся на практическом применении диффузионных моделей, таких как Stable Diffusion. Однако для тех, кто захочет углубиться в технические детали и узнать больше о том, как устроены эти модели, я предоставлю дополнительные материалы и ресурсы.
Stable Diffusion был выпущен компанией Stability AI в августе 2022 года и сразу же приобрел популярность. Для него создано множество плагинов, оболочек, надстроек, генераторов промптов и дополнительных моделей. Чёрт ногу сломит во всём этом многообразии — будем идти по прядку. Начнём с железа.
Stable Diffusion может работать даже на домашних ПК, оснащенных видеокартой с 2 ГБ видеопамяти. Генерация на таком компьютере будет долгой, лучше вовсе не использовать настолько слабые видеокарты и рассмотреть аренду онлайн видеокарты, к этому мы ещё вернёмся чуть позже. 6 гигабайт видеопамяти уже приемлемо, но всё ещё мало. Для быстрой и эффективной работы рекомендуется видеокарта с 16 ГБ памяти от NVIDIA, это касается не только стейбла, а вообще любых нейронок. Хотите покупать новую видеокарту — берите Nvidia — не ошибетесь. Использование видеокарт других производителей потребует дополнительной настройки.
«У меня лапки, я просто хочу делать картинки и ничего не смыслю в видеокартах». Окей, вот простая инструкция. Просто запустите диспетчер задач и откройте вкладку «производительность».
Есть упрощенные способы использовать SD в виде ботов, сайтов, и приложений. Они не требуют установки, но и возможностей там гораздо-гораздо меньше. Например https://www.mage.space/ или https://playground.ai/
Stable Diffusion был выпущен компанией Stability AI в августе 2022 года и сразу же приобрел популярность. Для него создано множество плагинов, оболочек, надстроек, генераторов промптов и дополнительных моделей. Чёрт ногу сломит во всём этом многообразии — будем идти по прядку. Начнём с железа.
Stable Diffusion может работать даже на домашних ПК, оснащенных видеокартой с 2 ГБ видеопамяти. Генерация на таком компьютере будет долгой, лучше вовсе не использовать настолько слабые видеокарты и рассмотреть аренду онлайн видеокарты, к этому мы ещё вернёмся чуть позже. 6 гигабайт видеопамяти уже приемлемо, но всё ещё мало. Для быстрой и эффективной работы рекомендуется видеокарта с 16 ГБ памяти от NVIDIA, это касается не только стейбла, а вообще любых нейронок. Хотите покупать новую видеокарту — берите Nvidia — не ошибетесь. Использование видеокарт других производителей потребует дополнительной настройки.
«У меня лапки, я просто хочу делать картинки и ничего не смыслю в видеокартах». Окей, вот простая инструкция. Просто запустите диспетчер задач и откройте вкладку «производительность».
Есть упрощенные способы использовать SD в виде ботов, сайтов, и приложений. Они не требуют установки, но и возможностей там гораздо-гораздо меньше. Например https://www.mage.space/ или https://playground.ai/
Привет, друзья! Меня зовут Никита, и я с радостью приветствую вас на своем курсе по работе с технологией Stable Diffusion.
По профессии я инженер и большую часть времени занят разработкой станков и различных механизмов, но в душе я — художник. Stable Diffusion я использую с первого дня его выпуска. До выхода SD я был тестировщиком закрытой версии нейросети Midjourney, до появления Midjourney генерировал изображения в Disco Diffusion и других нейросетях, поэтому к моменту появления SD я уже хорошо разбирался в генерации изображений нейронными сетями.
Когда Стэйбл Дифьюжн только появился, разработчики не предоставили никаких курсов или инструкций. Мне пришлось изучать все самостоятельно, путем долгих экспериментов и сбора информации по крупицам. Это подтолкнуло меня записать несколько обучающих видео для ютюба, и я стал одним из первых проводников в мир Stable Diffusion для сотен тысяч русскоязычных пользователей. Если вы когда-нибудь пытались дообучать Стейбл на своих фотографиях, то скорее всего знакомы с моими видеоуроками.
Чтобы объединить единомышленников, я создал сообщество Technomagix, через которое прошли тысячи людей, интересующихся нейронками для создания изображений. Многие писали мне в личку с просьбами о помощи, отсюда возникла идея записать курс. В этом курсе я аккумулировал свой собственный опыт и опыт многих других пользователей, чтобы помочь вам освоить эту мощную технологию.
➡️ Изучайте темы последовательно, начиная с первой. Вы можете пропустить некоторые темы, но не забудьте вернуться к ним позже.
Привет, друзья! Меня зовут Никита, и я с радостью приветствую вас на своем курсе по работе с технологией Stable Diffusion.
По профессии я инженер и большую часть времени занят разработкой станков и различных механизмов, но в душе я — художник. Stable Diffusion я использую с первого дня его выпуска. До выхода SD я был тестировщиком закрытой версии нейросети Midjourney, до появления Midjourney генерировал изображения в Disco Diffusion и других нейросетях, поэтому к моменту появления SD я уже хорошо разбирался в генерации изображений нейронными сетями.
Когда Стэйбл Дифьюжн только появился, разработчики не предоставили никаких курсов или инструкций. Мне пришлось изучать все самостоятельно, путем долгих экспериментов и сбора информации по крупицам. Это подтолкнуло меня записать несколько обучающих видео для ютюба, и я стал одним из первых проводников в мир Stable Diffusion для сотен тысяч русскоязычных пользователей. Если вы когда-нибудь пытались дообучать Стейбл на своих фотографиях, то скорее всего знакомы с моими видеоуроками.
Чтобы объединить единомышленников, я создал сообщество Technomagix, через которое прошли тысячи людей, интересующихся нейронками для создания изображений. Многие писали мне в личку с просьбами о помощи, отсюда возникла идея записать курс. В этом курсе я аккумулировал свой собственный опыт и опыт многих других пользователей, чтобы помочь вам освоить эту мощную технологию.
➡️ Изучайте темы последовательно, начиная с первой. Вы можете пропустить некоторые темы, но не забудьте вернуться к ним позже.