Replicart | Stable diffusion

Пока в мире ничего не происходит, подумываю сделать гайд по трейну, пишите, что натренировать в каждой категории. Нам надо:- объект/субъект (какой-либо предмет или персонаж/человек)- стиль (стиль художника или стилистика)- концепт (поза, ракурс или кадр должен строиться по другому, как например on/off лора)Предлагайте что угодно, сделаю самые залайканые

Ну и раз уж, закончили на теггировании.- Нам нужен автотеггер, чтобы размечать картинки- У нас дома есть теггерТеггер дома:

◾️Работа с моделямиModel ConverterMerge Block WeightedSuperMergerModel toolkitВсе что больше 2гб сразу обрабатывается в Model Converter, потому что если хранить несколько крупных моделей не проблема (но в этом тоже нет смысла, только место забивает), то когда начинаешь мержить вместо 20 моделей по 2гб = 40гб, получаешь 20гб моделей по 4гб = 80гб на ровном месте. Мы такое не любим.Для базовых мержей стандартного Checkpoint merger вполне достаточно. Докидываю сверху Merge Block Weighted и сижу довольный.Как альтернатива - SuperMerger + там еще можно лоры мержить/выжимать лору из модели/вмерживать лору в модель, я это отдельными скриптами делаю поэтому не использую, а так штука хорошая.Если нужно просто глянуть модель - Model toolkit◾️ТеггированиеClip Interrogator (аккуратно, у меня что-то тупил последний раз, пока удалил)BLIP 2 (его нет в списке в автоматике, ставим ручками)WD 1.4 TaggerЗависит от модели, на которой тренирую, реалистичное - clip/blip, аниме - wd. Если не лень, за тегером чистим и дополняем ручками. Также, по умолчанию, во вкладке train есть blip и deepbooru - можете использовать их.◾️Все чем не пользуюсь - отключаю, потому что когда из-за какого-то расширения ломается автоматик, который и сам постоянно тупит, нагрев от моей пятой точки ускоряет глобальное потепление.

На днях переустанавливал автоматик и решил заодно рассказать про свой "джентельменский" набор расширений. Ничего сверх, только то, чем регулярно пользуюсь.Все расширения можно загрузить из списка во вкладке Extensions, по названию. Если что-то не получается найти в списке - у всех расширений указал ссылки.◾️Первым сразу залетает ControlNetsd-webui-controlnetsd-webui-openpose-editorDWPose (не актуально, идет в комплекте)Собственно само расширение + нормальный редактор для openpose (открывается по кнопке edit в окошке препроцессора, картинка в описании). Также, чтобы меньше нужно было пользоваться редактором закидывал DWPose - это еще один препроцессор для определения позы, рук и лица - теперь он идет с контролнетом из коробки (картинка со сравнением в комментариях).◾️Удобство, ускорение работыBooru tag autocompletionWildcards!After DetailerCanvas ZoomLoRA Block WeightAgent SchedulerЗачем печатать, если можно не печатать? Autocompletion добавляет автокомплит (неожиданно), а вайлдкарды позволяют чуть меньше напрягать фантазию на выдумывание каких-либо деталей.Для тех, кто не знаком с автокомплитом, это примерно как предлагаемые слова над клавиатурой, когда сообщение в телефоне набираете. Есть как и заготовленные списки тегов, так можно и свой сделать.Вайлдкарды - это большой список слов из которого случайным образом выбирается одно и подставляется в нужное место. Например, я не хочу выдумывать наряды персонажу. У меня есть файл в котором прописано что-то типа:casual outfitcasually dressedofficial outfitcosplay costumeи тди потом в промпте я просто пишу название файла, как-то так 1girl, blonde, smile, __outfit__, full body Автоматически выберется что-то из списка и подставиться вместо __outfit__. И так можно сделать для чего угодно - прически, цвета, локации, действия, позы, эмоции. Есть готовые списки, но имейте в виду, что все модели разные и например список анимешных вайлдкардов может быть бесполезен с реалистичной моделью, потому что она таких слов не знает.Чтобы не

Список VAEСсылкиСтандартные (официальные):kl-f8: https://github.com/CompVis/latent-diffusion#pretrained-autoencoding-modelsvae-ft-ema-560000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-ema-originalvae-ft-mse-840000-ema-pruned: https://huggingface.co/stabilityai/sd-vae-ft-mse-originalДля настоящих man of culture (мы в интернете, не доверяете - не качаете):nai: https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/VAEskl-f8-anime и kl-f8-anime2: https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vaeСlear: https://civitai.com/models/22354/clearvaeBlessed:https://huggingface.co/NoCrypt/blessed_vae/tree/mainTrinart: https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/mainPerfect Colors (последняя в списке main VAEs): https://rentry.org/sdvae#where-do-i-get-vaes-and-which-one-to-useОписаниеkl-f8 - жаль, конечно, этого добряка...560 - как 840, но чуть-чуть более резкая840 - классика. Как штаны, в которых и в ларек за темным козлом можно сбегать и с CEO фин-тех компании договор подписатьnai - лучше не брать, сниженная насыщенность + проблемы с NAN и ошибка или черная картинка по итогу (раньше решалось прописыванием --no-half-vae, сейчас автоматик автоматически применяет эту штуку, если выпала ошибка). Указал ссылку на AOM'овскую, но по сути тот же файл, что и nai'евская. Если нужна будет вот прям она самая, то сами торрент найдетеkl-f8-anime - сомнительно, но окей. Если вам нужна прям рафинированная-конфетная картинка, то можно братьkl-f8-anime2 - нормальная, что даже сказать про нее нечегоclear - хорошая резкость, но слишком портит лицо/глазаblessed - берем или blessed-fix, или blessed2, по сути blessed-fix - это nai c поправленной насыщенности и проблемой с NAN, blessed2 очень похожаяTrinart - что-то между kl-f8-anime и kl-f8-anime2Perfect Colors - нашел на rentry, а туда закинули с hgd. Одна из любимых. Чуть насыщеннее чем стандартные 560 и 840, но далеко не так как kl-f8-animeЯ человек простой - для реализма ис

Новое видео про VAE: https://www.youtube.com/watch?v=Afw-Edl61w0

Сделал бустиТам будут подробные разборы, типа как по clip и vae (который выйдет) и гайды по решению конкретных задач. Трейн, создание миксов, автоматизация, nsfw, ваши запросы - все будет там.Просили про то, как сгенерировать персонажа и потом его натренировать - уже тутаА видео про наше любимое слово из трех букв в работе. Будет на ютубе на следующей неделе.

С дефорумом, конечно, затянул, но обещал сделать - сделал (там чисто про дефорум, обработку видео не разбирал)Не отходя от кассы, сразу сажусь записывать следующие

По работе чутка разгрузился ближайшее время все будет

Каждый раз, когда выходит обновление

Пока занят работой и видео про дефорум (будет в субботу) отделываюсь небольшими постами, а так подумываю сделать большой материал про стабилку, в котором рассказал бы про нее все от и до. Держите мем на сдачу

Вариации изображения в Stable diffusionУ Midjourney есть отличная фишка с генерацией вариантов изображения. Он cгенерировал четыре картинки и одна из них мне понравилась. Я нажимаю кнопку V1-V4 и он нагенерит мне еще четыре картинки похожие на изначальную.Такую же штуку мы можем сделать и у нас, в stable diffusion. Вот мы получили хорошую картинку, но хотелось бы посмотреть ее же, но немного другую. Нажатием на кнопку ♻️ фиксируем seed и ставим галочку в поле Extra рядом. У нас появляются дополнительные поля из которых нас интересует только Variation strength. Это то, насколько наша картинка будет отличаться от оригинала: 0 - получим исходную картинку, 1 - получим абсолютно новую. Ставим что-нибудь в диапазоне от 0.2 до 0.45, в зависимости от картинки и наслаждаемся.Можно, конечно, делать и через controlnet reference, и через img2img, еще и такая крутая штука с self-attention есть, но как обычно есть несколько но:1. Controlnet reference и fabric, тоже выполняют некоторую работу, что замедляет генерацию + слабый контроль над количеством изменений2. img2img хорошая альтернатива и делает по сути тоже самое, но требует слишком много телодвижений. С extra тут два тыка и готово, а так надо send to img2img, проверить параметры, продублировать controlnet, если он был и играться с denoising strength вместо variation strength.

Уведомления в Automatic1111Когда генерируешь и делаешь что-то параллельно, было бы удобно чтобы автоматик как-то оповещал, когда генерация завершена, чтобы не нужно было поглядывать на вкладку в браузере или сворачивать/разворачивать остальные программы.Тут, как в известном анекдоте, у нас есть два путя:1. Использовать звук для уведомлений Закидываем в папку автоматика файл со звуком оповещения и обязательно обзываем его notification.mp3. Штука прикольная и если вам подходит - используйте, но скорее всего надоест через 10-20 генераций.2. Включить оповещения в браузере Переходим в Settings -> Actions и нажимаем на кнопку Request browser notifications и одобряем во всплывающем окне от браузера. картиночкаМелочь, а удобно