Ако работите с визуални ефекти и сте любопитни да изведете работните си процеси с генеративни изображения на следващото ниво, ComfyUI е задължителен. Неговият подход, базиран на възли, модулността и мощността, която FLUX добавя Това го прави идеална среда за изследване на всичко - от висококачествен текст (text2img) до сложни тръбопроводи с обучение по ControlNet, IP-Adapter или LoRA. ComfyUI за VFX: Обяснение на работните процеси за инсталиране и FLUX.
В това ръководство ще намерите, по организиран начин, всичко необходимо: какво представлява работен процес в ComfyUI, как да го запазвате и споделяте, как да инсталирате FLUX стъпка по стъпка, какъв хардуер ви е необходим и ясно обяснение на най-използваните потоци (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter и latent scaling). Ще видите и алтернативи като FP8, NF4 или GGUF за намаляване на VRAM.Ресурси за използване на Flux в облака и оптимизирана за Windows инсталация на ComfyUI с практични съвети.
Какво е работен процес в ComfyUI?
Работният процес е визуалното представяне на процеса на генериране, който изграждате чрез свързване на възли. Можете да си го представите като дъска с части тип ЛегоВсеки възел изпълнява функция (зареждане на модели, кодиране на текст, семплиране, декодиране и др.) и връзките описват пътя, който информацията следва, докато се получи крайното изображение.
Екосистемата е огромна: неподвижни изображения, видео, аудио и дори 3D Те съществуват едновременно благодарение на общността с отворен код. Недостатъкът е, че има крива на обучение, защото е важно да се разбере какво прави всеки компонент и как да се комбинират ефективно, за да се избегнат пречки или противоречиви резултати.
За да започнете бързо, най-добре е да разгледате официалните и основните потоци (text2img и img2img) и след това да преминете към по-сложни възли. Документация на общността и официални примери за ComfyUI Те се актуализират често, така че е лесно да се възобновят или прегледат работни процеси, които се променят с новите версии.
Един важен детайл: ComfyUI може да вгради работния процес в самото крайно изображение (PNG) като метаданни. Това ви позволява да споделите само изображението и да извлечете цялата графика. като го плъзнете обратно към интерфейса.
Как да се учите и да напредвате с работните процеси
Моят съвет е да започнете с прости примери, публикувани в ресурси от типа уики и галерии на общността. Логична последователност е: Txt2Img, Img2Img и след това ControlNet или LoRA.Като разберете входните данни, изходните данни и как планиращите влияят върху семплирането, ще стане естествено да включите водещи възли, маски и допълнителни условия.
Ако искате да видите различни топологии, има хранилища на публични потоци и страници с възпроизводими примери, където можете да изтеглите изображения с метаданни или .json файлове. Добра практика е да импортирате, да стартирате както е и след това да итерирате през параметрите да се разбере въздействието на всеки блок, без да се нарушава цялото.
В облачните платформи ще намерите и предварително конфигурирани среди за изпълнение на тръбопроводи, без да се налага да се борите с локални зависимости. Предимството е, че те предварително зареждат тежки възли и моделиВъпреки това е препоръчително да проверите наличните версии и VRAM, за да се уверите, че резултатите отговарят на очакванията.
Запазване, импортиране и експортиране на работни процеси в ComfyUI
ComfyUI поддържа два основни метода за запазване: изображение с метаданни (PNG) или JSON файл на графиката. Първият е най-удобен за споделяне във форуми; вторият ви дава изричен контрол върху файла, полезен за управление на версиите.
За да импортирате, просто плъзнете PNG или Json файла към интерфейса или използвайте клавишната комбинация Ctrl (Command) + O. За да експортирате, можете да запазите генерираното изображение или да използвате менюто „Експортиране“ за JSON.Бъдете внимателни, ако компресирате или прехвърляте изображения: някои методи за компресиране и определени канали премахват метаданни, което би довело до загуба на вградения работен процес.
Поради постоянната еволюция на ComfyUI, Не всички по-стари JSON файлове работят в по-нови версии.Ако нещо се обърка, отворете потока, заменете остарелите възли или преинсталирайте зависимостите със съвместимите им версии; използването на ComfyUI-Manager прави откриването и разрешаването на липсващи компоненти много по-бързо.
FLUX в ComfyUI: какво е това и защо е важно
FLUX.1 е семейство модели от Black Forest Labs, фокусирани върху висококачествено преобразуване на текст в изображение. Хибридната му архитектура с приблизително 12 милиарда параметъра Оптимизиран е за придържане към подканите, обработка на сложни сцени и генериране на четлив текст в изображението, задача, при която други модели често се провалят.
Друго предимство: неговата универсалност. От фотореализъм до художествени стиловеFLUX.1 се откроява със своята визуална последователност и детайлност, включително рендирането на ръцете, класическа слабост в генеративната графика. Не е изненадващо, че е сравняван с решения като Stable Diffusion или Midjourney, като се оказва начело по отношение на лекота на използване и качество.
Black Forest Labs е основана от Робин Ромбах, ключова фигура, работеща в основата на Stability AI. Ако искате да видите от първа ръка, официалният му уебсайт е на адрес blackforestlabs.ai.
FLUX.1 се разпространява в три варианта: Професионален, Развойник и ШнелPro предлага най-високо качество за професионална среда; Dev е проектиран за некомерсиална употреба с отличен баланс; Schnell се фокусира върху скоростта и лекотата и е с отворен код под лиценза Apache 2.0.
Хардуерни изисквания според версията на FLUX
За FLUX.1 Pro се препоръчва Графичен процесор тип NVIDIA RTX 4090 с 24 GB видео памет32 GB RAM и бърз SSD. Използва FP16, за да избегне „out-of-boxing“ (незавършено инсталиране), и е най-добре да се използва текстовият енкодер в FP16 за максимално качество.
В FLUX.1 Dev, a RTX 3080/3090 с 16 GB видео памет Работи добре с 16 GB RAM и около 25 GB дисково пространство. Поддържа FP16 и дори FP8 в някои случаи, в зависимост от вашия графичен процесор.
За FLUX.1 Шнел, RTX 3060/4060 с 12 GB видео памет 8GB RAM и 15GB място за съхранение са достатъчни. Проектиран е за бързина, жертвайки част от резерва на производителност в сравнение с Pro/Dev версиите.
Ако имате ограничена памет, общността предлага алтернативи като FP8, NF4 или GGUF, които... Те значително намаляват необходимата VRAM памет, с конфигурации, започващи от 6 до 12 GB в зависимост от потока.
Инсталиране на FLUX на ComfyUI: основни стъпки
Преди всичко, уверете се, че използвате най-новата версия на ComfyUIFLUX интеграциите изискват възли и функции, които се актуализират често.
Изтеглете текстовите и CLIP енкодерите: clip_l.safetensors и един от T5 XXL файловете, или t5xxl_fp16.safetensors (ако имате достатъчно VRAM/RAM), или t5xxl_fp8_e4m3fn.safetensors (ако имате по-ограничен бюджет). Поставете ги в папката ComfyUI/models/clip/. Ако сте използвали SD3 Medium, е възможно вече да имате тези файлове..
VAE: изтегляне ae.safetensors и го преместете в ComfyUI/models/vae/. Преименувайте го на flux_ae.safetensors, ако искате да го намирате по-лесно. Това VAE подобрява крайното декодиране и това е ключово за качеството.
UNET: изберете между flux1-dev.safetensors или flux1-schnell.safetensors според паметта ви и го поставете в ComfyUI/models/unet/. С това имате основата да управлявате FLUX потоци. местен.
Практическо ръководство за FLUX работни процеси в ComfyUI
Txt2Img с FLUX
Започнете със зареждане на компонентите: UNETLoader, DualCLIPLoader и VAELoaderВъзелът CLIPTextEncode кодира вашето подканващо съобщение; EmptyLatentImage създава първоначалното латентно изображение; BasicGuider ръководи процеса, като комбинира условна логика с UNET на FLUX.
Изберете семплер с KSamplerSelectГенерира шум с RandomNoise и дефинира сигма рампа с BasicScheduler. SamplerCustomAdvanced обединява всичко: шум, водач, семплер, сигми и латентни честоти. Накрая, VAEDecode преобразува латентния сигнал в изображение. и със SaveImage запазвате резултата.
Img2Img с FLUX
Тръбопроводът добавя начално изображение: Зареждане на изображение + мащабиране на изображение Размерът се регулира и VAEEncode го задава на латентен. Подканата е кодирана с CLIPTextEncode, а силата ѝ се регулира с FluxGuidance. ModelSamplingFlux контролира разстоянието и размеритеKSamplerSelect, RandomNoise и BasicScheduler обработват семплирането. SamplerCustomAdvanced обединява условното условие с входния латентен код, а VAEDecode генерира резултата.
LoRA с FLUX
За да прецизирате стила или характеристиките, добавете LoraLoaderModelOnly заедно с UNETLoader, DualCLIPLoader и VAELoader. След кодиране на текста и прилагане на FluxGuidance, създавате латентното изображение с EmptyLatentImage, дефинирате семплиране с ModelSamplingFlux и изпълнявате SamplerCustomAdvanced. С VAEDecode получавате изображението, вече повлияно от LoRAТипичен пример: realism_lora.safetensors на flux1-dev.
ControlNet с FLUX
Два много полезни случая за визуални ефекти: дълбочина и хитри ръбове. За дълбочина, предварителна обработка с MiDaS-DepthMapPreprocessorЗаредете дълбочинния ControlNet и го приложете с ApplyFluxControlNet. Използвайте XlabsSampler, за да генерирате условната латентна форма на вълната, и след това VAEDecode създава изображението.
За Кани, използвайте CannyEdgeПрепроцесор, заредете Canny ControlNet и повторете схемата: ApplyFluxControlNet → XlabsSampler → VAEDecode. Този допълнителен контрол осигурява прецизност върху формата и композицията..
Инкарниране с FLUX
Заредете UNET, VAE и CLIP и подгответе положителни и отрицателни команди. LoadAndResizeImage показва изображението и маскатаПреходът е изгладен с ImpactGaussianBlurMask. InpaintModelConditioning комбинира кондициониране, изображение и маска. След конфигуриране на семплера, шума и сигмите, SamplerCustomAdvanced реконструира маскираната област. VAEDecode интегрира пластира последователно с останалите.
ФЛЮКС NF4
С NF4 квантуване, паметта се намалява. Заредете компоненти с Контролно-пропускателен товарачNF4 и определя височина/ширина с примитивни възли. ModelSamplingFlux задава параметри; EmptySD3LatentImage създава латентното изображение; BasicScheduler и RandomNoise организират премахването на шум. SamplerCustomAdvanced генерира латентния сигнал, а VAEDecode го преобразува в изображение.За мащабиране, UltimateSDUpscale, заедно с UpscaleModelLoader и допълнителен позитивен подкаст, прави цялата разлика.
IP адаптер с FLUX
Когато искате да обусловите, използвайки референтно изображение, използвайте LoadFluxIPAdper и ApplyFluxIPAdper заедно с clip_vision_l.safetensors. Мащабирайте референтното изображение с ImageScale, подгответе подканите и стартирайте XlabsSampler. С VAEDecode ще видите резултата, повлиян от естетика или характеристики от изображението на ръководството.
LoRA треньор за FLUX
За да се обучи LoRA директно в ComfyUI, работният процес включва: FluxTrainModelSelect, OptimizerConfig и TrainDatasetGeneralConfigInitFluxLoRATraining инициализира, FluxTrainLoop изпълнява стъпки, а FluxTrainValidate генерира периодични валидации.
С VisualizeLoss проследявате загубата; ImageBatchMulti и ImageConcatFromBatch Те групират валидациите; FluxTrainSave запазва контролните точки, а FluxTrainEnd затваря процеса. Ако желаете, качете резултата в Hugging Face с UploadToHuggingFace и го споделете.
Латентно мащабиране на потока
За да мащабирате подробно, дефинирайте размера с SDXLEmptyLatentSizePicker+ и свързва LatentUpscale и LatentCrop. С маски, създадени от SolidMask и FeatherMask, LatentCompositeMasked смесва мащабирания латент с оригинала. InjectLatentNoise+ подобрява детайлите преди VAEDecodeА корекция с ImageSmartSharpen+ завършва процеса. Изчислителни възли като SimpleMath+ помагат за подравняване на пропорциите.
Алтернативни версии: FP8, NF4 и GGUF за по-ниска VRAM памет
Ако нямате достатъчно ресурси, имате опции. Контролните точки на FP8 от Comfy.org и автори като Kijai. позволява ви да използвате FLUX с един файл в ComfyUI/models/checkpoints/. Препоръчително е да преименувате или разделите в папки, за да се прави разлика между dev и schnell варианти.
С NF4 (bitsandbytes), инсталирайте плъгина ComfyUI_bitsandbytes_NF4 и използвайте flux1-dev-bnb-nf4-v2 в модели/контролни точки. Тази версия подобрява детайлите в сравнение с първата итерация.
Квантоването на GGUF на City96, заедно с плъгина ComfyUI-GGUFпонижава летвата още повече: Изтеглете модела FLUX GGUF, енкодерът t5-v1_1-xxl-encoder-ggufФайловете `clip_l.safetensors` и `ae.safetensors` трябва да бъдат поставени в съответните им папки. Има удобни случаи на употреба с 6 GB VRAM.
Използване на FLUX.1 в облака и други ресурси
Ако предпочитате да не инсталирате нищо, можете да опитате FLUX в Пространства за прегръщане на лицето: FLUX.1-dev y FLUX.1-шнел. Също така в репликира, Mystic.ai o fal.ai. Това са полезни опции за валидиране на подкани и конфигурации преди да изтеглите локални модели.
За вдъхновение и готови работни процеси, разгледайте официални примери за ComfyUI и галерии за работни процеси като OpenArt. Не забравяйте, че много изображения съдържат метаданнитака че можете да ги плъзнете в ComfyUI, за да извлечете графиката.
Допълнителни материали: колекции от LoRA за FLUX като РеализъмЛора или компилации в XLabs-AIControlNet за FLUX като колекции y съюз; IP адаптер en XLabs-AIЗа да тренирате LoRA с ниска VRAM, опитайте флуксгим или треньорът за реплики от Острис; Има ръководство за DreamBooth за разработчици на FLUX.1. в хранилището на дифузорите.
Инсталирайте ComfyUI на Windows 11 със солидна производителност
Ако предпочитате чиста инсталация, това е доказан начин. Работи много добре с карти NVIDIA серия 40/50 и това ви помага да избегнете типични грешки.
1) Инсталирайте приложението NVIDIA и драйвера за Studio от nvidia.com. Рестартирайте. 2) CUDA Toolkit от developer.nvidia.com (по избор, но е полезно, за да избегнете предупреждения с Triton, ако не използвате venv). 3) ffmpeg От хранилището на BtbN, добавете C:\ffmpeg\bin към пътя. 4) Git за Windows от git-scm.com5) Python 3.12 x64 от python.org, с py launcher за всички потребители и добавяне към променливите на средата.
5.5) Ако изберете venv, създайте го с python -m venv CUVenv и го активирайте с CUVenv\Scripts\activate.bat. Оттам изпълнете всички съответни pip или git команди във venv. Вашият стартов скрипт може да активира средата и да стартира ComfyUI наведнъж.
6) Клонирайте ComfyUI с git клонинг https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Отидете в D:\CU и изпълнете pip install -r requirements.txt. 8) Ако pip предупреди за скриптове извън пътя, добавете пътя за Python скриптовете към системните променливи и рестартирайте. 9) Инсталирайте PyTorch CUDA 12.8 Инсталирайте Torch, като използвате командата `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Ако нещо не е наред, деинсталирайте Torch и го инсталирайте отново, като използвате същата команда.
9 бис) Стартирайте ComfyUI с python main.py и отворете 127.0.0.1:8188. 10) Инсталирайте Triton за Windows с pip install -U triton-windows. 11) Ускорете вниманието със Sage Attention 2.2: Изтеглете съвместимото колело CU128/Torch2.8 за CP312, инсталирайте го с pip и стартирайте ComfyUI с флага –use-sage-attention.
12) Инсталирайте ComfyUI-Manager: в ComfyUI/custom_nodes изпълнете git клонинг https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Създайте стартиращ .bat файл с редовете: cd D:\CU и python main.py –use-sage-attention. При стартиране, Manager ще отнеме малко време първия път.; проверете дали разделът „Мениджър“ се появява в интерфейса.
14) Поставете шаблоните в правилните папки (checkpoints, clip, unet, vae) и отворете вашите потоци. Ако даден работен процес има свой собствен Sage възел, можете да го пропуснете, ако вече започвате с този флаг.Съвети: Избягвайте да отваряте програми, които изискват големи ресурси, конфигурирайте виртуалната памет на Windows, ако е с ниска памет, и проверете дискусиите за производителността в хранилището на ComfyUI. Ако получавате предупреждения за памет, помислете за използването на еднофайловия вариант FP8.
Ако предпочитате ръководство за изтегляне, има полезен PDF файл на тази връзка. Някои ръководства са преработени, за да се опрости инсталацията и да се предложат venvКогато използвате venv, не забравяйте винаги да изпълнявате pip и git в средата.
Съвети за употреба, съвместимост и най-добри практики
Импортирайте потоци, като плъзнете PNG файлове с метаданни или JSON и проверете версиите на възлите с Manager. Когато споделяте изображения, избягвайте компресия, която изтрива метаданни.Ако JSON се повреди в нова версия, заменете остарелите възли или инсталирайте съвместими версии.
За да работи с множество FLUX LoRA, има съобщения за висока консумация на енергия в последните версии на ComfyUI; Тествайте GGUF или специфични зареждащи програми За да се минимизира VRAM. В ControlNet, започнете с depth или Canny, за да установите стабилна композираща платформа.
Когато внедрявате в облака, проверете VRAM и опашките за изпълнение. Локално, бързият SSD и актуалните драйвери правят цялата разлика.Документирайте вашия конвейер по секции: зареждане на модел, кондициониране, семплиране, декодиране и последваща обработка. Това ще улесни отстраняването на грешки, когато нещо се повреди.
С всичко горепосочено, вече можете да изградите наистина стабилен VFX конвейер с ComfyUI: Разбирате ли какво е работен процес и как да го запазите, без да губите метаданни?Можете да инсталирате FLUX и неговите варианти (Dev, Schnell и FP8, NF4, GGUF опции), знаете как да изпълнявате ключовите работни процеси от ежедневната практика (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter и Upscale) и имате оптимизирана инсталация на Windows с Triton, Sage Attention и ComfyUI-Manager, за да поддържате системата стабилна и бърза.