Stable-Diffusion基礎(chǔ)知識和概念

StableDiffusion1基本操作文生圖txt2img為文生圖功能，重點(diǎn)參數(shù)介紹正向提示詞：描述圖片中希望出現(xiàn)的內(nèi)容反向提示詞：描述圖片中不希望出現(xiàn)的內(nèi)容Samplingmethod：采樣方法，推薦選擇Eulera或DPM++系列，采樣速度快Samplingsteps：迭代步數(shù)，數(shù)值越大圖像質(zhì)量越好，生成時間也越長，一般控制在30-50就能出效果Restorefaces：可以優(yōu)化臉部生成Width/Height：生成圖片的寬高，越大越消耗顯存，生成時間也越長，一般方圖512x512，豎圖512x768，需要更大尺寸，可以到Extras功能里進(jìn)行等比高清放大CFG：提示詞相關(guān)性，數(shù)值越大越相關(guān)，數(shù)值越小越不相關(guān)，一般建議7-12區(qū)間Batchcount/Batchsize：生成批次和每批數(shù)量，如果需要多圖，可以調(diào)整下每批數(shù)量Seed：種子數(shù)，-1表示隨機(jī)，相同的種子數(shù)可以保持圖像的一致性，如果覺得一張圖的結(jié)構(gòu)不錯，但對風(fēng)格不滿意，可以將種子數(shù)固定，再調(diào)整prompt生成圖生圖Resizemode：縮放模式，Justresize只調(diào)整圖片大小，如果輸入與輸出長寬比例不同，圖片會被拉伸。Cropandresize裁剪與調(diào)整大小，如果輸入與輸出長寬比例不同，會以圖片中心向四周，將比例外的部分進(jìn)行裁剪。Resizeandfill調(diào)整大小與填充，如果輸入與輸出分辨率不同，會以圖片中心向四周，將比例內(nèi)多余的部分進(jìn)行填充Maskblur：蒙版模糊度，值越大與原圖邊緣的過度越平滑，越小則邊緣越銳利Maskmode：蒙版模式，Inpaintmasked只重繪涂色部分，Inpaintnotmasked重繪除了涂色的部分MaskedContent：蒙版內(nèi)容，fill用其他內(nèi)容填充，original在原來的基礎(chǔ)上重繪Inpaintarea：重繪區(qū)域，Wholepicture整個圖像區(qū)域，Onlymasked只在蒙版區(qū)域Denoisingstrength：重繪幅度，值越大越自由發(fā)揮，越小越和原圖接近2Prompt語法技巧畫面畫風(fēng)：主要是大模型或LoRA模型的Tag、正向畫質(zhì)詞、畫作類型等畫面主體：畫面核心內(nèi)容、主體人/事/物/景、主體特征/動作等畫面細(xì)節(jié)：場景細(xì)節(jié)、人物細(xì)節(jié)、環(huán)境燈光、畫面構(gòu)圖等風(fēng)格參考：藝術(shù)風(fēng)格、渲染器、EmbeddingTag等3Prompt語法提示詞排序：越前面的詞匯越受AI重視，重要事物的提示詞放前面增強(qiáng)/減弱：(提示詞:權(quán)重?cái)?shù)值)，默認(rèn)1，大于1加強(qiáng)，低于1減弱。如(doctor:1.3)混合：提示詞|提示詞，實(shí)現(xiàn)多個要素混合，如\[red|blue\]hair紅藍(lán)色頭發(fā)混合\+和AND：用于連接短提示詞，AND兩端要加空格分步渲染：\[提示詞A:提示詞B:數(shù)值\]，先按提示詞A生成，在設(shè)定的數(shù)值后朝提示詞B變化。如\[dog:cat:30\]前30步畫狗后面的畫貓，\[dog:cat:0.9\]前面90%畫狗后面10%畫貓正向提示詞：masterpiece,bestquality等畫質(zhì)詞，用于提升畫面質(zhì)量反向提示詞：nsfw,badhands,missingfingers……,用于不想在畫面中出現(xiàn)的內(nèi)容Emoji：支持emoji，如形容表情，修飾手4ControlNetEnable：啟用ControlNetLowVRAM：低顯存模式優(yōu)化，建議8G顯存以下開啟Guessmode：猜測模式，可以不設(shè)置提示詞，自動生成圖片Preprocessor：選擇預(yù)處理器，主要有OpenPose、Canny、HED、Scribble、Mlsd、Seg、NormalMap、DepthModel：ControlNet模型，模型選擇要與預(yù)處理器對應(yīng)Weight：權(quán)重影響，使用ControlNet生成圖片的權(quán)重占比影響Guidancestrength(T)：引導(dǎo)強(qiáng)度，值為1時，代表每迭代1步就會被ControlNet引導(dǎo)1次Annotatorresolution：數(shù)值越高，預(yù)處理圖像越精細(xì)Cannylow/highthreshold：控制最低和最高采樣深度Resizemode：圖像大小模式，默認(rèn)選擇縮放至合適Canvaswidth/height：畫布寬高Createblankcanvas：創(chuàng)建空白畫布Previewannotatorresult：預(yù)覽注釋器結(jié)果，得到一張ControlNet模型提取的特征圖片Hideannotatorresult：隱藏預(yù)覽圖像窗口5圖像風(fēng)格控制Artist藝術(shù)家風(fēng)格主要通過畫作種類Tag（如：oilpainting、inkpainting、comic、illustration），畫家/畫風(fēng)Tag（如：HayaoMiyazaki、Cyberpunk）等控制圖像風(fēng)格。Checkpoint預(yù)訓(xùn)練大模型Checkpoint是根據(jù)特定風(fēng)格訓(xùn)練的大模型，模型風(fēng)格強(qiáng)大，但體積也較大，一般5-7GB。模型訓(xùn)練難度大，需要極高的顯卡算力。目前網(wǎng)上已經(jīng)有非常多的不同風(fēng)格的成熟大模型可供下載使用。LoRA微調(diào)模型LoRA模型是通過截取大模型的某一特定部分生成的小模型，雖然不如大模型的能力完整，但短小精悍。因?yàn)橛?xùn)練方向明確，所以在生成特定內(nèi)容的情況下，效果會更好。LoRA模型也常用于訓(xùn)練自有風(fēng)格模型，具有訓(xùn)練速度快，模型大小適中，配置要求低（8G顯存）的特點(diǎn)，能用少量圖片訓(xùn)練出風(fēng)格效果。TextualInversion文本反轉(zhuǎn)模型TextualInversion文本反轉(zhuǎn)模型也是微調(diào)模型的一種，它是針對一個風(fēng)格或一個主題訓(xùn)練的風(fēng)格模型，一般用于提高人物還原度或優(yōu)化畫風(fēng)，用這種方式生成的模型非常小，一般幾十KB，在生成畫作時使用對應(yīng)Tag在prompt中進(jìn)行調(diào)用。6圖像精準(zhǔn)控制OpenPose姿勢識別通過姿勢識別，達(dá)到精準(zhǔn)控制人體動作。除了生成單人的姿勢，它還可以生成多人的姿勢，此外還有手部骨骼模型，解決手部繪圖不精準(zhǔn)問題。以下圖為例：左側(cè)為參考圖像，經(jīng)OpenPose精準(zhǔn)識別后，得出中間的骨骼姿勢，再用文生圖功能，描述主體內(nèi)容、場景細(xì)節(jié)和畫風(fēng)后，就能得到一張同樣姿勢，但風(fēng)格完全不同的圖。Canny邊緣檢測模型可以根據(jù)邊緣檢測，從原始圖片中提取線稿，再根據(jù)提示詞，來生成同樣構(gòu)圖的畫面，也可以用來給線稿上色。HED邊緣檢測跟Canny類似，但自由發(fā)揮程度更高。HED邊界保留了輸入圖像中的細(xì)節(jié)，繪制的人物明暗對比明顯，輪廓感更強(qiáng)，適合在保持原來構(gòu)圖的基礎(chǔ)上對畫面風(fēng)格進(jìn)行改變時使用。Scribble黑白稿提取涂鴉成圖，比HED和Canny的自由發(fā)揮程度更高，也可以用于對手繪線稿進(jìn)行著色處理。Mlsd直線檢測通過分析圖片的線條結(jié)構(gòu)和幾何形狀來構(gòu)建出建筑外框，適合建筑設(shè)計(jì)的使用。Seg區(qū)塊標(biāo)注通過對原圖內(nèi)容進(jìn)行語義分割，可以區(qū)分畫面色塊，適用于大場景的畫風(fēng)更改。NormalMap法線貼圖適用于三維立體圖，通過提取用戶輸入圖片中的3D物體的法線向量，以法線為參考繪制出一副新圖，此圖與原圖的光影效果完全相同。Depth深度檢測通過提取原始圖片中的深度信息，可以生成具有同樣深度結(jié)構(gòu)的圖。還可以通過3D建模軟件直接搭建出一個簡單的場景，再用Depth模型渲染出圖。7部署安裝云端部署StableDiffusion通過GoogleColab進(jìn)行云端部署，推薦將成熟的StableDiffusionColab項(xiàng)目復(fù)制到自己的Google云端硬盤運(yùn)行，省去配置環(huán)境麻煩。這種部署方式的優(yōu)點(diǎn)是：不吃本機(jī)硬件，在有限時間段內(nèi)，可以免費(fèi)使用GoogleColab強(qiáng)大的硬件資源，通常能給到15G的GPU算力，出圖速度非常快。缺點(diǎn)是：免費(fèi)GPU使用時長不固定，通常情況下一天有幾個小時的使用時長，如果需要更長時間使用，可以訂閱Colab服務(wù)。本地部署