從零開始玩轉AIGC-云+AI大模型的十大玩法搞定文生圖、專屬知識庫、數字分身等場景

5 48 56 82 90 98 113 125 132 第一章打造文生圖小應用函數計算FC部署AI大模型實現文生圖本次實驗將帶大家自己更換大模型，實現更高質量的圖像生成。函數計算部署66內的任何圖像，因為有開源的預訓練模型，所以我們也可以在自己的機器上運行它。StableDiffusion能夠根據我們提供的一些提示詞以及可以調整的部分參數，通過模型計 數計算9.9老客戶專享套餐。無套餐直接使用會產生函數計算后付費訂單，具體計費元99公網出流量和磁盤使用量的費用。如您未購買相關資源包，公網出流量使用量和超出再次提醒本實驗可領用下方卡片中的函數計算免費額度；首次開通函數計算的新客戶，可以購買新客首購套餐；如您是函數計算老客.如果您需要上傳自己的模型，可以在控制臺點擊“初始化模型管理” .模型下載完畢，文件管理/mnt/auto/sd/models/Stable-diffusion已經保存的文件/mnt/auto/sd/models/Lora/目錄。.前往/#/，進行基礎模型的篩選。.下載完畢后可以更改一下名稱，然后上傳至mnt/auto/sd/models/lora。ControlNet包含插件和模型兩部分。為了降低費用消耗，建議先下載到本地后，通過/Mikubill/sd-webui-controlnet.確保擴展插件目錄已存在sd-webui-controlnet，應用并 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainhttps://huggingface.co/lllyasviel/Annotators/resolve/main/body_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/hand_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/facen/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/fa插件的地址為/huchenlei/sd-webui-openpose-editor“openpose_full”和“模型”為“control_v 使用阿里云NAS+PAI-EAS部署StableDiffusion文生圖模型在阿里云免費試用的官網頁面中（/m/1000374869/可以找 建議工作空間按照工程來進行命名（比如myn/code/stable-diffusion-webui/data，相當于“/”這個子目錄就是我們所要指定的數據在默認情況下，StableDiffusion只支持使用英文+有限的emoji顏文字來作為提示詞 AIGCStableDiffusion文生圖Lora模型微調實現虛擬上裝說明：試用云產品開通在您的個人賬號下，并占用您的試用權益。如試用超出免費試用額ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge、ecs.gn7i-c8g1.2xlarge。.申請試用的免費資源包與使用地域及可ecs.gn7i-c8g1.2xlarge（僅此規(guī)格可運行本教程內容）ecs.g6.xlargeecs.gn6v-c8g1.2xlargestable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu實例名稱資源類型選擇鏡像stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu2 如：Networkisunreachable、unabletoaccess'/......'，您可以重/aigc-/root/.cache/huggingface/acce說明：為了提升下載速度，本示例使用了gitcode開源庫鏡像，并在OSS上緩存了.stable-diffusion-webui.stablediffusion.taming-transformers.blipdefaria2(url,filename,d):"cn-shanghai":"http://pai-vision-data-sh.oss-cn-sh"cn-hangzhou":"http://pai-vision-data-hz2.oss-cn-ha"cn-shenzhen":"http://pai-vision-data-sz.oss-cn-sh"cn-beijing":"http://pai-vision-data-bj.oss-cn-b}dsw_region=os.environ.get("dsw_region")"http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.co/mirrors/AUTOMATIC1111/stable-diffusiorepositories_url=f"{prefix}/aigc-data/code/repositories.tar.gz"aria2(repositories_url,repositories_url.split("/")[-1],"./")/mirrors/DominikDoom/a1111-sd-webui-tagc/ranting8323/stable-diffusion-webui-local/aigc-config/config_tryon/Ea/Eats/try_on/train_textdisplay(Image.open("cloth_train_example/train/202304往huggingface官網下載。f"{prefix}/aigc-data/hug_model/models--CompVis-checker.tar.gz"aria2(safety_checker_url,safety_checker_url.split("/")[-1],"./")f"{prefix}/aigc-data/hug_model/models--openai--clip-vit-large-ar.gz"aria2(clip_url,clip_url.split("/")[-1],"./")==f"{prefix}/aigc-data/sd_models/chilloutmix_NiPrunedFp32Faria2(model_url,model_url.split("/")[-1],"stable-diffusion-webui/models/Stable-diffusion/")diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py\--checkpoint_path=stable-diffusion-webui/models/Stutmix_NiPrunedFp32Fix.safeten--dump_path=chilloutmix=exportDATASET_NAME="cloth_tr--pretrained_model_name_or_path=$MODEL_NAME\--dataset_name=$DATASET_NAME--caption_column="text"\--train_batch_size=1\--num_train_epochs=200--num_train_epochs=200--checkpointing_steps=5000\--learning_rate=1e-04--lr_scheduler="constant"--lr_warmup_steps=0\--output_dir="cloth-model-lora"\--validation_prompt="cloth1"-/Ea--file='cloth-model-lora/pytorch_lora_weights.bin'stable-diffusion-webui/models/Lora/cloth_f"{prefix}/aigc-data/codeformer/detection_Resnet50_Final.pth"aria2(detection_url,detection_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")parse_url=f"{prefix}/aigc-data/codeformer/parsing_parsenet.pth"aria2(parse_url,parse_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")codeformer_url=f"{prefix}/aigc-data/codeformer/codeformer-v0.1.0.pth"aria2(codeformer_url,codeformer_url.split("/")[-1],"stable-diffusion-webui/models/Codeformer/")f"{prefix}/aigc-data/embedding/ng_deepnegative_v1_75t.pt"aria2(embedding_url,embedding_url.split("/")[-1],"stable-diffusion-webui/embeddings/")f"{prefix}/aigc-data/lora/koreanDollLikeness_v10.safetensors"aria2(model_lora_url,model_lora_url.split("/")[-1],"stable-diffusion-webui/models/Lora/")因，例如：Networkisunreachable、unabletoaccess'https://githubhair,softlighting,highquality,<lora:cloth_lorafingers,(watermark:1.2),(lette打造專屬知識庫請參見LangChain-Hologres。通過開源框架LangChain.Hologres：Hologres是一站式實時數倉引擎，與達摩院自研高性能向量計算軟件庫/aliyun/alibabacloud-hologres-con使用PAI-EAS模型在線服務即可快速部署LLaMA-2，詳情請參見L說明：您也可以按照本文步驟，使用其他大模型進行專屬問答知識庫的搭建。其他大部署方式請參見LLM。cdcdalibabacloud-hologreseas_config大模型服務的調用信息（步驟1記錄的調用信息包括：damo/nlp_corom_sentence-embedding_english-base。real-timewriting,real-timeupdating,real-processingandreal-timeanalysisofmassivedata...Hologres...您可以在Hologres實例對應數據庫下的langchain_embedding表中查詢embeddingid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source": 您可以繼續(xù)將問答知識庫接入實際業(yè)務場景進行使用，如接入釘釘聊天群聊（參見使用基于Hologres向量計算與大模型免費定制專屬聊天機器人簡介：本文為您介紹如何基于Hologres向量計算能力，可以將Hologres作為向量實時存儲和檢索引擎，把定制語料作為向量存儲并輸出給大模.使用Anaconda環(huán)境運行如下命令安裝相關依賴：.單擊代碼與樣例數據或運行如下命令克隆gitclone/al=<chat_model_name>(<temperature=0.1)bot=Chatbot(chat_model,args.cl行如下命令打開設置向導，各個設置項按回車跳過即可pythongenerate_config.py#-n供。它可以處理PB級別的數據，并提供了高性能的查詢和分析能力。Hologres支持SQL和為“GinIndex”的方法來加速jsonb類型的查詢。GinIn序中。jsonb是一種二進制格式的JSON，它可以提供更快的查詢速度和更小的存儲空間。在運行如下命令打開設置向導，并填寫連接信息。后續(xù)您也可以手動修改config/config.yaml文件來更新連接信息。pythonpythongenerate_con 準備語料庫。本文以下載的代碼與樣例數據中data目錄下的example_data.csv文件為你是如何實現我采用Langchain框架進行開發(fā)，Langchain是一個簡單易用的端采用Hologres進行向量數據存儲，可以什么是實時數Hologres是阿里巴巴自主研發(fā)的一站式實時數倉引擎（Real-Time您可以在Hologres的langchain_pg_embedid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source":其中集成封裝了很多實用工具。我的后端采用Hologres進行向量數據存儲，可以存儲大量文本大模型和語料庫效果驗證。將上文語料庫對應的向量數據輸入給大模型進行提示詞微調，問題一：相較于原生大模型，經語料庫優(yōu)化后的回答可以總結出HologresHuman:什么是HologresChatbot:Hologres是阿里巴巴自主研發(fā)的一站式實時數倉引擎 開始支持對于JSONB類型開啟列式存儲優(yōu)化，能夠降低JSONB數據的存儲大小并加速查詢。開啟JSONB列式存儲優(yōu)化后，系統(tǒng)會在底層自動將JSONB的列轉換為強Schema的列式存儲，查詢Human:Hologres中的列存jsonb是什么？Chatbot:Hologres中的列存JSONB是指將（可選）聊天機器人接入釘釘群聊。聊天機器人可以接入釘釘群聊，您也可以仿照http://localhost:8889/chatpythondingding_server.py>l了解Hologres：/product/bigdata/hologram使用PAI-DSW基于LangChain的檢索知識庫問答 稱型ecs.gn6v-c8g1.2xlarge。像選擇官方鏡像中的pytorch:1.12-gpu-p在打開的教程文件langchain_retrieval_question_answering.ipynb文件中，您可以直 —OpenSearchLLM智能問答版搭建對話式搜索服務就是只用來處理語言文字（或者符號體系）的AI模型，發(fā)現其中的規(guī)律，可以OpenSearch基于阿里巴巴自主研發(fā)的大規(guī)模分布式搜索引擎搭建的一站式智能搜.開通阿里云賬號并登錄控制臺時，會提示先創(chuàng)建accesskey才能繼續(xù)使用。 問答測試支持通過API和SDK調用；打造你的數字分身用1張圖像生成數字人，快來制作你的AI視頻吧/v/318703/v/318704/v/318707/v/318710/v/318709/v/318708/v/318711/v/318727LivePortraitpipeline示意圖.描述：如果用戶上傳的是一段文字，我們會首先使用Text-to-Speech（TTS）技術將.描述：首先，我們將用戶上傳的照片輸入Encoder得到中間層特征；隨后，我們用/studios/DAMOXR/LivePortrait/summary獲取/保存視頻結果玩轉ControlNet：StableDiffusion制作藝術二維碼Diffusion做一個藝術二維碼，藝術化的二維碼不是單純的藝術作品，具備可識.注冊并登錄阿里云賬號.開通函數計算并領取試用額度/applications/create4）確認知曉使用SD過程中產生的函數計算費用及重要提醒，等待StableDiffusion您可以選擇喜歡的模型用以生成二維碼的風格，本教程推薦模型庫中下載majicMixhttps://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/m下載地址：https://huggingface.co/ioclab/control_v1p_sd15_brightness6）上傳下載模型后上傳在文件夾中/mnt/auto/sd/models/ControlNet，重新加載/adc/scenario/b2cc0e1c3a6244e0bd9fc0f37acd5a0e(((1boy))),((masterpiece)),((bestqual