[튜토리얼]현존 최강 인공지능 이미지생성모델을 webUI로 돌려보자! <SDXL 1.0 깨부수기 -1->
본문 바로가기
ai 만들어보기(feat ai artwork lab)

[튜토리얼]현존 최강 인공지능 이미지생성모델을 webUI로 돌려보자! <SDXL 1.0 깨부수기 -1->

by mement0mori 2023. 7. 31.

나왔으니까 한 번 돌려보긴 해야겠죠? dreamshaper XL이 나오긴 했지만, 아직 다양한 파인튜닝 모델이나 확장기능은 기대할 수 없는 상황입니다. 하지만 우리가 주로 다루는 A1111 web UI의 sdxl 1.0 지원이 업글됐으니까 또 그냥 넘어갈 수 없죠. ㅎㅎ 자 그럼 간단하게 사용방법만 한 번 알아봅시다!

1. web UI 업그레이드

일단 우리가 사용하고 있는 web UI를 업그레이드 하도록 합시다. 그래야 sdxl 지원하거든요. 이건 길게 설명하지 않겠습니다. 먼저 git clone 방식으로 설치하신 분들은 설치 폴더에서 터미널 키시고 git pull 명령을 실행하면 됩니다. 그리고 제가 두 번째로 올린 패키지 방식으로 설치하신 분들은 update.bat 파일을 실행하시면 됩니다.

업글완료됐다고 치고 넘어갑시다.

스테이블 디퓨전 버전 업데이트(SDXL) (tistory.com)

 

스테이블 디퓨전 버전 업데이트(SDXL)

스테이블 디퓨전 밑에보면 이렇게 버전 정보를 확인할 수 있습니다. 전 버전이 v1.5.1 입니다. SDXL를쓰기위해서는 스테이블 디퓨전 버전1.5이상써야한다고합니다. 따라서 SDXL를 쓰기 위해서는 버

istor-y.tistory.com

 

2. sdxl 1.0 모델, vae 다운로드

아래 링크로 가서 base, refiner 두 개 모델을 각각 다운받습니다. 다른 거 무시하시고 동글뱅이 친 .safetensor만 받으시면 됩니다. 참... 하나만 짚고 넘어가자면 base 있는 곳에 offset Lora어쩌고 파일이 있는데, 네. 그거 우리가 아는 그 LoRA 맞습니다. 똑같은 방식으로 사용 가능하고 가중치를 변경해 이미지를 변형할 수 있습니다. 근데 뭐 특정 스타일도 아닌데 굳이? 싶네요. 무시해도 좋을 듯 싶습니다.

https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

 

다운 받았으면 다른 모델 사용하듯이 아래와 같은 디렉토리에 넣어주시면 됩니다.

\webui\models\Stable-diffusion

 

 

그다음 아래 링크로 가서 vae 파일을 다운받습니다.

https://huggingface.co/stabilityai/sdxl-vae/tree/main

요거는 models에 vae 폴더에 넣습니다.

 

\webui\models\VAE

준비 끝~~~~~

web UI를 실행합니다!

3. base 모델과 vae 선택 후 이미지 생성

저는 아래처럼 설정했습니다. 다른 건 뭐 건드릴 것도 없습니다. check point만 sdxl base모델 선택하고, VAE 선택해주고, 이미지 사이즈만 1024X1024로 바꿔주면 됩니다. 혹시 vae 선택창 없으신 분들은 걍 무시하셔도 자동으로 될 겁니다.

이렇게 뽑은 이미지는 다음과 같습니다.

네... 너무 별로죠...ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ자 뭐 한술밥에 배부르겠습니까? 아무튼 뭐 대충 이렇게 뽑았다 치고 다음은 refiner를 돌려봅시다. 이미지를 아래 버튼을 눌러서 img2img로 보내줍니다.

그 다음 모델을 아래처럼 refiner로 바꿔줍니다.

그리고 설정은 다음과 같습니다.

다른 건 뭐 그렇다치고 중요한 건 Denoising strength입니다. 이게 결정적으로 refiner의 강도를 조절하죠. 기존의 이미지를 변형하지 않으면서 퀄리티를 올리려면 0.2~0.4 정도로 낮게 설정해야 합니다. 아니면 원래 이미지와 완전히 다른 모습을 만들어냅니다. 저는 저렇게 0.2로 설정한 결과~ 다음과 같이 나왔습니다.

어떻습니까? 확실히 퀄리티가 확 올라간 걸 아시겠죠?

이상 기본적인 SDXL 1.0 사용방법이었습니다!~ 전에 언급한대로 체크포인트 모델을 계속 바꿔가면서 써야하니 불편하죠. 거기다 파인튜닝 모델도 아직 부족하고 기존 stable diffusion 1.5 베이스에서 제공되는 여러가지 확장기능, 대표적으로 controlNet 같은 것도 사용이 불가능합니다. 여러모로 ""지금으로선"" 굳이 이걸 쓸 필요가 있나 싶네요. 하지만 당연하게도 이건 시작이라 그렇습니다. 이제 여타 이를 지원하는 확장기능도 쏟아질 것이고, 파인튜닝 모델도 속속 등장하면서 점점 기본적으로 고해상도인 sdxl로 다들 넘어가지 않을까요?

문제는 그러려면 역시 그만한 컴퓨팅 파워가 필요하다는 건데........ 음 전 집에서는 일단 1.5를 주력으로....;;;; 그래도 베이스 모델만으로 어디까지 되는지 계속 실험은 해보고 싶네요. dreamshaper도 테스트가 필요하고요~

여러분도 테스트해보시기 바랍니다. 이만~

 

 

 

출처 - 현존 최강 인공지능 이미지생성모델을 webUI로 돌려보자! <SDXL 1.0 깨부수기 -1-> : 네이버 카페 (naver.com)

 

AI ARTWORK LAB : 네이버 카페

stable diffusion 기반 이미지 생성을 비롯한 자연어처리 인공지능을 연구합니다. 쉽고~ 재미있게~

cafe.naver.com