[튜토리얼]꿀잼각! 프롬프트? 인공지능이 알아서 다 해줌! <oobabooga + stable diffusion 합체!>

사실 복잡한 프롬프트야말로 제일 큰 문제 아니겠습니까? 뭐 재밌긴 한데 대충 뽑기만 하면 되는데 또 이거저거 테스트해보기 귀찮잖아요? 그럴 때 최고의 선택! 텍스트생성기와 이미지생성기를 콜라보시키는 겁니다.ㅋㅋ​

​

네 - oobabooga + stable diffusion이 가능합니다.

​

​

원리는 간단합니다. oobabooga에서 확장기능extension으로 api요청을 할 수 있고, stable diffusion은 그 요청을 받아서 이미지를 보내주는 겁니다. api란?! 유튜브 보고 오세요.ㅋㅋ 그냥 이거 좀 해줘~ 하고 요청하는 걸 말합니다.ㅋㅋ즉 우바부가에서 이미지보내줘~ 하고 스테이블 디퓨전에 요청하면 보내준다- 이겁니다.

​

아무튼 그게 중요한 건 아니니까 넘어가고요. 바로 들어가봅시다. 역시 무지 쉽습니다. ㅠㅠ ​

​

0. 준비

당연한 얘기지만 oobabooga text generation web UI와 stable diffusion web UI는 설치돼있어야 합니다!!! 아직 없으신 분들은! 요것들 참고~ https://cafe.naver.com/stablediffusionlab/64 + https://cafe.naver.com/stablediffusionlab/9

자 설치됐으면 넘어갑니다.

​

1. stable diffusion 설정

스테이블 디퓨전 폴더\stable-diffusion-webui로 갑니다. 거기서 webui-user.bat 파일을 메모장으로 엽니다. 그 다음 이렇게 설정합니다. set COMMANDLINE_ARGS에 다음과 같은 파라미터flag를 추가합니다.

​

--listen --api

​저는 저렇게 추가했습니다. xformers는 설치하신 분들은 이미 저런 식으로 돼있을테고 그 뒤쪽에 추가한 거 보이시죠? 네 제가 첨에 말했던 그 api 요청을 받겠다는 겁니다.

​

스테이블 디퓨전 설정은 이게 끝입니다.

​

2. oobabooga 설정

자 이제 우바부가 설정해보까요? 이거도 뭐 간단합니다. 이게 버전마다 조금 다른 거 같긴 한데 엊그제 받은 최신 버전 기준으로 합니다. ㅋㅋㅋ

​

설치폴더\oobabooga_windows로 갑니다. 그다음 webui.py 파일을 메모장이든 vscode든 써서 엽니다. 열어서 윗부분에 보면 CMD FLAGS= 이렇게 돼 있는데 여기에 다음과 같은 파라미터flag를 추가합니다.

​

--listen-port 7861 --extension sd_api_pictures send_pictures long_term_memory

​

해보시면 아시겠지만 스테이블 디퓨전하고 같은 로컬 포트를 쓰잖아요? 이제부터 둘을 같이 돌려야 하는데 같으면 충돌나겠죠? 그러니까 oobabooga는 7861로 포트를 변경해준 겁니다. 자 제가 입력한 파라미터 보시겠습니다.

지금하는 작업과는 관련이 직접적으론 없지만, 제가 설정한 --xformers --chat --loader exllama --groupsize 128 --wbits 4 와 같은 플래그는 초기 설정 및 최적화와 관련이 있기 때문에 설정해주시면 좋겠습니다. 물론 --xformers는 따로 설치를 해주셔야 합니다!! silero_tts <--요거는 채팅 읽어주는 확장기능입니다. 쓰실 분들은 쓰세요. ㅋㅋ

​

3. chatbot 설정

oobabooga + stable diffusion을 둘 다 실행해줍니다. 잘 따라오셨다면 별 문제없이 둘 다 잘 뜰 겁니다. 그다음 브라우저를 켜고 oobabooga text generation webui에 접속해줍니다. 아까 접속포트를 바꿔서 http://127.0.0.1:7861 이렇게 접속해야할 겁니다. 그다음 모델로딩하고 일단 우리가 설정한 파라미터flag가 제대로 됐는지 확인.

잘 들어가있네요. 그쵸?

​

자 이제 채팅으로 인공지능한테 이미지 생성 시켜보면 되는데 문제가 뭐냐면 이 녀석은 스테이블 디퓨전 이미지 생성용으로 훈련한 챗봇이 아니라서 일상어로 대화를 한단 말이죠. 그니까 우리가 어떤 이미지를 내놓으라고 하면 스테이블 디퓨전 프롬프트에 걸맞는 답변을 내놨으면 얼마나 편하겠습니까?​

​

예를들어 send me a picture of man in suit 이렇게 부탁하면 막 알아서 창의적으로 intricateMan in Suit, tailored attire, sharp lines, formal garment, crisp fabric, polished shoes, elegant accessories, confident demeanor, serious expression, business professional, power dressing. 요래요래 프롬프트를 만들어서 api 요청해주는 거죠.

​

네. 우리가 훈련시키면 됩니다. 그런데 그것도 이미 누가 훈련을 시켜서 만들어놨습니다. ㅋㅋㅋㅋ아래 주소로 가보셔요.

https://github.com/nerdyrodent/StableBot/tree/main/characters

다른 건 필요없고 stavlebot3.yaml 파일만 다운받으셔서 \oobabooga_windows\text-generation-webui\characters 요 폴더 안에 넣으시면 됩니다.

​

그런 다음 우바부가 웹으로 돌아가서 chat settings에 charater에 새로고침 버튼을 누릅니다. 그다음 stablebot3 캐릭터를 선택~ 끝입니다. 아래처럼 나오면 됩니다.

4. sd_api_pictures 세팅

채팅으로 가셔서 아래로 스크롤 내리시면 sd_api_pictures 확장기능이 활성화된 게 보일 겁니다. 그걸 아래처럼 세팅해주세요.

스테이블 디퓨전 URL은 걍 기본값 두시면 될 겁니다. Mode of Operation 요거는 저렇게 세팅을 해야 아래 채팅하고 아래 force 어쩌고 버튼을 눌러주고 이미지를 재생성하는 번거로운 과정을 생략합니다. 그리고 keep original images and use them in chat 이거는 체크하면 채팅 중에 생성한 이미지를 자동으로 저장해줍니다. 체크 안 하면 저화질 채팅창 위의 이미지만 남습니다. 이미지는 다음의 폴더에 저장됩니다.

\oobabooga_windows\text-generation-webui\extensions\sd_api_pictures\outputs\날짜

​

그밖에는 Stable diffusion 관련 이미지생성 세팅입니다. 지금까지 튜토리얼 보셨음 이미 익숙한 세팅이죠? 마음에 드는 세팅하심 됩니다.

​

5. 생성해보자!

채팅에 대충 쳐보면 됩니다. 그런데 아무렇게나 치면 그냥 채팅이 되니까 이런 문구를 붙여줍니다.

send me a picture

​

해볼까요?

send me a picture of dog.

알아서 '귀여운' 강아지 사진을 토해냅니다. ㅋㅋㅋ그럼 악마같은 강아지를 내놓으라고 해볼까요?

send me a picture of dog like evil

ㅋㅋㅋ 전혀 evil같진 않지만 어쨌든 사용한 프롬프트 보시면 뭔가 구구절절하죠. 다 알아서 해준다는 겁니다.

​

여기까지~

이와 비슷한 기능이 전에 소개드린 뤼튼에도 있습니다. ~~그려줘 하면 그림을 토해내죠. 그런데 우리가 저렇게 스테이블 디퓨전 파인튠 모델 써서 뽑는 것보다 당연히 훨씬 품질이 떨어지고 의도에 부합하는 그림을 찾는 건 더 어렵죠. 더하여 저렇게 생성된 이미지와 프롬프트를 스테이블 디퓨전에서 다시 써먹을 수도 있죠. 또 우바부가 채팅 설정에서 다른 템플릿(쉽게 말해 인공지능 인격, 스타일ㅋㅋ)을 바꾸면 프롬프트도 더 다양해집니다.

​

여러모로 꿀잼이고 응용법은 무궁무진하니 한 번 시도해보시길~

​

이만~~

올릴까말까 고민하다 올립니다... 금단의 스킬! 딥페이크deepfake! <Adobe + roop + Ebsynth 모조리 깨부수

 

[튜토리얼]LoRA가 뭔데? 옷을 단계적으로 입히고 벗겨보자! 19금 아님!! <LoRA 깨부수기 -1->

 

[튜토리얼]100% 무료 내 컴퓨터(windows)로 인공지능 이미지 만들기 2탄 더 쉬운 방법

출처

AI ARTWORK LAB : 네이버 카페