‘Controlnet’ 확장기능을 설치하는 방법과 간단한 사용법을 설명 드리겠습니다.
스테이블 디퓨전의 꽃은 바로 컨트롤넷이라고 할 수 있죠
컨트롤넷과 함께라면 prompt를 길게 쓰지 않더라도
내 의도를 AI가 훨씬 더 정확하고 빠르게 이해할 수 있도록 도와줍니다.
또한, 사용자가 쉽고 빠르게 원하는 퀄리티의 이미지를
생성할 수 있도록 도움을 주는 확장 기능이기에 반드시 설치해야 합니다.
(선택이 아닌 필수입니다!)
컨트롤넷을 사용하지 않는다면 굳이 스테이블 디퓨전을
사용할 이유가 없을 정도니 반드시 사용해야 할 확장 기능입니다.
Controlnet 확장 기능 설치 방법
1. 아래 깃허브 링크를 복사합니다.
https://github.com/Mikubill/sd-webui-controlnet
2. Extensions -> Install from URL -> 링크 입력 후 설치 진행
1번에서 복사한 링크를 extensions 탭으로 이동한 다음
Install from URL의 링크 입력 부분에 붙여넣기 하고 Install 버튼을 눌러
컨트롤넷 확장 기능을 설치해줍니다.
3. Installed탭 이동 -> Controlnet 확장 기능 확인 -> 재시작
2번에서 설치가 완료되면 Installed 탭으로 이동합니다.
이후, Controlnet 확장 기능이 설치 되었는지 확인해주시고
이상이 없다면 체크 박스 확인 후 Apply and Restart UI 버튼을 눌러
스테이블 디퓨전을 재시작 합니다.
4. Controlnet 탭이 생겼는지 확인
재 실행 된 스테이블 디퓨전에서 아래로 내려보면
컨트롤넷 탭이 생겼는지 바로 확인하실 수 있습니다.
3번 까지의 과정에 에러가 발생하지 않았다면
Controlnet 탭이 생겨있을 것입니다.
5. 컨트롤넷 모델 다운을 위해 이동하기 (컨트롤넷 메인 화면에서도 다운 가능)
컨트롤넷 확장 기능은 단순히 링크 설치 만으로
작업할 수 있는게 아닙니다.
이 확장기능을 제대로 사용하기 위해선 모델을 다운 받아서
폴더에 넣어줘야 합니다.
아래 버튼을 눌러 컨트롤넷 모델을 다운 받는 사이트로
이동합니다.
+ 24.2.22 업데이트
Hugging Face로 이동하여 컨트롤넷 모델을 다운 받는 방법이 가장 빠르지만
버튼이 너무 작고 이름이 비슷하여 어디까지 다운 받았는지
기억나지 않고 헷갈리는 경우가 많습니다.
처음 다운 받는 분, 다시 모델을 받아야하는 분들의 귀찮음을 덜 수 있도록
메인 페이지로 이동하시면 쉽게 모델 파일을 다운 받을 수 있게
큼직한 버튼으로 제작해 두었으니 참고해주세요!
6. Huggingface로 접속한 다음 컨트롤넷 모델 파일 다운 받기
5번 과정에서 허깅페이스로 이동하면 파일을 다운 받을 수 있는
페이지가 나옵니다.
하지만, 처음 보면 어떤 것을 받아야 할 지 막막하게 느껴지는데요
생각보다 간단하니 위 이미지에 나와있는 파일만 받아주시면 됩니다.
136mb 파일은 제외하고 723mb 만 모두 다운 받아줍니다.
파일이 상당히 많고 헷갈릴 수 있으니 미리 생성한 폴더에
옮겨두는 것을 추천 드립니다.
7. 다운로드 받은 파일을 아래의 경로에 넣어줍니다.
7번에서 받은 파일을 아래의 경로로 옮겨줍니다.
C드라이브 -> Stable-diffusion-webui -> Extensions ->
sd-webui-controlnet ->models
컨트롤넷에서 해당 모델을 인식하기 위해선 반드시 위 파일 경로에
다운 받은 모델들을 모두 넣어주셔야 컨트롤넷을 정상적으로 사용할 수 있습니다.
8. 스테이블 디퓨전 실행 후 모델 적용 확인하기
스테이블 디퓨전을 실행한 다음 컨트롤넷 탭으로 이동합니다.
이후, Control type에서 Canny, depth, normal map, open pose 등을
클릭해보고 Model에 7번에서 넣어둔 파일들이 인식되는지 확인해봅니다.
올바르게 파일을 넣어뒀을 경우에도 모델이 바로 뜨지 않는다면
새로고침 버튼을 누르면 모델이 뜨게 됩니다.
또, 최근 업데이트가 되어 Control Type에서 사용할 기능을 선택하면
자동으로 Model이 선택되어 편리해졌습니다.
자동 선택이 안되면 스테이블 디퓨전을 재실행하면 보통 해결됩니다.
이제 컨트롤넷 사용을 위한 준비가 모두 끝났습니다.
