스테이블 디퓨전, Canny 사용법 1분 설명

Canny라는 컨트롤넷 기능에 대해 설명 드리겠습니다.
컨트롤넷에는 많고 다양한 기능들이 있습니다.

그 중 control type의 첫 번째로 자리 잡은 Canny 기능은
참조 이미지의 전체적인 라인을 추출하여 해당 라인으로
다시 이미지를 재 조합할 수 있는 기능입니다.

아래에서 Canny에 대해 자세히 설명해보겠습니다.

Canny 사용법

1. 컨트롤넷 확장 기능이 미리 설치되어 있어야 합니다.

만약, 컨트롤넷 확장 기능이 아직 설치되지 않았다면
아래 버튼을 눌러 컨트롤넷 설치부터 진행하고 난 다음
다시 이 페이지로 넘어오시기 바랍니다.

2. 컨트롤넷 탭을 클릭 -> 이미지 업로드 -> Control Type을 Canny로 선택

canny

Controlnet 탭을 열고 나서, 사진을 업로드 하고 Enable 버튼을 확인한 다음
Control type 부분이 All로 체크 되어 있을텐데 Canny로 클릭해줍니다.
전체적인 기능 설명은 아래에서 진행하겠습니다.

3. 컨트롤넷 캐니 부분 설명

canny
  • 1. Enable 버튼 : 컨트롤넷을 사용할 것인지 말 것인지 결정하는
    일종의 On/Off 버튼
  • 2. Allow Preview : 체크를 하면 해당 컨트롤넷 기능이
    어떤 방식으로 적용되는지 확인할 수 있는 버튼입니다.
  • 3. PreProcessor : ControlType이 Canny로 되어 있다면
    자연스럽게 Preprocessor도 Canny로 선택됩니다.
  • 4. Model : ControlType에 맞게 자동으로 변경됩니다.
    또는, canny가 들어간 model을 선택해주시면 됩니다.

    이 부분은 컨트롤넷 확장기능 설치 시 따로 다운 받은
    파일이 있어야 인식됩니다.

    만약, 처음 사용하는데 Model이 None으로 뜨면 모델 파일을
    다운 받았는지 확인해주시기 바랍니다.
  • 5. Preprocessor Resolution : 캐니로 만들어진 이미지의
    미리보기 파일의 해상도를 결정하는 값입니다.
    처음엔 기본값(512)로 두고 사용하시면 됩니다.
  • 6. Canny Low/High Threshold: 이 수치를 조절하면
    Canny 이미지의 선을 더 자세하게 잡아내거나
    줄여서 생성할 수 있습니다.
    취향에 맞게 조절하면 되지만 보통
    기본값으로 두고 사용해도 무방합니다.
  • 7. Control mode : balanced는 프롬프트와 컨트롤넷이
    조화롭게 이루어져 이미지를 생성합니다.

    My prompt is more important는 프롬프트를 위주로
    생성합니다.

    Controlnet is more important는 컨트롤넷 뼈대를 위주로
    이미지를 생성합니다.
  • 8. 폭탄 모양 버튼 : 캐니가 어떤 식으로
    처리되는지 미리 확인할 수 있는 미리보기 실행 버튼

4. 미리보기 버튼을 눌러 캐니가 어떻게 적용될지 확인합니다.

canny3

폭탄 터지는 듯한 버튼이 미리보기 버튼입니다.
이 버튼을 누르면 3번에서 조합한 값들을 바탕으로 캐니가 어떤 방식으로
적용되는지 미리 확인해볼 수 있습니다.

5. 캐니와 결합할 프롬프트를 작성해줍니다.

canny4

4번에서 캐니의 설정 값을 세팅한 다음 해당 캐니와
결합해서 새롭게 생성할 이미지의 프롬프트를 입력해줍니다.

Positive Prompt와 Negative Prompt 모두 적용되니
프롬프트를 작성할 때도 신중히 입력합니다.

하지만, 결과적으로 캐니의 틀 자체는 유지된 상태로
생성이 되니 참고하셔서 생성하면 됩니다.

틀을 바꾸면 다른 느낌으로 이미지를 바꿀 수 있지만
해당 내용은 캐니 유튜브 강의를 참고해주시면 좋을 것 같습니다.

6. 캐니와 결합할 프롬프트를 작성 후 Generate를 눌러 이미지를 생성합니다.

5번에서 캐니의 설정 값을 세팅한 다음 해당 캐니와
결합해서 새롭게 생성할 이미지의 프롬프트를 입력해줍니다.

그 다음, 샘플렝 메소드, 스텝, CFG Scale 등을 설정하여
Generate를 눌러 이미지를 생성합니다.

7. 결과 이미지를 확인합니다.

원본

 Canny로 재구성

캐니를 적용하여 생성된 이미지와 원본 이미지를 확인해보면
거의 유사한 각도와 표정으로 만들어지면서변경된 것을 확인할 수 있습니다.

Openpose기능을 통해서 이미지를 생성하면
이미지의 자세 자체만 베낄 수 있고 전반적인 느낌은 새롭게 입혀지는데
캐니를 사용하면 자세와 각도 느낌까지 거의 유사하게
생성할 수 있는 것을 확인하실 수 있습니다.