SDXL 로라 학습은 좋은 gpu가 필수구나 ..

SDXL 로라 학습하면서 생긴 에러들에 관해서 푸념하는 글

 

 

 

 

img2img로 동숲 주민으로 바꾸는 걸 만들고 싶은데

SD 로라로 하는건 계속 실패했음

 

 

 

그냥 실패작 그잡채

이런걸 보고도 닮았다고 해주는 천사가 옆에 있다..ㅋㅅㅋ 

 

 

열심히 프롬프트랑 설정값 바꿔봐도 한 3시간이 지났는데도 똑같이 구렸다

이 사태를 어떻게 하지 싶어서 한참 고민을 했었다

나는 이미지 생성엔 정말 소질이 없나보다 하고 넘어가려는데

강사님이 SDXL로 로라 학습하면 성능이 좋다고 조언을 해주셨다

 

SD를 쓰면서도 이게 맞나 싶은 느낌이 들긴 한다.

취업을 하기 위해서 이미지 프로젝트를 하는 중이기 때문..

이건 코딩하는 것도 아니고 그냥 웹UI상에서 사용법을 배우는 느낌인데 

이걸 이미지 프로젝트로 하는게 맞는건가 계속 의구심이 들었다

 

뭐 하여튼 SDXL이 좋다고 하니..

주말에 호딱 하고 과제해야지 라는 생각을 했었는데 그건 내 오만함이였다

클라우드 노트북으로 하는데 git clone해서 설치부터 했어야 했다.

환경 설정하는건 깃헙에 다 잘 나와있어서 쉽게 했다

https://github.com/bmaltais/kohya_ss

설치하고 gui 띄우는 거까진 1시간 정도 걸린 것 같다

 

문제는 SD만 해봤지 SDXL은 첨이니깐 정보를 찾아봤다

그렇게 유튜브 보면서 가볍게 따라만 해봐야지^^ 라는 생각으로 따라했다

https://www.youtube.com/watch?v=AY6DMBCIZ3A

 

 

영상에 한글자막 잘되있고 따라하기만 하면 되서 괜찮았다

 

그런데 Start training을 하려니까 계속 에러가 났다 ㅋ큐ㅠㅠ 

 

RuntimeError: Error(s) in loading state_dict for SdxlUNet2DConditionModel:

=> 이거는 찾아보니까 지원하지 않는 모델이라 이렇게 나오는 것 같다

https://github.com/bmaltais/kohya_ss/issues/1665​

 

그래서 다른 SDXL로 다운받아서 진행했더니 같은 에러는 나지 않았다

이번엔 gpu 메모리가 부족하다는 에러가 났다😱

 

봤더니 나의 환경은 T4.. 16기가 ....

64기가짜리로 할까 잠깐 고민했지만 일단 테스트니깐 16기가로 돌려라도 보자는 생각으로 파라미터 값들을 낮췄다

 

저 유튜브랑 똑같은 설정으로 돌려보고 싶었는데 memory 부족으로 아예 돌리지도 못한다니 아쉬웠다

 

이 2개를 바꿔봤다

1. Network Rank (Dimension) 을 256 > 8
2. Max resolution을 1024,1024 > 256,256

 

이제 memory 부족은 안뜨는데 40시간을 돌려야한다고 나왔다

 

한시간 정도만 돌려서 보고 싶었기 때문에...

데이터셋 만드는 Dataset Preparation에서 Training images의 Repeats을 20 > 1로 바꿔줬다

원래는 20에포크를 10번 반복하는 느낌이였다면

이번엔 1에포크를 10번 반복하게 만들어서 돌려봤다

 

((시간을 투자했는데 일단 뭐라도 결과물이라도 보고싶은 마음에 성능은 생각 안하고 막 바꾸기))

그렇게 바꿔서 정상적인 시간이 나와서 좀 기다리고 로라를 얻었다

 

아직 적용한 후 generate하진 못해서 또 요상하게 나올거라고 예상되긴 한다..🤔

 

저렇게 학습 돌리기까지 4시간정도 걸린 것 같아요

모두 돌아간 시간까지 다 합치면 약 6시간 정도네욥 

 

로라 적용해서 이미지 생성해보는건 내일 해야지 ,,