ComfyUI Update: KitchenAttention & New Models — Full Breakdown & Transcript

[00:00] 안녕하세요. 진우입니다. 이번 영상에서는 9월 3주차 기준으로 컴퓨어의 최신 업데이트 흐름에 대해서 한번 살펴보도록 하겠습니다. 우선 이미지 생성 모델 같은 경우는 몇 가지가 더 추가가 되었는데요.

[00:13] 기본적으로 사용하는 텍스트 인코더라던가 어떤 모델의 가중치 크기 같은 걸로 미루어 봤을 때 기존의 제트 이미지 터보나 크레아 같은 모델을 대체하기는 좀 어려울 것 같아서 관련 내용으로 커뮤니티를 좀 찾아봤는데

[00:26] 관심도 별로 없고 다들 반응이 없는 것 보니까 아직도 여전히 이미지 생성 쪽에서는 크레아2, 그 다음에 Z 이미지 이렇게 두 개를 주요 모델로 생각하시면 좋을 것 같고요. 그 다음에 비디오 모델 쪽에서는 미니맥스 패스트 비디오 버전의 모델이 출시가 되었는데요.

[00:43] 기본적으로 미니맥스 모델을 기반으로 8스텍 기반으로 파인트닝한 그런 모델이라고 보시면 될 것 같아요. 별도로 로라 같은 것도 없고 기존에 있던 가중키와 8스텍 로라를 합쳐서

[00:55] 병합시킨 버전이다 이렇게 보시면 될 것 같은데요. 관련 내용을 살펴보면 지금 왼쪽이 평소에 50스텝 기준으로 생성했을 때의 결과물 그리고 오른쪽이 8스텝으로 생성했을 때의 결과물이다 이렇게 보여지고 있는데요.

[01:09] 지금 예시 같은 거를 한번 미리 살펴볼 수가 있는데 왼쪽이 기본 모델, 오른쪽이 8스텝 그렇게 지금 비교를 해놨어요. 근데 개인적으로 살펴봤을 때는 많이 품질 저하가 되지 않았나 저는 이렇게 생각을 하고 있습니다.

[01:22] 지금 보고 계시는 이런 장면들 같은 경우에도 어떤 질감 같은 부분이 있어서 어떤 바다를 표현한다던가 이런 충격 같은 장면을 연출할 때 이거는 마치 플라스틱 쪼가리들이 깨지는 듯한 그런 느낌을 많이 받더라고요.

[01:38] 그 다음에 이런 파도치는 모습, 이런 바닷물의 표현 같은 것도 굉장히 좀 부자연스럽지 않나 아무래도 팔스텝이다 보니까 품질 저하가 생기는 건 어쩔 수가 없는데 이건 좀 너무 한 1년 전에 그록이 처음 출시했을 때 보여지는 그런 느낌이 좀 그런 인상을 받았습니다.

[01:58] 그리고 이런 식으로 약간 빠른 장면을 연출하는 것도 기본 모델도 많이 아쉬운 편이긴 하지만 아무래도 터보 상태에서는 조금 더 잔상 같은 게 심하게 생기고 결과물이 별로 좋지는 않은 것 같아요. 거기다가 두 번째 아쉬움으로는 지금 모델 자체가 텍스트 투 비디오랑 이미지 투 비디오 이렇게 두 가지밖에 안 되거든요.

[02:17] 그런데 사실 우려가 필요한 것은 레퍼런스 투 비디오 잖아요. 저 같은 경우에는 이미지 투 비디오 방식을 사용 안 한지 정말 꽤 오래된 것 같은데 미니맥스가 나온 시점부터는 사실상 이미지 투 비디오 방식은 아예 사용을 안 하고 있는 편이다 보니까

[02:32] 이런 부분도 조금 아쉬움으로 다가왔습니다. 그리고 8스텝이다 보니까 예전에 제가 소개해드린 알리바바 8스텝 로라를 사용하면 굳이 이걸 써야 되나 하는 생각이 들었는데요.

[02:44] 혹시나 해서 내용을 한번 들어가서 열어보니까 한가지 좋은 점은 발견했습니다. 그게 뭐냐면 바로 모델 어텐션 백엔드라는 노드가 중간에 껴있는 것인데요.

[02:56] 이게 왜 중요하냐면 컴퓨어의 키친 어텐션이라고 이렇게 선택을 할 수가 있게 되어있죠. 그러니까 컴퓨터의 공식 워크플로우에서 이제 키친어텐션을 네이티브로 지원한다 이런 뜻인데 이게 뭐냐면 우리가 계속 사용하고 있던 세이지어텐션과 거의 동급의 기능으로 보시면 될 것 같거든요.

[03:15] 비디오 생성 시간을 대폭 단축시켜준다. 그래서 기존에는 우리가 세이지어텐션을 별도로 설치를 해서 그렇게 실행을 했었는데 이제는 세이지어텐션을 사용하지 않는 사람들이다 하더라도 키친어텐션을 네이티브로 사용할 수 있으니까

[03:29] 복잡한 설치에 대한 의존성이 많이 줄어들었고 두 번째로는 가장 큰 변화가 컴퓨터의 클라우드 사용하시는 형님들한테 좋은 소식이 될 수가 있습니다. 원래 클라우드 사용하시는 형님들 같은 경우에는

[03:41] 이런 키친어텐션이나 세이드어텐션을 사용할 수 없어서 굉장히 아쉬움을 많이 가지고 있었는데요. 제가 지금 확인하려고 들어오니까 왼쪽에 업데이트 내용이 뜨고 있네요.

[03:53] 그래서 워크플로우를 한번 들어가서 실제로 제대로 작동을 하는지 한번 보려고 하는데요. 들어와 보니까 아 네 이거 구현이 됐네요. 이야 이제 컴퓨터와 클라우드에서도 제가 워크플로우를 공유를 할 수가 있겠네요.

[04:07] 이거 보니까 이제 클라우드 사용하시던 형님들한테는 약간 축하드릴 일인 것 같고요. 이제 굉장히 빠른 속도로 테스트를 해볼 수가 있을 것 같은데 궁금하니까 한번 생성을 눌러보도록 하겠습니다.

[04:19] 지금 대략적으로 1메가킥셀로 바꿔가지고 실행 버튼을 한번 눌러볼게요. 네 지금 생성시간이 56초가 걸렸습니다.

[04:32] 56초 굉장히 빠르네요. 확실히 속도면에서는 점점 빨라지고 있는 것 같습니다. 하지만 여기서 나타나는 어떤 질감 같은 게 아직은 조금 아쉬워가지고 역시나 실자 느낌의 이런 영상들보다는 아무래도 제가 요즘에 강조하는 애니메이션이나 그런 쪽이 더 잘 맞지 않나 이런 생각이 들고요.

[04:51] 그래서 이번 영상의 핵심 주제는 뭐냐면 사실상 방금 보여드렸던 이 키친어텐션에 대한 적용이라고 보시면 될 것 같거든요 예를 들어서 이 모델뿐만 아니라 LTEX 같은 모델을 사용한다고 가정을 하실 때도

[05:04] LTEX에서 이렇게 들어오신 다음에 안으로 들어오게 되면 이렇게 디피션모델 이런 곳에다가 이렇게 키친어텐션을 하나 꺼내준 다음에 선을 이렇게 연결해 가지고 이런 선을 이게 중간에다가 끼워가지고 다시 연장을 해줍니다. 지금 저쪽에서 연결을 해주겠네요.

[05:20] 이렇게 해서 기존의 모델 선을 먼저 앞에 놓고 그렇게 해서 중간에 끼워주고 이렇게 하면 생성 시간이 엄청나게 많이 단축이 되거든요. 지금 LTEX 모델로 대충 2.1메가 빅셀

[05:32] 그러니까 1080p죠. 이 정도로 하고 시간은 15초로 해가지고 한번 생성을 눌러볼게요. 그러면 1080p에 15초 생성 이렇게 얼마나 걸리는지 한번 시도를 해보겠습니다.

[05:58] 네 지금 시간은 150초가 걸렸네요. 진짜 빠르죠? 그러니까 15초짜리 1080p 그 명상을 만드는데 지금 시간이 2분 30초 정도 걸린 것 같습니다.

[06:11] 그리고 오랜만에 LTEX 보니까 진짜 화질 자체는 끝내주네요. LTEX 자꾸 미련을 가지면 안 되는데 자꾸 관심은 가지만 그래도 막상 써보면 또 계속해서 상처를 주기 때문에 사용은 안 하고 싶은데

[06:27] 지금 봐도 굉장히 시간과 어떤 표현력 같은 부분에 있어서는 굉장히 뛰어나네요. 그리고 이어서 유이라는 음악 생성 모델이 출시했는데요. 이제까지 나왔던 로컬 음악 생성 모델 중에서는 가장 그래도 성능이 뛰어나지 않나 그렇게 생각이 들고 있습니다.

[06:43] 그래서 저도 계속해서 테스트를 해봤는데 한 가지 조금 아쉬운 사항으로는 라이센스에 관련된 내용이 조금 불명확하더라고요. 어떤 이런 코드에 관련된 부분은 아파트 입장형인데 이 모델이 가지고 있는 가중치 관련된 라이센스는 명확하게 표현이 잘 안되어 있어서

[07:02] 이렇게 의문을 가지고 있었는데 우선 개발진들이 답변하기로는 개인 콘텐츠 제작자, 음악가, 연구원이라면 이 모델과 결과물을 원하는 대로 사용할 수 있습니다.

[07:14] 그리고 이 결과물을 통해 수익을 창출할 수도 있습니다. 만약에 창업력 라이선스 비용을 내야 된다면 기업만 부담을 해야 됩니다. 이렇게 설명을 해놨거든요. 그러니까 크리에이터나 일반 게임들 같은 경우에는 수익을 창출할 수가 있다고 이렇게 표시를 해놨고요.

[07:30] 그 다음에 후원도 좀 해달라 이런 식으로 표현을 해놨어요. 그래서 이런 내용을 봤을 때 게임들은 그냥 써도 될 것 같긴 한데 이렇게 댓글에 표시된 게 아니라 이런 공식적인 페이지에서 정확하게 명시를 해줘야만 조금 심리적으로 안정이 되잖아요.

[07:45] 그래서 이 부분은 각자 판단을 좀 하시는 게 좋을 것 같고요. 이 모델은 크게 두 가지 옵션이 있습니다. 첫 번째로는 그냥 텍스트 투 오디오 방식으로 어떤 노래인지에 대한 설명과 그 다음에 가사를 입력해서 노래를 만드는 그런 기본적인 방식이 있고요.

[08:00] 두 번째로는 오디오 투 오디오 방식인데요. 내가 원하는 음악을 집어넣고 그 음악을 기반으로 새로운 노래로 바꾸는 그러니까 리믹스 또는 어떤 트랜스퍼 개념인 거죠. 노래를 재가공하는 방식으로 보시면 될 것 같아요. 우선 원본 오디오를 한번 살펴보겠습니다.

[08:18] 네 그리고 이 원본 오디오를 기준으로

[08:31] 이러한 스타일로 바꿔라 그리고 이러한 가사로 바꿔라 이렇게 프롬포트가 들어가 있는 거거든요. 그래서 생성된 결과물도 한번 같이 들어보겠습니다.

[08:48] 네 이런식으로 기존 노래를 레퍼런스 삼아서 새로운 노래로 만드는 그런 기능이라고 보시면 될 것 같구요. 솔직히 말씀드려서 저도 이제까지 이악물고 로컬로만 해결하려고 하다가 최근에서야 순호를 사용하기 시작했거든요.

[09:04] 그런데 순호를 사용하면서 느낀 점은 돈을 내고 노래를 사는게 아니라 돈을 내고 노래를 들으러 가는 그런 느낌이 들 정도로 만족도가 너무 높더라구요. 그러니까 우리가 보통 어떤 공연이나 콘서트를 보러 갈 때 돈을 내고 보러 가잖아요.

[09:21] 왜냐하면 거기서 얻을 수 있는 경험이 더 좋기 때문에 그렇게 돈을 내고 가는 건데 요즘은 수노를 사용하면서 느낀 점이 귀가 너무 힐링이 돼가지고 이제까지 왜 로컬로만 고집했나 솔직히 이런 생각을 가지고 있거든요.

[09:35] 그래서 수노에서 생성된 결과물들은 오히려 제가 파일로 따로 보관을 할 정도로 굉장히 만족스럽더라고요. 그래서 로컬이 지금 굉장히 많이 좋아지긴 했지만 그래도 상대적으로 생명 모델에 비하면 아쉬움이 많이 느껴진다.

[09:49] 이렇게 개인적인 느낌을 받았고요. 총정리를 하자면 딱히 달라진 건 없다. 모델 어텐션 백엔드라는 기능이 컴퓨어의 클라우드에도 이제부터 지원이 되기 시작했으니까

[10:01] 기존에 맥북을 사용하시던 분들이나 아니면 AMD쪽 그래픽카드를 사용하셔서 어떤 속도에 대한 부담감 그리고 엔비디아를 사용하시더라도 VRAM 용량에 대한 스트레스로 인해서 사용이 좀 어려우셨던 분들까지도

[10:15] 앞으로는 컴퓨터와 클라우드에서 이 기능을 사용하셔서 굉장히 빠른 속도로 RTX 프로 6000 GPU를 사용하는 그런 경험을 하실 수가 있다. 이렇게 보시면 될 것 같아요. 네, 그럼 오늘 영상 여기까지고요.

[10:27] 시청해주셔서 감사드립니다.