[이모저모] AI그림 생성, 로라? 스테이블 디퓨전?

안녕하세요. 일요일의 21입니다. 오늘은 로라(LoRA)와 스테이블 디퓨전(Stable Diffusion)에 대해 좀 더 자세히 설명해 드릴게요. 로라(LoRA)는 "Low-Rank Adaptation"의 약자로, 대규모 모델의 특정 작업에 대한 적응을 간소화하는 방법입니다. 기존 모델의 일부 파라미터를 고정하고, 저차원 행렬을 추가하여 새로운 데이터를 학습합니다. 기존 모델에 새로운 피사체를 학습시키는 추가 학습 기법의 일종이라고 보면 됩니다. AI그림에 국한되어 설명하자면, 그림체입니다. 확, 이해되지 않습니까? 그냥 로라는 특정 그림체로 받아들이세요. 쉽게 말해, 로라는 특정 스타일이나 그림체를 모델에 추가하는 거라고 이해하면 됩니다. 로라는 적은 데이터로도 모델을 효과적으로 조정할 수 있고, 훈련 속도를 높이며, 메모리 사용량을 줄이는 데 도움을 줍니다. 따라서 특정 스타일에 맞춘 이미지 생성이 가능해집니다. AI그림 생성에서는 로라를 사용하여 특정 스타일(예: 화가의 스타일, 특정 장르의 스타일)을 모델에 학습시킬 수 있습니다. 이렇게 하면 사용자가 원하는 특정 그림체로 다양한 이미지를 생성할 수 있습니다.

 

스테이블 디퓨전에 명령어를 넣고 그림 생성하기를 눌러보았습니다.
high quality, hyper detail, masterpiece, best quality, detailed face, high resolution illustration, sketch, yellow hair, blue eyes, partially colored, blue theme, cinematic film shot in 70mm, depth of field, vivid colors, cinematic, <lora:T-shirt:1>

아래 명령어는 부정 프롬프트(negative prompt)라고 해서 보고 싶지 않은 것들은 안 나오게끔 하는 명령어입니다.
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

 

 

스테이블 디퓨전(Stable Diffusion)은 텍스트에서 이미지를 생성하는 딥러닝 모델입니다. 주어진 텍스트 설명을 바탕으로 이미지를 생성합니다. 스테이블 디퓨전은 생성된 이미지의 품질이 높고, 다양한 스타일과 주제를 표현할 수 있는 능력이 뛰어납니다. 이는 예술, 디자인, 광고 등 여러 분야에서 활용될 수 있습니다. 실제로 이미 여러 분야에서 활용되고 있지요. 로라만큼이나 체크포인트(Checkpoint)도 다양합니다. 체크포인트는 스테이블 디퓨전 모델의 학습된 상태를 저장한 파일입니다. 체크포인트 파일에 특정 로라를 넣어서 저장했다면, 따로 특정 로라를 적용할 필요가 없습니다. 같은 명령어를 넣어도 다른 그림을 뽑아냅니다. 생성된 그림은 특정 번호가 있습니다.

 

이 그림이 마음에 들고 이 그림을 토대로 특정 그림을 뽑아내고 싶다면, 저 번호를 시드(Seed)에 입력하면 됩니다. 시드에 저 번호를 넣고 돌려보겠습니다. 같은 그림이 나오면 따로 올리지는 않을 겁니다, 단 크기의 변형, 명령어에 따라 그림이 완전히 달라지긴 합니다. 시드에서 번호만 살짝 바꾸어도 다른 그림이 나옵니다. 제가 즐겨 쓰는 명령어를 입력해 봤습니다. 생성된 이미지를 기반으로 추가적인 수정이나 변형을 원하신다면, 포토샵이나 다른 이미지 편집 프로그램을 활용하여 후처리할 수도 있습니다. 이렇게 하면 더욱 개성 있는 결과물을 얻을 수 있습니다.

제 능력 부족이라 그런 걸 수도 있는데 사물이나 악기 표현은 아직 실망스럽습니다. 그러나 점차 나아질 거라고 봅니다. 실제로 다른 분들이 만든 그림을 보니 점차 나아져서 놀랍더라고요. 아예 움직이기까지 합니다. 위의 이미지는 제가 그동안 저장해둔 로라입니다. 위의 그림들은 제가 미리보기 이미지를 따로 지정해서 넣었습니다.

 

로라만 변경해서 그림을 생성해 보았습니다. 명령어는 같습니다. 로라만 다릅니다. 로라를 변경하여 그림을 생성하니, 이전과는 다른 스타일과 느낌의 이미지를 얻을 수 있었습니다. 이처럼 로라와 스테이블 디퓨전은 서로 보완하며, 이미지 생성을 더욱 풍부하게 만들어 줍니다. 앞으로도 이 기술들이 발전함에 따라 더욱 다양한 표현이 가능해질 것이며, 새로운 창작의 영역이 열릴 것으로 기대됩니다.