[이모저모] AI가 그린 AI그림 생성, 스테이블 디퓨전, 챗GPT로 만들기

안녕하세요. 토요일의 21입니다. 여러분! 오늘은 AI그림에 대한 이야기를 좀 해보려 합니다. 요즘 온라인을 떠도는 이미지 중에 진짜 사람이 그린 건가? 싶은 그림들이 많습니다. 알고 보면 대부분 AI가 만든 작품이죠. 처음에 호기심으로 시작한 AI그림 생성, 이제는 단순한 재미를 넘어 창작의 새로운 방식으로 자리 잡고 있습니다. 특히 그 중심에는 스테이블 디퓨전(Stable Diffusion)이라는 오픈소스 모델이 있습니다. 말 그대로 누구나 사용할 수 있다는 점에서 큰 주목을 받았죠. 텍스트 몇 줄 입력했을 뿐인데 이게 나온다고? 싶을 만큼 결과물은 정교합니다. 게다가 스테이블 디퓨전은 로컬 환경에서도 실행이 가능해, 인터넷 연결이나 서버 과부하 걱정 없이 직접 돌려볼 수 있다는 점이 큰 장점입니다. 물론 어느 정도의 성능을 갖춘 그래픽 카드가 필요하긴 하지만, 최신 고사양이 아니어도 웬만한 결과물은 무리 없이 생성할 수 있습니다. 일부 모델은 CPU만으로도 구동이 가능하게 최적화되기도 했죠. 이런 유연한 실행 환경 덕분에 스테이블 디퓨전은 AI 이미지 생성 도구 중에서도 특히 활용도가 높고 개인 사용자들에게도 진입 장벽이 낮은 모델로 자리 잡았습니다.

대표적인 Stable Diffusion 모델 종류
Stable Diffusion 1.5
가장 널리 사용된 초기 버전. 자연스럽고 안정적인 그림을 생성함.
Stable Diffusion 2.1
더 정교한 묘사가 가능. 해상도도 개선됨.
SDXL (Stable Diffusion XL)
대폭 향상된 품질. 복잡한 장면 묘사에 뛰어남. 현재 주류.
커스텀 모델들 (LoRA, DreamBooth 등으로 만든 모델들)
예: 애니메이션 스타일, 실사풍, 특정 작가 스타일, 캐릭터 특화 등
사용자들이 직접 학습시켜 공유하거나 판매함 (Civitai 같은 플랫폼에서 흔함)

모델 = 그림을 그리는 AI의 두뇌
스테이블 디퓨전(Stable Diffusion) = 그 두뇌가 사는 환경 (틀)
모델 종류 = 스타일, 퀄리티, 세부 묘사 등에 따라 다양
로라(LoRA) = AI 두뇌에 스타일 필터를 씌우는 얇고 가벼운 모듈

모델
→ 그림을 그리는 전체 AI 시스템.
→ 그림체, 스타일, 포즈, 인물, 성별, 구도, 배경 등 전반적인 요소가 다 학습되어 있음.
→ 예를 들어, 실사풍으로 정면에서 서 있는 여자 캐릭터를 잘 그리는 전체 능력.
로라(LoRA)
→ 전체 모델에 특정 스타일이나 속성을 추가로 얹는 모듈.
→ 예: 센과 치히로 그림체, 1990년대 애니 풍, 픽사 스타일 등
→ 꼭 그림체만 있는 건 아니고, 특정 인물, 포즈, 표정, 옷 스타일도 따로 학습 가능함.
→ 다만 기본 모델의 틀 안에서 조정하는 보조 장치라는 점이 핵심.

로라(LoRA) 중에는 보시다시피 포즈를 지정할 수 있는 것도 있고, 저 같은 경우에는 표정이나 팔 같은 부분이 이상하게 그려질 때를 대비해서 그걸 보정해 주는 로라를 같이 사용하고 있습니다.

 

위에 있는 이미지들은 제가 그동안 모아온 모델과 로라 목록입니다. 각 모델과 로라에 어떤 스타일인지 한눈에 볼 수 있도록, 미리보기 이미지를 따로 지정해서 넣어두었어요. 쉽게 말해서, 로라는 특정 스타일이나 그림체를 기존 모델에 덧입히는 방식이라고 이해하시면 됩니다. 예를 들어, 애니메이션풍, 수채화 느낌, 혹은 특정 작가 스타일처럼 원하는 분위기를 표현하고 싶을 때 로라를 적용하면, 기본 모델보다 훨씬 더 뚜렷하고 일관된 결과를 얻을 수 있죠.

 

high quality, hyper detail, masterpiece, best quality, detailed face, high resolution illustration, sketch, yellow hair, blue eyes, partially colored, blue theme, cinematic film shot in 70mm, depth of field, vivid colors, cinematic.

원하는 내용을 프롬프트에 입력하고 Generate(생성) 버튼을 누르면, AI가 그에 맞는 이미지를 만들어줍니다.

다만 크기나 해상도를 너무 높이거나 비율이 이상하면 그림이 엉뚱하게 나올 수 있어서, 사이즈 설정을 잘해주는 게 포인트예요.

그림을 생성해 보면 아시겠지만, 모든 게 한 번에 완벽하게 나오진 않습니다. 특히 인물 그림의 경우 손가락 수가 이상하다거나, 눈이 엇나가 있다거나, 배경이 뒤틀려 나오는 일도 생각보다 자주 있습니다. 프롬프트를 아무리 잘 써도 운빨(?) 요소가 존재하는 셈이죠.

이럴 때는 몇 가지 방법이 있습니다. 하나는 프롬프트를 조금씩 수정하면서 재시도하는 것, 또 하나는 Inpaint 기능을 활용해서 일부만 다시 그리는 것입니다.

 

예를 들어 손이 이상하게 나왔을 때, 그 부분만 영역 지정해서 다시 그리게 하면 꽤 자연스럽게 보정되기도 합니다. 요즘은 손이나 얼굴을 고쳐주는 로라도 많기 때문에 그런 도구들을 같이 써주면 훨씬 수월하게 퀄리티를 끌어올릴 수 있어요. 고해상도 그림이 필요할 경우, 처음부터 큰 크기로 생성하면 실패율이 높아서 먼저 저해상도로 완성한 뒤 업스케일러(Upscaler)를 활용해 고해상도로 변환하는 방법도 있답니다.

 

참고로 저는 그림을 만들 때 프롬프트를 길게 쓰는 편은 아닙니다. 대신 이미지를 넣고 돌리는 방식, 그러니까 img2img 기능을 더 자주 사용합니다. 예를 들어, 스케치나 대충 그린 선화를 하나 넣고, 거기에 원하는 분위기만 간단히 설명해 주면 꽤 괜찮은 결과가 나와요. 프롬프트를 정교하게 쓰는 게 익숙하지 않거나, 이미 가지고 있는 이미지에서 변형만 주고 싶을 때는 이 방식이 훨씬 편리하죠. 저는 생성할 때 이미지 크기도 크게 설정하지 않습니다. 보통 472x712 정도의 비교적 작은 크기로 먼저 만들어보고, 그 결과물을 바탕으로 챗GPT를 활용해 다시 한번 보정하거나 돌립니다. 처음부터 고해상도로 생성하려고 하면 오히려 그림이 깨지거나 이상한 부분이 생기기 쉽고, 생성 시간도 오래 걸립니다. 그래서 저는 빠르게 시안을 뽑고, 그걸 다시 활용하는 방식이 훨씬 효율적이더라고요.

물론 이 방식에도 단점은 있습니다. 바로 챗GPT의 생성 속도가 꽤 느리다는 점이죠. 결과물은 대부분 만족스럽지만, 기다리는 동안 마음이 조마조마해지는 건 덤입니다. 게다가 한 가지 더, 프롬프트 내용이 조금이라도 수위가 높다고 판단되면 정중하게 거절하기도 합니다. 근데 문제는 그 기준이 좀 제멋대로예요. 지가 먼저 그려놓고선, 막상 다시 요청 하면 "죄송합니다. 도와드릴 수 없습니다." 이렇게 튕겨 나오는 경우도 있습니다.

이 이미지를 화풍, 스타일 유지하고 그림 만들어줘, 저는 이렇게 요청합니다. 위의 그림들도 그런 방식으로 만들어졌습니다. 프롬프트는 최소한으로만 쓰고, 이미지를 중심으로 스타일을 유지하도록 요청한 결과죠. 텍스트만으로 설명하려 들면 번역이 이상하게 되거나, 스타일이 뭉개지는 경우가 많았는데, 이미지를 기준으로 삼고 이 느낌 그대로 가자고 하면 훨씬 자연스럽고 통일감 있는 결과물이 나옵니다.

이 등장인물이 카메라로 촬영하는 모습, 전면, 카메라는 nikon zf(카메라 이미지 첨부하면 좋음)
전신 다 나오게 해줘.
이걸 신겨.(신발이나 구두 이미지 첨부하면 좋음)
전신 전체: 반드시 다리, 발 전체 포함 발끝, 발바닥 포함, 신발이 명확하게 보여야 함 화면에 머리부터 발끝까지 전신 다 들어와야 함.
영화처럼 역광 + 필름 느낌
분위기: 햇살에 역광이 들어오는 장면 (예: 노을빛)
효과: 아날로그 필름 느낌 (약간의 그레인, 흐릿한 색감)
포즈: 같은 인물이 카메라를 들고 촬영하거나, 촬영을 마치고 바라보는 모습

 

복장은 자유 좋아, 복장은 자유고, 포즈는 카메라(Nikon Zf)를 들고 전면에서 촬영하는 모습이네. 방금 이미지에서 포즈는 활용하고, 의상은 자유롭게 해도 된다는 거지?

✅ 생성 조건 요약
포즈: 위 이미지처럼 한쪽 무릎 세우거나 앉은 자세 → 정면 카메라 들고 있는 포즈로 바꾸기
카메라: Nikon Zf를 손에 들고 있음
의상: 자유 (원하는 분위기 있으면 말해줘 — 캐주얼, 시크, 고풍, 미래적 등등)
스타일: 애니메이션 풍, 부드러운 선, 적당한 채색 묘사

혹시 추가로 원하거나 피하고 싶은 분위기/느낌이 있을까?
예: 너무 섹시한 건 피하고 싶다거나, 차가운 인상보단 부드럽게, 혹은 반대로 강하게 등등. 준비되면 바로 만들어볼게.

🎨 대체 생성 가능 방식
포즈: 비슷한 앉은 자세 + 카메라를 정면으로 들고 있는 구성
복장: 자유롭되, 우아한 시스루 드레스, 슬립 원피스, 레이스 스타일, 혹은 모던 스타일 등으로 연출 가능
분위기: 감각적인 조명, 부드러운 분위기 or 살짝 몽환적 느낌도 추가 가능
그림체: 애니메이션 스타일 또는 세미 리얼리즘 선택 가능 어떤 스타일로 갈까요?
1. 우아한 시스루 드레스
2. 레이스 풍 슬립 드레스
3. 현대적 감성의 모던룩
4. 그 외 직접 아이디어 주기
번호나 키워드만 말해줘요. 그럼 바로 작업 들어갈게요!

핵심 요구사항 정리 ✅ 그림 스타일: 애니메이션+세미 리얼 느낌 (지금까지 스타일 유지) ✅ 복장: 검정+금색 의상 유지, 마지막에 지시한 것 반영 ✅ 카메라: Nikon Zf 손에 든 상태 ✅ 신발: 검정 앵클 부츠 스타일 (스타킹 느낌 강조)

 

위 그림도 마찬가지로 챗GPT를 활용해서 만들어진 이미지입니다. 처음엔 스테이블 디퓨전으로 상반신 이미지 하나를 만들고, 그걸 기반으로 챗GPT에 이렇게 요청했습니다. 스테이블 디퓨전으로 만든 상반신 이미지를 챗GPT에 넘겨서 원하는 방향인 전신, 카메라, 분위기, 복장 등을 설명해 주는 식으로 진행하면 AI가 알아서 스타일을 유지하면서 결과물을 만들어줍니다. 그리고 무엇보다 마음에 드는 부분 중 하나는, 이미지를 바로 하나 만들어주는 게 아니라, 먼저 여러 가지 선택지를 제시해 준다는 점입니다. 예를 들어 제가 이 이미지처럼 전신으로 만들어달라고 요청하면, 챗GPT는 이런 방향도 있고, 저런 스타일도 가능하다며 다양한 옵션을 정리해 줍니다. 복장 스타일은 시스루, 레이스, 모던룩 중 어떤 걸 원하냐고 묻기도 하고, 분위기는 햇살 아래의 역광, 아날로그 필름 감성, 혹은 몽환적인 느낌 등으로 골라보라며 선택지를 보여준 뒤, 그걸 바탕으로 그림 생성 방향을 잡아줍니다. 마치 AI와 협업해서 캐릭터를 만들어 나가는 느낌이에요. 내가 직접 그리는 건 아니지만, 내가 하나하나 디렉팅해 나가고 있다는 실감이 듭니다. 그리고 그게 단순한 생성과는 또 다른 재미죠.

다만 아쉬운 점이 있다면, AI가 생성하는 소품, 특히 카메라 같은 디테일한 오브제는 종종 어색하게 나올 수 있다는 것입니다. 예를 들어 위 그림 속 카메라도 자세히 보면 디테일이 조금 뭉개져 있거나 실제 제품과는 살짝 다르게 생겼죠. 그래서 저는 요즘은 Nikon Zf 카메라 이미지나 구두, 앵클부츠 같은 참고 이미지까지 같이 첨부해서 요청하는 방식을 씁니다. AI가 스타일은 잘 따라가지만, 정확한 제품 디테일은 이미지 기반이 훨씬 안정적이기 때문이에요.

 

위의 그림들은 모두 제가 스테이블 디퓨전으로 1차 이미지를 만든 뒤, 챗GPT를 활용해 다시 만든 그림들입니다. 물론 아직 부족한 점도 있고, 가끔은 웃픈(?) 결과가 나올 때도 있지만, 그걸 조정하고 다듬어가면서 하나의 이미지를 완성해 나가는 이 과정이 꽤 매력적입니다.

챗GPT도 유료 플랜(월 22달러)으로 결제하게 됐습니다. 처음엔 무료로도 충분하지 않을까? 했는데, 속도와 이미지 해석력, 디렉팅 처리 능력이 워낙 달라서 결국 구독해 버렸죠. 정작 그림은 내가 안 그리고 있지만, 구독료는 내 손으로 꼬박꼬박 내고 있습니다.

AI그림에 처음 도전해 보는 분들도 너무 겁먹지 마세요. 프롬프트를 길게 쓰지 않아도 되고, 완벽한 문장이 아니어도 됩니다. 이미지 하나 넣고 이 스타일로 전신으로 만들어줘. 그 한마디면 충분히 시작할 수 있어요.