Sora 동영상 생성 모델 - OpenAI 발표

1. 동영상 생성 모델

ChatGPT로 널리 알려진 OpenAI에서 동영상 생성 모델 Sora를 발표했습니다.

현재는 최대 1분 길이의 비디오만 생성할 수 있고, 사용자가 입력한 텍스트(프롬프트)에 따라 동영상이 생성됩니다.

OpenAI 사에서는 "We're teaching AI"라고 표현하고 있습니다. 마치 AI가 하나의 어린아이와 같고 이 어린아이에게 어떤 교육을 하느냐에 따라서 어떤 사람이 되고, 어떤 결과물을 내는지가 결정되는 것이지요.

결국 AI가 자신의 '자아'를 갖는 날도 머지 않아 오지 않을까 싶습니다.

We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction.

OpenAI사에서는 이미 텍스트 기반으로 훈련되어 텍스트를 이해하는 모델을 가지고 있으므로 이 모델을 활용하여 동영상으로 확장한 것입니다. 따라서 동영상을 생성하는 모델을 만드는데 상대적으로 시간이 적게 들고, 고 품질의 영상을 만들어 냅니다.

다만 현재 모델은 복잡한 장면의 물리학을 정확하게 시뮬레이션하는데 어려움을 겪을 수 있으며 인과 관계의 특정 사례를 이해하지 못할 수 있다고 합니다.

유리 깨짐과 같은 많은 기본 상호 작용의 물리학을 모델링하지 않으며, 캐릭터가 먹은 음식이 뒤에서 다시 원상복구 되거나, 좌우를 혼합하는 등 공간적 세부 사항을 혼동할 수 있고, 특정 카메라 궤적을 따르는 것처럼 시간이 지남에 따라 발생하는 이벤트에 대한 정확한 설명에 어려움을 겪을 수 있습니다.

하지만 이러한 단점들은 시간이 지나고 훈련이 많이 되게 되면 자연스럽게 해결되고, 점점 완벽한 수준의 동영상을 만들어 주는 모델이 나올 것입니다.

현재는 일반인에게는 공개되지 않았고, “현재 소수의 레드팀(테스터)을 대상으로 배포하고 있으며 피드백을 받기 위해 일부 예술가, 디자이나, 영화 제작자에게 액세스 권한을 부여했다”라고 합니다.

2. 샘플 영상

[1] 도쿄의 어디쯤
사용된 프롬프트 : 스타일리시한 여성이 따뜻하고 빛나는 네온과 애니메이션 도시 간판으로 가득한 도쿄 거리를 걷고 있습니다. 그녀는 검은색 가죽 재킷, 빨간색 긴 드레스, 검은색 부츠를 신고 검은색 지갑을 들고 있습니다. 그녀는 선글라스와 빨간 립스틱을 착용합니다. 그녀는 자신감 있고 자연스럽게 걷는다. 거리는 축축하고 반사되어 다채로운 조명의 거울 효과를 만들어냅니다. 많은 보행자들이 걸어 다닙니다.

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

실제 동영상을 확인해 보면 주인공 여자에 초점이 맞춰져 있고, 주위 일본어 간판과 거리의 분위기가 진짜 도쿄 어디쯤으로 보입니다. 만약 이 여성이 선글라스를 벗으면서 아이폰으로 전화를 한다고 하면 바로 아이폰 광고로 사용해도 되지 않을까 싶습니다.

실제로 'Sora'의 등장으로 광고 회사들이 제일 큰 위협을 받을 것이라는 예상이 나오고 있습니다.

 

[2] Big Sur’s garay point beach
사용된 프롬프트 : 빅서(Big Sur)의 가라이 포인트 해변을 따라 울퉁불퉁한 절벽에 부서지는 파도를 드론으로 촬영한 사진입니다. 부서지는 푸른 바닷물은 하얀 파도를 만들고, 지는 태양의 황금빛 빛이 바위 해안을 비춥니다. 저 멀리 등대가 있는 작은 섬이 있고, 절벽 가장자리에는 푸른 관목이 덮여 있습니다. 도로에서 해변으로 내려가는 가파른 절벽은 절벽 가장자리가 바다 위로 튀어나와 있어 극적인 묘미를 선사합니다. 해안의 원시적인 아름다움과 퍼시픽 코스트 하이웨이(Pacific Coast Highway)의 울퉁불퉁한 풍경을 포착한 풍경입니다. 

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

저는 이 동영상을 보면서 이미 모델이 카메라의 앵글 및 드론의 움직임까지 이해하고 있다는 것을 보고 정말 놀랐습니다. 누구에게 이 영상을 보여주고 드론으로 촬영한 동영상이라고 보여주면 그대로 믿을 정도의 퀄리티입니다. 만약 이 영상을 사람이 직접 찍는다고 생각해 보면, 촬영 스텝들의 항공료, 호텔 숙박, 식비 및 여비등이 엄청나게 들 것입니다. 

하지만 이제는 그럴 필요 없이 'Sora'에게 내가 원하는 프롬프트만 입력하면, 이를 이해하고 바로 영상을 만들어 주는 것이지요. 영상을 만드는 비용이 '0', 물론 'Sora' 이용료 정도는 들겠죠.

이제는 각종 촬영 기술 및 장비를 다루는 사람이 중요한 게 아니고, 'Sora'에게 원하는 고품질의 동영상을 만들어 낼 수 있는 프롬프트(텍스트)를 입력할 수 있는 사람이 중요해지는 시대가 되었습니다.