딥페이크 뜻

1. 개요

딥페이크 뜻 / Deepfake

딥페이크(deepfake)뜻은 인공지능을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 영상편집물을 총칭한다. 과거 인물의 사진이나 영상을 조악하게 합성해 게시하던 것이 디지털 기술과 인공지능의 발전으로 몇 단계 정교해진 결과라 볼 수 있다. 원리는 다음과 같다. 합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을 프레임 단위로 합성시키는 것이다. 병렬연산장치의 성능에 따라 속도와 품질이 결정된다.

2. 특징

머리 외곽선을 통채로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것이다. 사람의 인상에는 헤어스타일과 안면윤곽도 크게 작용하며, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이루어졌다 하더라도 전혀 동일인이 아닌 것처럼 보이게 된다.

또한, 딥 러닝 방식의 특성상 주어지지 않은 정보에 대해서는 제대로 대응하지 못한다. 즉, 아무런 방해물이 없는 상태의 일반적인 얼굴 표정은 잘 합성해내지만, 얼굴 근처에 다른 물체가 있다거나, 얼굴 자체가 프레임에서 일부 잘려나갔거나, 일반적으로 잘 볼 수 없는 매우 특이한 표정을 지었다거나 하면 대충 덮어씌운 듯한 매우 부자연스러운 합성 결과가 나오고, 극단적인 경우 합성에 실패하여 그냥 원본 얼굴을 보여주기도 한다. 합성 대상의 얼굴 표정 학습량이 적을 때에도 비슷한 일이 일어나는데, 이 때의 모습이 기괴하여 불쾌한 골짜기 현상이 일어나기도 한다.

음성에는 전혀 손대지 않지만, 얼굴 표정을 적절하게 매칭시켜 합성을 하기 때문에 목소리가 다르다 하더라도 입모양이 발음과 일치하여 자연스럽게 느껴진다. 이런 특성이 방송이나 광고에 의도적으로 이용될 수도 있을 것이다.

이러한 특성을 인지하고 있으면 양산형 영상은 아주 쉽게 간파할 수 있으나, 반대로 이런 약점을 피하기 위해 합성 대상이 되는 사람과 비슷한 체형 및 얼굴형을 가진 사람이 찍힌 영상을 고르고, 대상자의 얼굴 표정을 매우 다양하게 학습시킨 상태에서, 안면부분에 별다른 방해물이 없는 장면 위주로 작업을 해낼 경우에는 굉장히 자연스러운 결과가 나오게 된다.

과거 2D 수동합성이 기술자의 감각적 스킬에 의존한 반면, 딥페이크의 경우는 좋은 장비를 갖춘 상태에서 적절한 대상을 찾고 충분한 학습량을 먹여야 하는 물량전으로 양상이 변한 셈이다. 현재 생산되는 어느정도 자연스러운 수준의 딥페이크들은 서로 조명여건이 다른, 앞, 옆, 위, 그리고 아래 등 다양한 각도와 표정을 포함한 3분정도짜리 비디오 3개정도면 만들수 있다고 한다.

현재 수준에서는 실사영상에 적용하면 이질감이 들지만 원본이 3D CG인경우 이질감이 확 줄어든다. 

3. A.I.

• SAE_HD: 전 세대의 평면의 얼굴만 습득하는 문제점을 고치고 다양한 각도로 얼굴을 카피하고 독자적으로 그 각도에 따라 빛,음영을 절묘하게 넣는 AI. 원래 전 세대 AI가 좀 많이 단순했던지라 다른 AI의 의해 사장될 것이라는 예상을 뒤덮고 아직까지 현존하는 가장 최고의 AI. 당연하지만 사용했던 AI 모델을 버리지 않고 계속 쓰면 점점 실력이 향상된다.

• Quick_96: 저사양 전용 AI. 해상도가 시망이라 저용량/저해상도용으로 쓰면 쓸만하다곤 하나, 딥페이크를 이용하는 유저들 대다수는 은근히 고사양을 가지고 있어서 사실상 버려지는 AI이다. 그래도 저사양에서 돌아간다는 건 높이 쳐줄만할지도. 그리고 애초에 저사양용이다 보니 Iteration이 빠르게 올라간다. 그래픽카드 용량을 많이 잡아먹지도 않고 CPU에 조금 더 의존하는 AI이다.

• XSeg: 현존하는 가장 최신형의 AI. 최소한의 레퍼런스로 최고의 퀄리티를 뽑을 수 있는 가성비 최강의 AI. 문제점이라면 A의 얼굴형이 가늘어도 덮어 써지는 B의 얼굴이 좀 크다면 A의 얼굴을 늘린 상태로 붙인다는 것.... 하지만 그것과는 반대로 입모양과 눈의 초점은 기가 막히게 잡는다. 밑의 영상을 보면 대충 어떤 의미인지 알 수 있다.

4. 문제점

아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세이며, 특히나 유명인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 딥페이크 포르노의 탄생에 크게 일조하였다. 특히 다수의 포르노 사이트, 트위터와 같이 접근성이 높은 사이트에도 실제로 이런 영상들이 돌아다녔다. 또한 정치적 목적으로 딥페이크 영상을 만들어 정치인의 말조차 가짜로 만들어내어 정치적 공세를 가하는 경우도 존재한다.

딥페이크는 피싱에도 사용할 가능성이 있다.

한국의 경우는 이를 제작해서 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조 2항에 따라 처벌받는다. 다만 대다수 나라에서 현재 법적으로 대처가 불가능하다. 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 해당 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다.

포르노 뿐만 아니라, 머지 않은 시점에 정치인이나 기업을 공격할 목적으로 합성한 사실적인 영상이 대중과 사회에 미칠 영향은 그야말로 무궁무진하며, SNS가 발달한 오늘날에는 일반인들 또한 딥페이크 영상에서 안전지대에 있다고 장담할 수가 없다. 자신의 얼굴로 합성 포르노가 만들어져서 망신을 당할 수도 있다.

이미 악용 사례가 나왔고 레딧에 여러 나라의 많은 유명 여성 연예인들이 포르노에 얼굴이 합성이 되어 떠돌았고 레딧에서는 얼마 안 있어 딥페이크로 만든 포르노를 전부 삭제하는 조치를 취했다. 대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다.

과거에는 딥페이크 포르노 제작을 직접적으로 처벌하는 조항이 대한민국 법에 없었다. 그러나 딥페이크 포르노 제작을 처벌하는 방법이 아예 없진 않다. 일방적으로 당사자를 성적 대상으로 삼는 행위인데다가 다른 사람의 영상에 얼굴을 합성한 행위이므로 '허위사실 적시에 의한 사이버 명예훼손'이 성립하며, 어찌되었든 포르노이므로 공연히 적시했다면 음란물 유포죄로 형사 처벌이 가능하다. 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 초상권 침해가 성립한다. 하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 3월 17일에 관련 법이 통과되어 결과적으로 성폭력범죄의 처벌 등에 관한 특례법 위반으로 처벌받게 된다.

일본에서도 2020년에 연예인에 대한 딥페이크를 제작·공개한 혐의로 적발한 사례가 있다.

엔터테인먼트 분야에서의 그 효율이 탁월하다 할지라도 한사람의 삶과 죽음, 개인과 집단의 이익 목적 실현을 위한 딥페이크의 악용, 나아가 정치적으로 사용되어 거짓된 정보를 통해 대중을 선동하여 국제적 불안까지도 조장할 수 있다는 것이며, 여기서 더욱 더 문제가 되는 점은 딥페이크물을 거짓으로 입증하기도 어려울 뿐 아니라 일부 급진주의자들이 이야기하는 디크립트, 다시 말해서 해당 영상물이 실제로 딥페이크로 제작된다는 걸 밝혀주는 프로그램이 존재한다 해도 피해 당사자 측은 이미 상당한 피해를 입은 뒤의 후속조치에 불과하다는 것이다.

트위터 같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어나는데, 지금까지는 여성 연예인을 대상으로 하는 딥페이크 성착취물에 대한 것만 공론화되었지만, 알페스 공론화 사건이 터지면서 오히려 남성 연예인이나 미성년인 남성 아이돌들을 이용해 제작한 성착취물들이 셀 수도 없이 많이 범람하고 있다는 사실이 언론과 네티즌들을 통해 적발되었다. 그들의 은어로 섹테라고 불리는 것도 이렇게 해서 적발된 것 중 한 장르다.

이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash의 줄임말인 알페스이다. 이는 알페스 공론화 사건 문서 참고.

2월 27일 그것이 알고싶다에서 온라인 딥페이크 사용 목적의 96%가 포르노그라피인 것으로 보도되었다.

독일 경찰은 이를 역이용해서 아동성범죄 검거에 쓰고있다. 도구는 쓰기 나름이다.

경찰청 국가수사본부가 2021년 5월 2일에 발표한 내용에 따르면, 2020년 12월 한 달 동안의 집중수사를 통해 94명의 딥페이크 제작 및 유포자를 적발했으며, 그 중 65명이 10대, 17명이 20대로 나타났다. 즉 딥페이크로 검거된 사람들의 87.2%는 1020 연령층이자 과반수가 10대에 집중된 것으로 확인되었다. 피해자는 114명으로 나타났으며 66명은 10대, 46명은 20대로서, 피해자들의 98.2%도 마찬가지로 1020 연령층이자 과반수가 10대에 집중되어 있었다. 또한 피해자들 중 109명이 여성이었고 남성 피해자는 단 5명에 그쳤다. 검거된 피의자들 중에는 10만 건이 넘는 딥페이크 자료들이 업로드된 불법 사이트를 운영하거나, 텔레그램에 8개의 채널을 만들고 727개의 딥페이크 자료들을 유통하던 경우도 있었다.

5. 기타

자매품으로 딥누드가 있다. 딥페이크가 얼굴을 바꿔치기 하는 거라면 이쪽은 몸을 바꿔치기 하는 것. 정확하게는 비키니 등 노출이 많은 사진을 나체 사진으로 합성해준다. 그리고 또 다른 자매품으로 JavPlayer가 있는데, 이쪽은 AV의 모자이크를 제거하는 기술이다.

이렇게 딥페이크가 공론화되자 최근에는 몹시 닮은 사람도 딥페이크로 의심되기 시작했는데, 2021년 차이유라는 별명의 아이유를 닮은 중국 사람이 딥페이크로 의심받는 상황까지 벌어졌다.

이렇다보니, 객관적인 모델의 외모를 평가해야하는 오디션에서는 딥페이크를 써 응시자 외모를 보정하는 게 많아 아예 폴라로이드 사진으로만 응시할 수 있도록 하는 곳도 가득이다. 덕분에 폴라로이드 수요가 2020년대 와서도 여전히 꽤 이뤄지고 있을 지경.

6. 사용 예시

기록말살형에 딥페이크가 사용된 사례가 해외에서 나왔다. 드라마 방영을 앞두고 한 배우가 사회적 물의를 일으켰는데 사전제작 방식이라 중도에 수정할 수도 없어서 딥페이크로 해당 배우의 얼굴만 바꿔치기 했다고.

당시 MBC 뉴스에서 딥페이크 예시로 아이유와 방탄소년단을 예시로 사용했는데, 양측 팬에서 논란이 되었다. 특히 방탄소년단은 MBC 일부 프로그램 빅히트 레이블 소속 아티스트 출연 제한 의혹의 연장선으로 보기도 했을 정도며, 자세한 내용은 MBC 아이유·방탄소년단 딥페이크 보도 사건 참조

실존인물 영상에 엘사와 같은 가상인물 얼굴을 합성하는 것도 가능하다.

일반인의 얼굴을 합성하기도 한다. 합성하기 위해서 얼굴 샘플을 구해야 하는데 SNS에 올린 사진을 불법으로 퍼가서 얼굴 샘플로 이용하여 합성을 한다.

심영물에서도 딥페이크를 도입한 작품들이 나오기도 했다. 아이언맨이 된 상하이조. 해당 유튜버는 이후로도 심영물을 비롯한 여러 장르에서 계속 딥페이크를 이용한 합성물을 만들고 있다.

한국 커뮤니티에서는 강호동과 브록 레스너를 서로 딥페이크로 합성한 합성물이 인기를 끌고 있다. 이수근 역시 강호동과 같이 합성되어서 나오는데 이수근은 폴 헤이먼과 서로 합성되었다.호동 레스너.gif브호동 모음.gif

인물 사진에 딥페이크를 합성해 노래를 부르게 하는 ばかみたい와 마이야히가 인터넷 밈으로 퍼지기도 했다.

2021년에는 일론 머스크가 노래를 부르는 컨셉의 딥페이크 영상이 유행하고 있다.

전체를 딥 페이크 영상만으로 채운 풍자 코미디 쇼가 유튜브에 나오기도 했다. 트레이 파커와 맷 스톤, 피터 세러피너위치가 제작한 “Sassy Justice with Fred Sassy”로 여러 유명인들이 출연해 우스꽝스러운 말을 한다.