지난 3월 15일 넷플릭스는 ‘러브 데스 + 로봇‘이라는 단편 애니메이션 모음집을 선보였습니다. 각각 6분에서 17분에 달하는 에피소드 총 18개로 이뤄진 시리즈였는데요. 몇몇 에피소드들의 강렬하고 자극적인 비주얼과 함께 다양한 이야기들에 관해 호평과 혹평이 엇갈리는 중이죠.

사람에 따라 에피소드 순서가 다르다?

그런데, 며칠 뒤 조금 흥미로운 일이 일어났습니다.

트위터에서 Lukas Thoms라는 사람이 넷플릭스가 시청자의 성적 지향에 따라 ‘러브 데스 + 로봇’의 에피소드 순서를 다르게 보여주고 있다고 주장한 것입니다. 보기 편하게 이미지를 옮겨 오면 아래와 같은데요.

netflix

왼쪽은 동성애자인 자신의 계정인데 시리즈 첫 에피소드로 레즈비언 성애 묘사가 나오는 Sonnie’s edge가 소개되는 반면, 오른쪽 이미지처럼 이성애자인 자기 친구의 계정에는 첫 화로 이성 성애 묘사가 나오는 Beyond the Aquila Rift가 표시되는 현상이 있다는 것입니다. 주변 몇 명을 더 확인해서 비슷한 패턴을 확인했기 때문에, 넷플릭스가 시청자의 성적 지향을 토대로 해당 시청자에게 잘 통할 순서로 콘텐츠를 추천하고 있는 듯하다는 주장이었죠.

‘아무리 시청자 취향에 맞는 추천이 중요하다지만 성적 지향 같은 민감한 프라이버시를 토대로 콘텐츠를 추천하다니! 이건 너무 한 것 아니냐!’는 비판이 거셌고 계속 리트윗되며 파장이 커졌습니다.

그러자 약 14시간 뒤 넷플릭스 US 공식 계정이 이에 대해 위와 같이 답변했습니다. ‘러브 데스 + 로봇’을 서비스하면서 에피소드 순서를 네 가지 조합 중 하나로 표시하고 있으며, 그 순서는 시청자의 성별이나 문화적 정체성 또는 성 정체성과 무관하며 자신들은 그 정보를 갖고 있지도 않다는 답변이었습니다.

약 두 시간 후 Lukas Thoms (이분도 테크 기업 공동창업자이자 프로덕트 매니저라서 기술 이해도가 있는 분입니다.)는 위 트윗을 통해 ‘넷플릭스에 있는 친구를 통해 확인했는데, 에피소드 순서 표시는 머신러닝이나 시청자 분석과는 무관하며 100%의 랜덤한 A/B 테스트라고 한다. 이번 일은 그냥 랜덤이었지만 정체성을 기반으로 추천하는 것에 관해서는 앞으로도 계속 토론해보면 좋겠다’라고 적으면서 일단 스레드가 마무리되었습니다.

‘성적 지향과 관련 있는 것 아닌가?’라는 문제 제기 때문에 좀 더 화제가 되긴 했지만, 시리즈 서비스 직후부터 아래 레딧 등을 통해 사람마다 순서가 다르게 표시되는 것에 관해 얘기가 있었습니다.

친구들끼리 3화가 좋았다거나 8화가 별로였다는 식으로 각 에피소드에 숫자를 붙여 얘기하고 있었는데, 알고 보니 서로 본 에피소드가 달랐다거나, 몇 화까지 봤으니 안심하고 그 전 화에 대한 글을 읽고 있는데 안 본 내용이라 스포일러를 당했다거나 하는 식의 얘기들이 올라와 있죠.

순서 조합이 총 네 개였다는 넷플릭스의 공식 트윗과는 달리, 레딧 첫 글에는 10명이 모두 순서가 달랐다는 얘기도 있는데, 레딧 얘기라 정확한 숫자인지는 모르겠어요. 사실 처음에는 좀 더 리스트가 여러 개 있었고, 어느 시점부터는 공식 트윗처럼 네 개를 돌리고 있을지도 모르는 일이고요.

왜 에피소드 순서를 실험하게 됐을까?

이 일을 접하고 처음 든 생각은 ‘아니, 이런 것도 A/B 테스트를 하네?’였고, 그다음 생각은 ‘아니, 어떻게 이런 걸 A/B 테스트를 할 생각을 했지?’였습니다.

넷플릭스가 사용자의 시청 이력을 토대로 같은 영상의 썸네일을 다르게 표시해서 보여줄 정도(Artwork Personalization at Netflix 참고)로 데이터 분석을 통한 추천 알고리즘에 열심이라는 건 알고 있지만, 시리즈의 에피소드를 섞어서 보여준다니, 어떻게 이런 발상을 했는지 궁금하더라고요.

아래는 넷플릭스의 다른 영상들을 찾아보면서 저 혼자 추측해본 과정입니다.

netflix003

↑ 위의 이미지는 일반적인 드라마의 에피소드 순서입니다. 기존 방송국에서 제작한 드라마를 넷플릭스에서 서비스하는 경우인데, 시즌이 있고 각 시즌 안에는 1화부터 순서대로 십수 개의 에피소드가 있죠. 각 에피소드는 조금씩 독립적일 수는 있지만, 전체 이야기는 쭉 이어지기 마련이고, 그래서 순서대로 봐야 합니다. 따라서 넷플릭스에서도 에피소드마다 숫자를 붙였고 에피소드를 순서대로 배열했습니다.

netflix004

↑ 다음으로는 넷플릭스에서 제작한 오리지널 드라마입니다. 전체 형식은 기존 방송국에서 제작한 드라마 시리즈와 동일합니다. 시즌이 있고, 시즌 안에 순서대로 봐야 하는 에피소드들이 있죠. 따라서 넷플릭스에서도 에피소드마다 숫자를 붙였고 순서대로 배열합니다.

netflix005

↑ 다음으로는 넷플릭스에서 제작한 예능 TV쇼입니다. 드라마 시리즈와 동일한 형태로 담았습니다. 시즌이 있고, 여러 개의 에피소드가 있으니 이를 숫자를 붙여서 순서대로 배열합니다. 하지만, 좀 다른 것은 이 TV쇼는 드라마 시리즈와는 달리 굳이 순서대로 볼 필요는 없습니다. 아무거나 따로 봐도 되고 중간에 건너뛰고 다음 걸 봐도 상관 없죠.

netflix000

널리 알려진 것처럼 넷플릭스는 다각도에서 사용자의 시청 패턴을 분석합니다. 시리즈를 처음부터 본 사람이라면 몇 화까지 봤는지, 몇 화의 어디까지 봤는지, 얼마나 짧은 시간 동안 몰아봤는지를 확인할 테고, 이를 토대로 넷플릭스는 당신이 어느 에피소드에 빠지는지 알고 있다에서 밝힌 것처럼 해당 시리즈의 몇 화쯤 가면 이 시즌을 완주한다는 결론을 내릴 수 있죠.

그렇다면 위의 ‘돈 버는 리모델링’처럼 여러 개의 에피소드가 있지만, 굳이 순서대로 볼 필요는 없는 영상이 있다면 어떨까요? 1화, 2화에서는 별로 완주율이 좋지 않았지만, 일단 3화까지 보고 나면 시즌 완주율이 높다면, 3화부터 먼저 표시하는 형태로 순서를 바꾸는 게 넷플릭스 입장에선 도움이 되겠죠? 그렇게 하려면 에피소드에서 ‘숫자’를 떼어내야 합니다.

netflix002

↑ 바로 이 시리즈처럼 말이죠. ‘설레지 않으면 버려라'(19년 1월 1일부터 서비스 시작)는 ‘돈 버는 리모델링'(18년 8월 17일 서비스 시작)과 주제나 진행 방식이 크게 다르지 않습니다. 주택/생활 소재에 각 에피소드들은 서로 거의 독립적이고 굳이 순서대로 볼 필요가 없습니다. 그리고 ‘설레지 않으면 버려라’는 에피소드 순서는 있지만 숫자가 붙어있지 않음을 확인할 수 있습니다.

숫자를 떼어내면서 시청자에게 ‘굳이 재미없는 걸 참아가며 순서대로 볼 필요는 없다’, ‘썸네일과 요약 보면서 보고 싶은 것 골라봐도 된다‘라고 힌트를 준 것이죠.

에피소드에 순서는 있되 숫자가 표시되어 있던 ‘돈 버는 리모델링’과 숫자가 표시되지 않은 ‘설레지 않으면 버려라’가 시청 패턴이 어떻게 달라졌을지는 내부 데이터를 볼 수 없으니 잘 모르겠습니다. 다만 숫자가 붙어있을 때는 에피소드별 시청률이 1>2>3> 하는 식으로 1화가 가장 높고 뒤로 갈수록 낮아졌을 테고, 숫자가 표시되지 않았을 때는 에피소드별로 시청률이 제각각 달랐을 것이라고 추측은 해볼 수 있겠네요. 앞에 있었는데 시청률이 낮다거나 뒤에 있었는데 시청률이 높은 에피소드들도 있었을 테고요.

그렇다면, 자연스럽게 다음 질문으로 넘어가게 되겠죠.

‘어떤 순서로 놓으면 에피소드별, 또는 시즌 전체 시청률이 가장 높을까?’

netflix001

↑ 그 결과가 바로 이 ‘러브 데스 + 로봇’이라고 생각합니다. 순서대로 보지 않아도 되는 시리즈라면, 에피소드에 숫자 표시를 떼고, 여러 조합의 순서를 정해 일정 기간 랜덤 테스트해보고, 그중 가장 시청률이 좋은 순서 조합이 나오면, 이후로는 실험을 중지하고 가장 우세한 순서 조합만으로 서비스하는 게 가장 효과적인 방식이겠죠. 여러 데이터를 보겠지만, A/B 테스트의 목표가 ‘가장 에피소드 많이 보게 만드는 조합을 찾는 것’일 테니, 조합 별로 ‘시청한 에피소드의 개수 / 전체 에피소드의 개수’를 보고 가장 값이 높은 조합을 택하면 될 것 같네요.

짐작해 보자면 ‘각 에피소드를 꼭 순서대로 봐야 하는 게 아니라면, 숫자는 따로 붙이지 말고, A/B 테스트해보고 가장 효과적인 순서대로 보여주자‘라는 방식은 넷플릭스에서 앞으로 더욱 확대될 듯합니다.

그동안 사람들은 시즌-에피소드를 선형적으로 시청하는 것에 익숙해졌습니다. “시즌 2의 3화 봤어?”라는 식으로 숫자로 특정 에피소드를 기억해왔죠. 하지만 이제는 숫자 대신 에피소드의 제목을 기억해야 할지도 모르겠습니다. 넷플릭스가 비선형적 시청을 추천하고 있으니까요.

광고