이번엔 2011년 7월 20일의 글입니다. 아쉽게도 시티빌 글은 이 세 편이 전부였네요. 정말 재미있게 했던 게임인데 말이죠. 다음엔 게임을 즐기면서 좀 더 글을 많이 남겨둬야 겠어요. 그러고 보니 이 글도 ‘남이 하는 거 보니 해볼만 해보였지만, 실제 해보니 정말 어렵더라.’의 글이었네요.

——————-

관련 글을 쓴다는 것 자체가 관심을 나타내는 것이겠지만, 소셜 게임 쪽을 열심히 보고 있습니다. 당장 소셜 게임을 만들고 있지는 않지만, 지켜보는 게 정말 재미있거든요.

패키지 게임이나 온라인 게임은 역사가 길다 보니, 그만큼 시행착오의 기록이 쌓여있고, 이렇게 하면 된다/저렇게 하면 안 된다라는 게 어느 정도 나와있는데요. 이에 반해 소셜 게임은 기껏해야 2-3년 밖에 안 되었고, 기존 게임 시장과는 특성이 다르다 보니, 아직 ‘왕도’나 ‘정답’이 있지는 않은 상황이거든요. 물론, 출발이 앞선 만큼 현재 시장에서 앞서 뛰고 있는 선수들도 있지만, 이들도 정해진 길을 충실히 따라온 모범생이라기보단, 이 길도 가보고 저 길도 가보는 식으로 자기가 직접 길을 만들며 뛰는 탐험가에 가깝달까요?

그래서, 다른 게임 시장에 비해서, 장르나 게임 플레이, 마케팅, 운영 등에 있어서 이런저런 실험을 하는 것에 주저하지 않는 편이고, 이런 실험에 대한 시장의 피드백을 게임 개발에 빠르게 반영해서 이후 또다른 방법을 실험하는, 그런 역동적인 모습을 보여주고 있습니다. 그런 역동성을 보는 게, 게임 쪽에 늦게 들어온 저로서는 굉장히 재미있더라고요.

이번에 얘기하려는 것도 그런 실험의 한 예입니다. 어김없이 예는 또 징가의 시티빌입니다. 징가 개발팀 내부의 사정을 모르는 저로서는, 겉으로 드러난 사실만으로 징가에서 어떤 의도로 무슨 실험을 하려 했고 그 결과는 어떠했는지 추측할 수 밖에 없는데요. 그런 부분은 감안하고 읽어주시면 좋겠습니다.

[ 상업 건물 업그레이드 관련 실험 일지 ]

일단 실험 일지부터 확인해보죠. 다음은 시티빌의 상업 건물 업그레이드 미션이 시작된 날짜입니다. (자료는 http://blog.games.com/category/cityville/ 에서 검색했습니다.)

5월 19일(목) Bakery
5월 26일(목) Noodle Shop
6월 21일(화) Toy Store
6월 27일(월) Flower Kiosk
7월 05일(화) Coffee Shop
7월 12일(화) Shamrock Sing-A-Long
7월 14일(목) Burger Joint

색깔별로 다른 목적을 위해 수행한 실험이라고 생각하는데요. 그럼 일단 하나씩 볼게요.

[ 실험1: 시티빌 플레이어들은 상업 건물 업그레이드를 받아들일 것인가? ]

b0124377_4e25b20a79d25 시티빌에는 건물의 업그레이드(증축)라는 개념이 없었습니다. 팜빌이나 프론티어빌 등 징가의 이전 게임들에서 비슷한 개념이 있었던 것으로 알지만, 런칭 당시의 시티빌에는 건물의 업그레이드 개념이 없었어요.

하지만, 시티빌의 서비스 기간이 늘어나면서, 고레벨 플레이어들이 늘어나게 되었고, 이들이 게임에서 이탈하는 것을 막기 위해 여러 장치들을 고안해야 했습니다. 어제 올린 ‘타이쿤 소셜 게임에서 맵 넓히지 않고 고레벨 유저 붙잡기 – 시티빌의 예‘에서 정리한 방법들이 그 중 일부인데요. 가장 마지막으로는 저레벨용 공공 건물의 단위 면적당 인구 최대치를 높이기 위해, 공공 건물을 업그레이드하는 방법을 도입했죠.

공공 건물 업그레이드는 성공적이었고, 개발진에서는 다음 단계로 저레벨용 상업 건물에 이를 적용하는 것이 어떨지 논의를 했을 것입니다.

시각적으로 건물의 이미지를 좀 더 크고 화려하게 바꾸고, 관련 수치를 상향 조정하는 것으로 플레이어의 행동을 유도할 수 있다는 것은 이미 공공 건물 업그레이드들을 통해서 검증된 사실이었을 것입니다. 하지만 친구들에게 요청해서 건축 재료를 모아야 했던 공공 건물 업그레이드와는 달리, 상업 건물 업그레이드는 해당 건물에서 반복적으로 돈을 수십 번 걷는 ‘노가다’ 또는 친구들에게 도와달라고 요청하도록 구성했는데, 플레이어들이 이 부분에 어떻게 반응할 지는 자료가 없었을 것입니다. 관련해서 새로 구현하는 기능이 문제 없을 지도 확인해야 했을 테고요.

그래서 이들은 5월 19일과 5월 26일, 일주일의 시간차를 두고 실험을 수행합니다. 전형적인 A/B 테스트라고 볼 수 있겠는데요. 각 실험에서 사용한 Bakery와 Noodle shop의 몇 가지 특성을 정리하면 다음과 같습니다.

b0124377_4e25ae376399f좀 더 부연설명하자면, Bakery는 게임 초반에 상업 건물을 짓는 방법을 알려주는 튜토리얼에 쓰이는, 시티빌 유저라면 누구나 갖고 있는 ‘저레벨 상업 건물’입니다. 이에 반해, Noodle shop은 음력 설 때 이벤트 퀘스트의 보상으로 제시된 건물입니다. 물론 이벤트 종료 후에 직접 구입해 지을 수도 있게 바뀌었지만, 별다른 일이 없다면 따로 짓지 않았을 상대적으로 희귀한 건물이며, 건축 조건이나 운영 상황을 보면 꽤나 ‘고레벨 상업 건물’로 볼 수 있습니다.

여기에 2레벨 업그레이드 달성 조건도 Bakery는 200회, Noodle shop은 125회 수입을 걷어야 하도록 다르게 잡았습니다. (친구들의 도움이 몇 회 있어야 하나, 어느 정도의 캐시로 업그레이드를 달성할 수도 있는가도 다르게 잡았지만, 그것까지 다루자면 글의 목적을 벗어나니 넘어갈게요.)

이 실험으로 개발진은 아래의 수많은 질문에 대해 답이 될만한 통계 자료를 얻었을 것이라고 생각합니다.

– 전체 플레이어 중 업그레이드에 참여하는 플레이어의 비율은 어떠한가.
– 참여 플레이어들의 레벨 분포는 어떤가.
– 업그레이드 달성에 필요한 수금 회수는 몇 회가 적당한가.
– 업그레이드 달성에 걸리는 시간은 대략 어느 정도인가.
– 업그레이드 달성에 친구들의 도움은 얼마나 기여했나.
– 업그레이드 달성에 캐시를 쓴 플레이어의 비율은 어느 정도인가.
– 보통의 캠페인과 비교할 때 유료화 비율이 어느 정도인가.
– 저레벨 건물과 고레벨 건물에 대해 각각 업그레이드 참여 비율은 어떤가.
– 실험 이전에 비해, 저레벨 건물을 클릭하는 회수는 얼마나 늘었나.
– 실험 이전에 비해, 고레벨 건물을 클릭하는 회수는 얼마나 늘었나.
– 이전에는 Noodle shop이 없었지만, 새로 지으면서까지 캠페인에 참여한 플레이어는 얼마나 되는가.

실제 데이터가 없는 제가 잠시 떠올린 것이 이 정도이니, 데이터를 갖고 있는 개발진 쪽에서는 훨씬 더 많은 질문에 답할 자료를 얻었을 것이라고 생각합니다.

[ 실험2: 상업 건물 업그레이드에 대한 통상적인 자료 쌓기 ]

Noodle shop 관련 친구들의 도움이 제대로 반영되지 않는다는 버그도 보고되었지만, 5월 19일, 5월 26일, 두 차례에 걸친 상업 건물 업그레이드 실험은 성공했나 봅니다. 거의 한 달 뒤인 6월 21일부터 시티빌은 거의 일주일 단위로 Toy Store, Flower Kiosk, Coffee Shop 업그레이드 미션을 차례로 거침없이 진행합니다.

재미있는 부분은 Bakery와 Noodle shop은 2레벨로 업그레이드하려면 각각 200회, 125회 수금해야 했지만, 위의 세 상업 건물은 모두 50회만 수금하면 업그레이드할 수 있다는 점이었습니다. 5월의 실험으로 적정 회수에 대한 자료를 뽑았다고 짐작할 수 있는 부분이에요. 상업 건물 업그레이드에 대한 사용자 실험은 일차적으로 이미 끝난 셈이랄까요.

b0124377_4e25b4d1d140cA/B 테스트가 비교적 눈에 띄게 보인 Bakery vs. Noodle Shop과는 달리, 이들 세 건물은 그 차이가 그리 크지는 않습니다. 딱히 이벤트 건물도 없고, 대부분 시티빌을 어느 정도 했다 싶으면 가질 수 있는 건물들이었습니다.

결국 이번 실험은 5월 후반의 실험을 통해 기본적인 자료를 확보한 개발진이 안정적인 서비스를 하는 동시에, 이후 실험에 대한 대조군 데이터를 확보하는 것이라고 볼 수 있겠죠.

[ 실험 3: 시각적 보상이 없어도 플레이어는 업그레이드를 계속 할까? ]

3주 째 일주일 단위로 상업 건물 업그레이드 미션을 공개하던 시티빌은 4주 째에 새로운 실험을 시작합니다.

b0124377_4e25b8b4142a7Shamrock Sing-A-Long이라는 건물은 업그레이드해도 내부 수치만 바뀔 뿐, 시각적으로는 변화가 없도록 한 것입니다.

사실 이번 글을 쓰게 된 것도 이 업그레이드 미션 때문입니다. 지난 몇 번의 상업 건물 업그레이드에 꽤 익숙해져 있었거든요. 번잡해진 제 도시에 어울리지 않는 다소 초라한 1층짜리 가게를 2층 짜리로 만드려고, 해당 건물들을 우선적으로 열심히 클릭하곤 했는데, Shamrock은 업그레이드를 해도 이미지가 변하지 않는다니, 꽤 충격이었거든요. 처음에는 이미지를 잘못 표시한 버그가 아닌가 생각했을 정도였습니다. 그래서, 이전의 업그레이드를 쭉 훑어보니, 그제야 ‘아, 이게 실험이구나.’라는 게 눈에 들어오더라고요.

Shamrock 건물에 대해 잠깐 부연 설명하자면, 지난 3월 세인트 패트릭 데이에 맞춰 등장한 이벤트 건물입니다. 건축비나 소비 물자, 소득은 마찬가지로 이벤트 건물이었던 Noodle shop과 거의 동일하고요.(건축비만 차이납니다. Shamrock은 2,000 코인, Noodle shop은 4,000 코인)

여러 데이터를 한 번에 뽑아내려 했던 5월의 실험과 달리, Shamrock 실험은 우직할 정도로 굉장히 단순합니다.

‘시각적인 보상이 없어도, 플레이어들은 상업 건물 업그레이드에 참여할까?’라는 질문에 답하기 위한 데이터를 뽑아내겠다는 것입니다.

상업 건물의 업그레이드는 고레벨 플레이어들을 잡아둘 수 있는 굉장히 좋은 방법이지만, 건물마다 레벨 별로 다른 이미지를 따로 그려야 하기 때문에 그만큼 인력이 투입되는 부담스러운 방법이기도 합니다. 하지만, 제작비가 그만큼 투입되는 것이 타당한지 경제적으로 합리적인지에 대한 자료는 아직 없었던 것이죠.

만약, 시각적인 보상이 없어도 내부 수치를 올려주는 것만으로도 플레이어들의 참여 비율이 크게 떨어지지 않았다면, 앞으로도 상업 건물 업그레이드에 있어서 굳이 추가 그래픽 제작 인력을 투입하지 않아도 될 테니까요.

5월에 했던 Noodle shop, 그리고 6월에 진행한 Toy Store, Flower Kiosk, Coffee Shop의 자료와 대조하면 쉽게 그 득실을 따져볼 수 있으리라고 생각합니다.

[ 실험 4: 성난 유저들을 달래자. ]

Shamrock 업그레이드 캠페인의 장기적인 성패가 어떨지는 잘 모르겠습니다. 당장 저도 처음에는 ‘뭐야? 이미지도 안 바뀌는데, 내가 왜 클릭 노가다를 해?’라고 하면서도 여유가 될 때에는 Shamrock 부터 클릭하고 있거든요.

하지만, 단기적으로는 플레이어들의 부정적인 반응이 격렬했나 봅니다.

4회 연속 일주일마다 캠페인을 업데이트하던 것과는 달리, Shamrock 업데이트하고 고작 이틀 뒤인 Burger Joint 업데이트를 실시했거든요. Burger Joint는 건축비, 소비 물자, 소득을 따져 보면 기존의 Toy Store나 Coffee Shop과 비슷한 정도이기 때문에 굳이 추가로 데이터를 뽑아낼 필요도 없거든요. 어쩌면 일주일 뒤인 7월 19일에 업데이트할 예정이었지만, 생각보다 플레이어들의 비판이 거세어, 플레이어들을 달래려고 빨리 꺼내든 카드일지도 모르겠네요.

[ 결론 : 끊임없는 실험만이 살 길이다? ]

사실 제가 갖고 있는 건 각 건물 관련 게임에 공개된 수치와 각 업그레이드의 시작일이 전부이고, 그외에는 모두 추측일 뿐이라서, 어느 정도나 진실에 가까울 지는 솔직히 잘 모르겠네요. 아직 서비스 중인 게임이고, 실시간으로 데이터가 쌓이고 있을 테니 말예요. 하지만, 드러난 사실에서 연결할 수 있는 패턴이 나름 의미는 있지 않을까 싶어서 공부하는 차원에서 이렇게 정리해서 올려봅니다. 정리하면서, 나중에 저도 데이터를 다루게 되면 이렇게 저렇게 해봐야지 하는 생각도 해볼 수 있었네요.

온라인 게임 라이브 팀에서도 아마 이런 일들을 하고 있겠지만, 글 처음에 적었듯이 소셜 게임은 시장이 다르고 정답이 아직 없다 보니, 좀 더 과감하게 실험하는 모습이 있는 것 같아요. 소셜 게임에서 보이는 이런 빠른 가설 설정과 실험 수행, 데이터 수집, 데이터 분석, 개선으로 이어지는 이 역동성은 확실히 재미있고, 배울 점이 많네요.

 

Advertisements