Телеметрия игрового тестирования DNA в Assassin's Creed. Часть 2.

В первой части цикла статей об использовании игровой телеметрии Ubisoft была представлена общая концепция этой технологии, а также было приведено несколько примеров. Вторая часть опишет конкретный случай применения технологии от начала до конца. 

Прежде всего, хотим поднять вопрос об анонимности: все отслеживаемые компанией Ubisoft данные ни в коем случае не содержат персональную информацию игроков. Согласно нашему лицензионному соглашению, мы собираем только ту информацию, которая может помочь нам улучшить уже существующие или будущие продукты.

Загадка Перезапуска 

Одним из плюсов работы над таким брендом, как Assassin's Creed, является его большой потенциал для изучения. Мы имеем возможность постоянно совершенствовать нашу систему пост-релизного сбора информации, используя данные, полученные во время игрового тестирования, что в итоге дает необходимые для анализа материалы и способствует обратной связи с разработчиками игры при создании новых продуктов. 

Assassin’s Creed Brotherhood

Assassin’s Creed Brotherhood включала новую Ограничительную систему, которая позволяла игрокам завершать миссии с дополнительным условием, выполнение которого давало «полную синхронизацию». Этот новый геймплейный элемент в самом деле было не так просто реализовать, и тем более трудно было оценить, как много игроков будут пользоваться этой системой после релиза игры.

Кроме того, Ограничительная система была разработана и включена в игру на поздних стадиях разработки, и поэтому она ускользнула с радаров разработанной нами телеметрической системы. В итоге вышло, что напрямую никаких пост-релизных данных о статусе синхронизации игроков в той или иной миссии получить было невозможно.

Как только игра поступила в продажу, мы быстро разработали Отчет Миссии, который устанавливал, когда игроки застревают в той или иной миссии или выходят из нее. Для этого мы использовали тег «objective_stop». Этот тег фиксировался при завершении каждой миссии, а его атрибут описывал статус, в котором она была завершена: Смерть, Неудача, Успех, Перезапуск. Отслеживание всех этих статусов довольно очевидно и подлежит простому анализу, за исключением Перезапуска, который происходил, когда игрок вручную выходил из миссии через меню.

Миссий со средним числом больше одного перезапуска на  одного игрока в среднем оказалось больше, чем ожидалось.

Мы заметили необычно высокое число Перезапусков в некоторых миссиях, что трудно было учитывать и правильно интерпретировать. Почему игроки повторно вручную выходили из одной и той же миссии?

Мы предположили, что это было связано с новой Ограничительной системой; некоторые игроки пытались заново проходить уровни, то есть завершали миссию с последующим ее перезапуском, если на каком-то ее этапе им не удавалось получить «полную синхронизацию». И хотя такое предположение идеально объясняло ситуацию с большим числом перезапусков во время игрового тестирования, без должного отслеживания необходимых пост-релизных данных системой телеметрии, все наши выводы были лишь догадками.

Тем не менее, мы смогли использовать другой источник данных и ответить на поставленный вопрос другим способом: данные Game2Web. Эта информация использовалась на сайте Assassin's Network и обновлялась каждый раз, когда игроки сохраняли игру, что в итоге позволило нам получить временной график их уровня синхронизации.

Глобальная синхронизация достигается при завершении дополнительных условий Ограничительной системы.

На картинке выше вы можете увидеть, что большинство игроков заканчивали игру с больше чем 50% синхронизацией, но есть часть игроков, которая заканчивала игру с более высокими показателями синхронизации, что подтверждало тот факт, что они в действительности используют Ограничительную систему.

Assassin’s Creed Revelations

Как только разработчики подтвердили возвращение Ограничительной системы в Assassin's Creed Revelations, мы решили на этот раз точно отслеживать данные о завершении миссий, как на стадии игрового тестирования, так и в после-релизный период.

Чтобы правильно отслеживать данные Ограничительной системы, нам пришлось добавить новый атрибут тега «objective_stop». Этот атрибут говорил нам о том, удалось ли игроку выполнить миссию со 100%-синзронизацией. В таблице ниже приведен пример содержания одного из тегов, полученных телеметрической системой от ACR в пост-релизный период. 

 Этот игрок вышел из миссии после 170 секунды с незавершенным дополнительным условием.

Как только игра вышла, мы получили возможность провести работу над ошибками, на этот раз правильно отследив данные по Ограничительной системе.

 На этом графике вы можете заметить обратную связь между процентом игроков, которые достигли полной синхронизации, и средним числом перезапусков, связанных с миссией.

Таким образом, мы подтвердили наше предположение, что игроки перезапускали миссию, чтобы попытаться достичь 100% синхронизации. Среднее число перезапусков миссий на первый взгляд может показаться низким, но эти данные являются средними по всем игрокам и представляют огромное число игроков, которые выходили из миссии в процессе ее прохождения. Это также подтверждает, что игроки в действительности использовали как Ограничительную систему, так и систему Повтора миссий, которые были включены в Assassin's Creed Revelations. Наконец, эти данные идеально сходятся с теми результатами, что мы получили в ходе игрового тестирования.

Выше был описан лишь один из многих примеров того, как долгосрочный мониторинг и отслеживание бренда помогает разработчикам принимать более обоснованные решения, основываясь на данных, полученных от игроков.