Дышите глубже. Box Battle проезжает Сочи
BoxBattle отработал уже год и отправился в командировку на Чёрное море в Адлер - Сочи. Где попал к одарённым подросткам в образовательный центр Сириус.
С 04 марта по 11 марта дети проводили бои по темам: Финансовые технологии, Кибербезопасность, Инновации в платежах.
Вопрос в другом. Чему нас научил этот кейс, и как он заставил нас смотреть на аналитику Box Battle другими глазами.
Аналитический бэкграунд
Давайте сперва пройдёмся по некоторым цифрам, чтобы понимать весь контекст наших выводов.
К концу года было проведены успешные запуски BoxBattle в нескольких компаниях:
- Hoff (знание товарных линеек)
- HILTI (знание технических особенностей профессиональных инструментов)
- Pernod Ricard (знание истории компании, брендов и гибких навыков)
- РГС Банк (знание банковских продуктов)
- Монетный двор (финансовая граммотность)
Проведены турниры на различных массовых мероприятиях:
- E-практика
- II Всероссийская конференция "Корпоративные закупки"
- Конференция студентов при Росмолодёжь
- Открытие академии CISCO в Ярославле
- Открытый урок в МОУ СОШ при поддержке Ярспас
- Конференция START IT
- Чемпионат по киберспорту от DYSU Esports
Но мы не оставили в стороне и свох коллег. В Лабмедиа за год прошло 3 игровых сессии на темы:
- WebTutor (наш первый запуск Box Battle)
- Английский язык (для проверки уровня владения английским языком среди сотрудников)
- Вёрстка HTML (первый шаг в сторону аттестации по средствам BoxBattle)
По итогам года, на момент написания статьи, у нас была собрана следующая выборка данных:
- 2429 уникальных пользователей
- 11107 сыгранных боёв
- 6461 вопрос в базе данных
- 48 уникальных компаний
Переходим к самому интересному, какие выводы мы сделали из всего этого массива информации.
Нужно больше вопросов! Или всё-таки нет?
Как бы банально это не звучало, но чем больше вопросов добавлено в арену, тем лучше. От чего зависит необходимое количество вопросов?
- Длительность предполагаемой игровой сессии.
- Количество потенциальных участников, задействованных в игре: чем больше реальных игроков задействовано в игре, тем чаще проходят бои.
Эти условия прямо пропорциональны необходимому количеству вопросов. Чем больше любое из них, тем больше потребуется вопросов для поддержания интереса к арене.
Контрольным числом мы считаем 100 вопросов на 20 игроков. При активной игре в обеденное время такое количество вопросов начинает повторяться у игроков спустя 2 рабочих дня.
При нехитрых подсчётах можно понять, что на неделю активной игры требуется минимум 300-400 вопросов, чтобы исключить их частое повторение.
Но вопрос в другом, мы хотим увеличить частоту входов игроков или увеличить эффективность обучения?
Концепция Box Battle, с точки зрения методики преподавания, заключается в постепенном переводе информации из кратковременной памяти в долговременную за счёт её многократного и частого повторения. По этой причине, нам необходимо поддерживать баланс между вовлечением - пополняя базу вопросов - и повторяемостью вопросов в игре.
Как это было в Сириусе?
С 04 марта проводилось ежедневное информирование участников о мероприятии в общих чатах месенджеров и группе мероприятия вконтакте.
Кроме того, в общедоступных местах был вывешен постер с объявлением о проводимом чемпионате.
Данная статистика нам говорит не более того, что такой вид информирования участников отлично достигает своей цели.
Но дальше – интереснее.
После регистрации более чем 80% всех игроков, мы видим резкий скачок на графике количества игр.
Участники набрасываются на новую информацию и начинают её поглощать в огромных количествах. И уже на следующий день мы видим плавное понижение интереса игроков. Небольшой же подъём 10 марта вызван одним из напоминаний в чатах и соцсети о том, что до окончания турнира остался всего лишь один день.
Подобный рисунок мы уже наблюдали на примере запуска у одного из наших заказчиков, но в виду малого числа игроков, мы не могли быть точно уверены в причинах повторного подъёма интереса. Исходя их данных этих графиков, с выборкой в более чем 100 игроков, мы можем дать объктивный прогноз того, что информирование о появлении новых вопросов в игре может служить сильным толчком для повторного выхода в игру.
Таким образом, мы получаем действенный инструмент для поддержания интереса к игре в процессе обучения:
- Высчитываем необходимое количество вопросов на весь период обучения.
- Дробим весь период обучения на "сессии" исходя из правила - (100 вопросов/20 человек/2 рабочих дня).
- На каждую новую сессию готовим мотивирующую рассылку с информацией о появлении новых вопросов в игре.
"Да это же жулики!"
Глядя целый день в базу данных по Сириусу, она начинает глядеть в тебя и говорить, что кто-то ведёт себя в игре нечестно.
Или не то чтобы "нечестно", а *спойлер* тактически продуманно.
Анализируя два верхних графика одновременно вас может смутить резкое падение количества ответов 8 марта по сравнению с 6 марта, но с сохранением прежнего значения очков. Возникает вопрос, как такое может быть?
Что мы должны в такой ситуации проверить при подозрении на использование какого-то стороннего скрипта?
Если пункт проверен и с ним всё хорошо, то двигаемся на следующий.
- Очки начисляются только за бои с реальным противником - делаем запрос на количство боёв, где не участвут бот.
- Определяем, какие бои прошли в эти дни и какое реальное количество ответов было дано
- Выборка вопросов по их сложности
Таким образом у нас получилось, что 08 марта игроки стали чаще выбирать сложные вопросы, стремясь победить как можно больше противников в сжатый срок.
Абуз ли это механик игры? Да. Но, стоит ли нам наказывать за это игроков? Скорее нет, чем да, поскольку сама цель - изучить вопросы, тем более самой высокой сложности, достигается.
Что мы можем сделать, для того чтобы использовать этот абуз себе на пользу? Есть две опции:
- Создать логику автоопределения сложности вопросов, где у всех вопросов по умолчанию будет сложность 1, но в дальнейшем, исходя из количества правильных и неправильных ответов, ему будет динамически присваиваться другая сложность.
- При регулярном мониторинге статистики, при наличии факта абуза, скорректировать сложности вопросов вручную. Т.к. за счёт новых знаний игроков, сложные вопросы становятся для них простыми.
На этом всё. До встречи на полях сражения!
