Ищу аналитика в RetailRocket.ru

Ищу себе аналитика в проект RetailRocket.ru. Работа мечты инженера-исследователя!

Ты получишь колоссальный опыт решения задач машинного обучения в сфере Big Data и разработки алгоритмов на кластерных системах (Hadoop, Spark).

Обязанности:

  • Отчетность по системе RetailRocket.ru (Hadoop Hive + Python, Scala, MS OLAP)
  • Разработка метрик эффективности алгоритмов
  • Сопровождение AB тестов по алгоритмам (у нас своя платформа тестов)
  • Поиск и тестирование гипотез по улучшению эффективности алгоритмов

Требования:

  • Идеальный кандидат студент старших курсов или недавний выпускник технического факультета вуза
  • Теоретические знания по алгоримам машинного обучения (хотя бы на уровне курса Machine Learning сайта coursera.org)
  • Обязателен опыт программирования на одном из языков: Java, Python, Scala, C++
  • знание английского языка на уровне чтения технических и научных статей — must have

Условия:

  • полная или неполная рабочая неделя, частично можно удаленно работать
  • офис в районе метро Сокол
  • ЗП — договоримся

Кто мы?
Мы делаем товарные рекомендации для интернет-магазинов, которые видят миллионы пользователей (буквально миллионы). Мы обрабатываем более 100 млн событий в сутки! Мы знаем, что хотят покупатели по всему Рунету. У нас уже есть продукт, востребованный рынком всего СНГ (а скоро и не только), но нам этого мало. Очень скоро мы изменим то, как делается Ecommerce. Да-да, через несколько лет все будет совсем по-другому! Сегодня над проектом Retail Rocket работает команда из 14 человек.

Контакты
e-mail: info@retailrocket.ru в Subject напишите «вакансия аналитика»

Читать дальше...

Большие возможности больших данных

Модератор:
Кейтлин Кеннеди, Директор по стратегическому развитию, MIT Technology Review; Президент, MIT Enterprise Forum

Спикеры:
Аркадий Волож, Сооснователь, генеральный директор, Яндекс
Сергей Золотарев, Директор направления Большие данные, EMC Россия и СНГ
Роман Зыков, Директор по аналитике, Retail Rocket
Шон Оуен, Директор департамента исследования больших данных, Cloudera

Читать дальше...

Презентация с iMetrics 2013 и конференции в Дублине

С этой презентацией я выступал в Дублине на конференции Predictive Analytics Innovation Summit.
1379413_172823602922574_822376744_n

Фотография с imetrics2014
1471267_561861117222731_1236509520_n

Читать дальше...

С 1 ноября по 6 декабря Викимарт проводит интернет-олимпиаду.

Попробуйте решить интересные, сложные задачи, с которыми работает команда Викимарта, и получите вознаграждение при условии демонстрации лучшего результата.
Цель конкурса — предоставить всем желающим возможность исследования пользовательского поведения с коммерческим интентом и научиться предсказывать наличие определенного действия пользователя в сессии. Например, предсказать, откажется ли пользователь от созданного им заказа, станет сам оформлять заказ через сайт или позвонит в call-центр.
Вся информация по ссылке: http://olymp.wikimart.ru/

Плакатv2

Читать дальше...

Ищу себе аналитика в проект RetailRocket.ru

Ищу себе аналитика в проект RetailRocket.ru. Работа мечты инженера-исследователя!

Он/она станет моей правой рукой по части разработки алгоримов рекомендаций, получат колоссальный опыт Machine Learning в сфере Big Data и разработки распределенных алгоритмов на кластерных системах (Hadoop).

Обязанности:
- Разработка новых алгоритмов рекомендаций
- Тонкая настройка существующих алгоритмов
- Отчетность по системе RetailRocket.ru
- Проведение AB тестов по алгоритмам (у нас своя платформа тестов)

Требования:
- Идеальный кандидат студент старших курсов или недавний выпускник технического факультета вуза
- Теоретические знания по алгоримам машинного обучения (хотя бы на уровне курса Machine Learning сайта coursera.org)
- SQL — must have
- знание английского языка на уровне чтения технических и научных статей — must have
- Java, Python или Jython — базовые знания одного из этих языков очень пригодятся (как и любого другого языка)

Условия:
- полная или неполная рабочая неделя, частично можно удаленно работать
- офис в районе метро Сокол
- ЗП — договоримся

Читать дальше...

Интервью с аналитиком онлайн игр, Дмитрием Ножниным

Уже пятое интервью в нашей серии. Сегодня мы говорим про аналитику онлайн игр. Дмитрий Ножнин, профессионал в области монетизации и анализа игр, дал интервью по этой теме. Если статья вам понравилась, пожалуйста, расшарьте ее в социальных сетях.
163f8ef
Дмитрий Ножнин сейчас создает стартап в новой области геолокационных игр. В недавнем прошлом руководил отделом аналитики и монетизации компании Иннова. В индустрии игр уже 15 лет, был геймдизайнером, продюсером, руководил разработкой. В 2011 получил степень MBA в лондонском Open University. Ведет свой блог www.progamedev.ru, ссылка на профиль в LinkedIn.

Дмитрий, привет! Расскажи пожалуйста, чем ты занимаешься и где работаешь?
Привет! Занимаюсь я компьютерными играми уже лет 15 как, в последние годы в основном онлайн играми. Я создал и почти три года руководил отделом аналитики и монетизации в крупном российском игровом издателе Иннова. Но недавно ушел, чтобы основать свой стартап в перспективной нише гео-социальных игр — startowns.ru.

Почему ты принял решение заниматься аналитикой и монетизацией сетевых игр?
Всегда было интересно понять как же онлайн игры зарабатывают миллионы долларов. С первой попытки, делая свой проект мне не удалось довести его до конца, но заход через издательскую компанию был более чем успешным :)

Как ты попал в эту область?
Меня позвали побеседовать в Иннову, с прицелом на роль продюсера одного из проектов. Любопытства ради я сходил, пообщался, и мне на удивление понравился подход компании — отсутствие корпоративного буллшита и доверие сотрудникам. От продюсерства я отказался, пройденный этап, но увидел интересное направление в монетизации и аналитике, которой по сути не было. Ну и сказано — сделано, через неделю я вышел на работу, через месяц уже презентовал первые результаты анализа легендарной Lineage II.

Как ты думаешь, что входит в сферу деятельности игрового аналитика?
Слушать. И задавать вопросы. Это две важнейших активности, а вовсе не считать метрики и делать презентации, как может показаться. Геймдев очень сильно отличается от телекома или банковской сферы, тем, что продукт — онлайн игра — на порядки сложнее и многограннее. И проектная команда, годами ведущая её, априори знает его лучше любого аналитика. Задача аналитика — задавать правильные вопросы правильным людям, внутри компании и вне ее, слушать и делать выводы.

Чем отличается это от твоего предыдущего опыта?
Метрики сделали меня циничнее :-)
Я хорошо понял, что половина, если не больше, усилий в геймдеве тратится на рюшечки, никому, кроме самих разработчиков, не нужные и денег не приносящие. И что игроки прощают реально очень многое, если им нравится ядро, самая суть игры/продукта.

Что нравится нравится в тебе в работе аналитика?
Ты зришь в самый корень бизнеса. Это даже круче, чем корпоративный отчет о прибылях и убытках — ведь он агрегирован, а у тебя есть доступ к каждому покупателю и каждой транзакции. Гипотетически, выручка упала на 10% — плохой знак, но на уровне месячной отчетности для онлайн игр не смертельный, сезонные колебания бывают и посильнее. Однако, ты смотришь — это падение не равномерно размазано, а все сосредоточено в неком узком сегменте аудитории. И доступ к исходным данным дает возможность с хирургической точностью находить проблему.

А что не нравится?
Я вижу где дыра, где сливаются игроки, где утекают деньги — но не могу ее заткнуть. Я не разработчик, а в случае Инновы — и компания не разработчик вовсе, а издатель, и не имеет ни малейшей возможности быстро поменять что-то в продукте. Такие ситуации частенько бесят и фрустрируют.

Ты можешь расписать свой рабочий день, как аналитика? Какие задачи делал каждый день, каждую неделю, каждый месяц?
Каждое утро начиналось с кружки кофе и обхода проектных команд. Каждое утро я задавал вопросы, интересовался событиями, результатами акций, ивентов, нововведений, изменения цен и новостями от разработчиков наших игр. Итогом был обычно план работ на день и задачи на эту/следующую неделю. Недельные планы я никогда не любил, у нас практиковалась доска с эпическими задачами, объема недель и месяцев. Они, разумеется, детализировались, но прогресс измерялся не в “тасках в неделю”, а скорее “сделали ли мы эту большую задачу на отлично?” Примерно раз в месяц я делал крупномасштабный отчет по каждому проекту, и по итогам обсуждения мы частенько отсылали очередной пакет запросов и предложений нашим корейским партнерам.

С какими самыми частыми проблемами сталкивалась твоя команда?
Отсутствие данных. Есть гипотезы, смотрим — а данных, чтобы их проверить, нет. Или вообще нет, физически, или они сильно замусорены, или хранятся всего 30 дней, да еще в каком-нибудь хитровывернутом формате. Когда продукт разрабатывается без оглядки на аналитику и хранение данных, то порой мучительно сложно получать ответы даже на простые вопросы.

Какую самую сложную задачу ты решил, которой гордишься и сегодня?
Я смог изменить культуру достаточно крупной компании от состояния “Метрики? Не, не слышал” до ежедневной жажды информации, вдумчивого чтения отчетов и регулярных вопросов “а что бы нам улучшить?”

Какие есть отличия в анализе обычных однопользовательских игр и многопользовательских онлайн игр? Ведь это работа сложнее, но значительно интереснее.
В однопользовательских играх аналитики фактически нет. Есть фокус тестирование продукта и бывают кейсы вроде игр со скачиваемыми дополнениями, или тестирования конверсии в платящих для “шароварных” игр, но это капля в море по сравнению с онлайн играми. Это логично — в сингловой игре срок жизни игрока измеряется днями или даже часами, а в онлайн — месяцами и годами. Когда на первом месте лояльность и монетизация, а не пиар и дистрибуция, аналитика становится решающим фактором.

Я видел твои отличные статьи на habrahabr (Data mining в социальных играх и Предсказание ухода лояльных игроков в ММО) про прогнозирование ухода игроков из игры, удалось ли применить тебе эти знания на практике?
Ну в том объеме, что я описал в статьях, удалось. Наверное это вопрос уже к текущей команде, несут ли они флаг дальше :)

Сложно было освоить методы Data Mining для таких задач?
На удивление несложно. Я был в иллюзии, что data mining — это что-то из области фантастики, а оказалось все приземленно и практично. Разумеется, чем детальнее запросы и больше данных, тем сложнее инструменты нужны, но первая проба пера прошла очень быстро, просто и продуктивно.

Какие инструменты ты обычно используешь в работе?
Excel, Google Analytics, Tableau

Есть ли универсальные инструменты анализа сетевых игр? Стоит их внедрять или лучше писать свои?
Ни в коем случае не писать свои, детально не поработав с чужими. Тем более, что инструмент именно анализа лучше Экселя написать практически невозможно. Обычно самопальные решения — это студенческого качества “админки”, слепленные на коленке под конкретные запросы конкретного человека. Для фронт-энда аналитики, я строго не рекомендую даже пытаться писать что-то свое. Готовых отличных решений вагон, мой выбор — Excel и Tableau, но альтернатив много. Слой хранения данных, агрегации, ETL — тут я не большой специалист, но по опыту — пространство для изобретения велосипеда есть. От того, как данные хранятся для аналитики (а не для основного функционала продукта, это важное отличие!), зависит эффективность всей дальнейшей работы. Пресловутые “логи” игры могут быть детальнейшими и легко доступными, а могут лежать разрозненными xml строками в текстовых полях БД без описания.

Как тебе удобнее работать, с табличными данными или с готовой визуализацией? Насколько важно графическое оформление в исследованиях?
Я подсел на Tableau, где визуализация любых связей колонок и столбцов делается в два счета. С готовой визуализацией работать сложно, если возникают дополнительные вопросы (а что случилось в этом месяце с этим сегментом аудитории? каков их вклад в выручку от этой категории товаров?).Имея под рукой данные, получать ответы проще и легче. Но визуализация строго необходима для общения со всеми, у кого на визитке не написано “аналитик” :)

Где можно научиться игровой аналитике?
Нигде, к сожалению. Можно научиться инструментам — Google Analytics, QlikView, Tableau, можно научиться слушать и делать выводы (но это намного сложнее гугл аналитикса!), а вот применению всех этих знаний в играх — не учат. Сильно помогает смежная специальность геймдизайнера или продюсера — тогда ты знаешь какие гипотезы строить и где подводные камни обычно лежат.

Какими качествами и навыками должен обладать такой специалист? Нужно уметь программировать?
Ясный ум и логическое мышление — главные скилы. Аналитику, как и бухгалтеру, доверяют, если он может объяснить все свои выводы и если все цифры проверяемы. Периоды креатива и диких гипотез бывают, но они завершаются анализом действий и измеримыми результатами. Программирование и/или знание SQL — бонус, но несущественный. Я, например, не отличу LEFT JOIN от INNER, и это мне абсолютно не мешает, но умение писать макросы и вычислимые поля порой очень удобно. Вообще, технического специалиста найти проще, чем продуктового, который знает зачем люди в играх залипают на месяцы и годы, что они там делают, как это померять и как внести изменения.

Ты занимаешься своим самообразованием? Каким образом?
Книги, статьи, блоги, конференции. До 2009 года у меня на полке была абсолютно каждая вышедшая на английском книга про геймдизайн и продюсирование игр. По аналитике и монетизации пришлось нырять в блоги, поскольку до сих пор есть всего одна книга на эту тему. Плюс опыт смежных областей — банки, телекомы — все, кто работает с миллионами разнородных покупателей.

Я знаю, что ты ездишь на конфереции за пределы России. Как тебе это помогает расширить кругозор?
Очень помогает общение с зарубежными коллегами. В России, к сожалению, цветет и пахнет паранойя и сокрытие ото всех любой информации. А на той же Game Developers Conference в Сан-Франциско можно увидеть графики и цифры по проектам мирового масштаба, послушать откровенные рассказы что сработало, а что нет. Плюс конференции стали очень актуальны в эпоху игр для соцсетей, породивших огромную волну интереса к аналитике, метрикам, их роли в бизнесе и управлении компаниями.

Какие книги ты бы порекомендовал прочитать?
Web Analytics 2.0 — Слово “web” в названии не ключевое, эта книга в первую очередь про способ мышления и настройку мозгов на правильные вопросы, а не на подсчет каких-то метрик.

Programming Collective Intelligence — Отличное практическое введение в data mining

Social Game Design — Единственная книга про аналитику и монетизацию онлайн игр

Чтобы ты порекомендовал делать руководителям небольших компаний, у которых аналитика пока совсем не развита? С чего начать?
Первое — с вопросов к себе и своей команде. Что вы действительно хотите знать? Не на уровне “было бы прикольно посчитать”, а на уровне “я не сплю, зная, что где-то здесь мы теряем деньги”. Второе — с самостоятельных ответов на них. Я регулярно подрабатываю Капитаном Очевидностью — компании мне платят $200 в час, чтобы я сказал то, что они и без меня знают. Почему у вас плохая конверсия контекстной рекламы? Потому что после клика на лэндинге только 40% оказывается в игре — игроки не понимают, что черный экран — это загрузка, а не баг. Для этого не нужна система аналитики, для этого надо поставить себя на место пользователя. Очень многие ответы дает не аналитик, а здравый смысл.

Второе — вкладывайтесь в людей, а не в инструменты. Правильные логи в MySQL и хорошая сводная таблица в Excel творят чудеса. Вам не нужны дорогие Contagent, Vertica или SAS, вам нужны люди, задающие правильные вопросы, и один грамотный SQL инженер. Причем первые, скорее всего, у вас уже есть, вы их просто не слушаете.

Ну и третье — аналитика это больше, чем просто статистика и отчетность. Не ставьте во главу угла месячный отчет. Если Самая Важная Цифра в нем упала на 30% — вы будете знать почему и можно ли что-то изменить? Роль аналитика — не считать потери, а упреждать их, заранее задавая правильные вопросы и обращая внимание на нужные цифры. Нанимайте людей, задающих вопросы, а не кодирующих формулы и графики.

Читать дальше →

Читать дальше...

Интервью с веб-аналитиком Алексеем Ильиным

Всем привет, публикую четвертое интервью. Сегодня мы говорим о веб-аналитике с Алексеем Ильиным. Алексей имеет большой опыт в этой области, я его очень ценю как специалиста.
Прошу не стесняться задавать вопросы. Здесь есть где копнуть глубже :-) . Я попрошу Алексея ответить на вопросы в комментариях. Если понравилась статья, расшарьте или лайкните ее в соц сетях.
Напоминаю, что в прошлом интервью участвовали сотрудники Викимарта Аникин Александр и Михаил Сливинский, Big Data Architect банка ТКС Павел Мезенцев.
Алексей Ильин

Краткая биография Алексея Ильина:
Закончил МФТИ, в 2005 году пришел работать в компанию HeadHunter менеджером проектов. С 2009 года занимается веб-аналитикой, разработал и проводит курс по Google Analytics. Ссылка на персональную страницу и его профиль в фейсбук.

Алексей, привет! Расскажи пожалуйста, чем ты занимаешься и где работаешь?
Я полтора года работал в частном инвестфонде Novstream Internet Advisors, занимался всесторонним анализом интернет-проектов. До этого построил отдел аналитики в агентстве iConText, сейчас выхожу на работу в Lamoda начальником отдела продуктовой аналитики.

Как ты думаешь, что входит сейчас в сферу веб-аналитики?
Задача веб-аналитика формулируется просто: среди цифр искать идеи по улучшению показателей веб-проектов и проверять эти идеи. Для этого надо уметь задавать вопросы и отвечать на них. В вебе очень много данных, свой инструментарий и методологии сбора и анализа, высокая скорость разработки и широкие возможности для экспериментов.

Профессия «веб-аналитик» редкая: на Хедхантере, например, таких вакансий сейчас около тридцати, на порядок меньше, чем упоминаний Google Analytics. Но сегодня каждый интернет-маркетолог должен быть веб-аналитиком. На Западе есть термин Growth Hackers: это профессионалы, которые умеют ориентироваться в разнообразных возможностях развития и продвижения в Сети, работают с цифрами, постоянно экспериментируют, обучаются, расширяют свой инструментарий. Они ценятся очень высоко. В России, где для таких людей ещё нет специального названия, Growth Hackers в интернет-проектах тоже на вес золота . Найти такого мастера очень сложно.
«Чистые» веб-аналитики нужны только в больших командах с четким функциональным разделением. В маленьких и быстрых командах нужен человек с широким кругозором и функционалом.

Как ты принял решение заняться веб-аналитикой?
Пять лет назад я работал техническим директором в стартапе и очень расстраивался из-за того, что плохо понимал тонкости рекламы и маркетинга. Проблемы — в том числе с продвижением — привели к тому, что в кризис компания закрылась.
Я читал книги, слушал курсы и постепенно начал понимать, что движет людьми при посещении сайтов и как оптимизировать проекты для лучших продаж. Любовь к цифрам и опыт в программировании привели в веб-аналитику: прошел курс Google Conversion University, сдал GAIQ, научился вести контекстные кампании и оптимизировать их «по приборам».  А потом пошёл в iConText работать с большими проектами и клиентами.

Какое место в работе инвестиционного фонда занимает веб-аналитика?
Отслеживать и прогнозировать результаты работы веб-бизнесов критически важно для инвестора. Перед инвестированием необходимо провести due diligence (инвестиционный аудит): проверить показатели проекта, оценить рынок, хотя бы в общих чертах спрогнозировать спрос. После подписания соглашения акционеров — следить за KPI, помогать с продвижением, исследовать возможности развития для продукта. Именно этим я и занимался в фонде Новстрим. 

Чем это отличалось от работы консультантом в iContext?
В большом агентстве интернет-рекламы есть три вида задач. 
Во-первых, работа с сайтами и кампаниями клиентов: их очень много, каждый отличается от другого, у каждого свой фокус, свои цели. Кругозор при такой работе расширяется с огромной скоростью.

Во-вторых, автоматизация и разработка внутренних инструментов для сотрудников агентства и клиентов. Это очень благодарный труд: избавление менеджеров от рутины, повышение качества сервиса, вкусная и нетривиальная разработка. 

В-третьих, обучение клиентов и сотрудников агентства. Очень люблю проводить семинары для заинтересованных слушателей. 
Конечно, ритм работы в агентстве ни с чем не сравним: скорость, общение с десятками разных заказчиков, всё новые и новые задачи. Отличная мясорубка для быстрого входа в тему. В инвестфонде — другие преимущества: можно намного глубже погружаться в детали бизнеса, взаимодействовать со всеми ключевыми подразделениями и непосредственно влиять на развитие продукта. 

Что тебе нравится в работе аналитика? 
Я испытываю настоящий адреналиновый кайф, когда ловлю инсайты — нахожу закономерности в данных, подтверждаю гипотезы, отвечаю на нетривиальные вопросы.
Очень нравится, что работаю на стыке совершенно разных дисциплин: гуманитарных и технических (никогда не мог понять, технарь я или гуманитарий), передовых и классических (множество критически важных для Интернета понятий и методов появились в Штатах ещё в начале прошлого века, когда там был бум директ-маркетинга). Благодаря этому получается видеть общую картину, понимать бизнес в целом и видеть взаимодействия в сложных системах.

А что не нравится?
Чем больше я работаю, тем чаще утыкаюсь в ограничения. Есть два главных труднопреодолимых ограничения: нехватка данных и нехватка доверия.

Нехватка данных — беда маленьких проектов. Статистика — суровая хозяйка: пока не собрано достаточно данных, никаких выводов сделать нельзя. Очень жаль, что Google Analytics не умеет считать доверительные интервалы для конверсии: если провести такое упражнение с небольшим сайтом, ужасаешься, как мало статистически значимой информации содержится в отчётах. Ситуация усугубляется тем, что статистика контринтуитивна: даже если я помню об этих ловушках, я все равно в них попадусь, если не буду честно считать дисперсию и доверительные интервалы.

Нехватка доверия меньше связана с размером проекта. С ней сталкиваются все, кто работает с цифрами. Очень забавно наблюдать это в инвестфонде: в одном проекте мы уговариваем руководителей прислушаться к цифрам, в другом — они уговаривают нас. Получается обычно плохо: если человек не готов верить в цифры, убедить его удается далеко не всегда. Чтобы получилось, нужно самому доверять своим цифрам, самому ответить на все каверзные вопросы заранее. Я ужасно горжусь проектом, который отстоял перед инвестором необходимость очень крупных трат с помощью цифр и исследований. 
Доверие нельзя потребовать или купить, даже имея формальную власть. Но оно необходимо, чтобы быстро и правильно принимать решения.

Каковы частые проблемы веб-аналитики, с которыми сталкиваются интернет-компании?
То самое недоверие к цифрам, на удивление. Очень легко «продать» людям идею измерения, экспериментирования, оптимизации по приборам. Намного сложнее встроить этот процесс в ежедневную рутину, не скатываясь к «чутью». Часто сбор данных становится формальным процессом, ритуалом подношения отчётов начальству. Это уже не аналитика, конечно.

Ну и технические проблемы сбора данных весьма распространены. Настройка самого обычного Google Analytics нетривиальна: междоменное отслеживание, события для AJAX, передача дополнительных данных и маркировка целей — это обязательные этапы почти для каждого проекта. Чтобы доверять данным, нужно быть уверенным в том, что они собираются правильно; понятно, почему несоответствие данных в Метрике и GA вызывает у многих руководителей лёгкую панику и подрывает рабочие процессы.

Ты можешь расписать свой рабочий день? Какие задачи выполняешь каждый день, каждую неделю, каждый месяц?
Каждый день отличается от предыдущего, и это мне нравится больше всего. Вот типичные задачи, которые я решаю на работе:

  • Формулирую вопросы и ищу на них ответы. Есть много маленьких задачек: вопросы от клиентов, простые решения, изменения на сайтах. Но интереснее всего задачи большие: фундаментальный анализ аудитории, подготовка к редизайну, запуск больших кампаний. Тут удаётся подумать вдоволь.
  • Контролирую показатели в системах аналитики и ищу причины изменений, если они произошли.
  • Общаюсь с коллегами, рассказываю о найденном, помогаю сформулировать вопросы и на основе ответов  принять решения. 
  • Разрабатываю инструментарий. Я сторонник постепенной автоматизации: если вижу, что начинаю часто повторять одни и те же действия, стараюсь их автоматизировать.
  •  

Как ты повышаешь квалификацию?
Читаю блоги, новости инструментов (за изменениями в Google Analytics не так-то просто успевать!), книги. Пробую в деле новые инструменты, оцениваю их полезность.
Постоянно возникают новые задачи и проекты в новых для меня предметных областях, поэтому обучение стало частью рабочего процесса. Когда я перестаю учиться новому, мне быстро становится скучно и неинтересно.

Какую самую сложную задачу ты решил, которой гордишься и сегодня?
Было много сложных и интересных задач: кросс-канальный трекинг, трехкратное увеличение конверсии, Больше всего горжусь, когда вижу, что научил людей чему-то новому. Верю, что благодаря этому в мире становится больше здравого смысла.

Какие инструменты ты используешь в работе?
Чаще всего — продвинутые бесплатные инструменты для анализа потока кликов: Google Analytics, Метрику. Всё чаще приходится обрабатывать сырые логи и строить произвольные отчёты: такие задачи отлично решаются простенькими скриптами на Python. Обожаю этот язык и его библиотеки!

Многие задачи, впрочем, нужно решать вообще другими инструментами. Например, системами опроса пользователей вроде Reformal или 4q. Отзывы пользователей незаменимы при построении гипотез: недавно мы поставили Reformal на пару проектов и тут же нашли несколько болевых точек, которые никогда бы не увидели в Аналитиксе. Очень жду, когда в России заработают Google Consumer Surveys. 

Не все обращают внимание на возможности анализа в вебе вне сайта. Анализ поисковых запросов, дискуссий на социальных площадках, посещаемость конкурентов и аналогов — это тоже возможность получить ценнейшие данные ещё до того, как запустился ваш проект. Инструменты — Wordstat, Вебомер/SimilarWeb, поиск по блогам, самописные паучки на Python, вытягивающие статистику из интересных уголков веба. 

Ну и сплит-тестирование, конечно. Гипотеза приобретает ценность только после того, как вы убедитесь в её корректности. Можно, конечно, не проверять гипотезы, но тогда вы не пользуетесь одним из главных достоинств Веба — гибкостью и скоростью — и теряете конкурентные преимущества. Google интенсивно развивает встроенный в Analytics инструмент проведения сплит-тестов, в большинстве случаев его фич вполне достаточно.

Стоит ли тратить деньги на продвинутые инструменты, кроме Google Analytics? Есть ли они в веб-аналитике?
Думать о платных или самописных инструментах стоит, если вы можете сформулировать конкретные бизнес-вопросы, на которые бесплатные инструменты ответить не способны, а продвинутые — могут. Обязательно надо посоветоваться с командами, которые уже пользуются платными продуктами: обещания продавцов этих решений частенько отличаются от реальности.

В анализе потока кликов Google Analytics практически всегда достаточен. Но потоком кликов инструментарий не ограничивается: например, функционал визуализации внимания пользователей, который сейчас доступен бесплатно в Метрике, раньше можно было получить только за деньги в ClickTale (и чаще всего он стоил этих денег).

Какими качествами и навыками должен обладать веб-аналитик? 
Веб-аналитика находится на стыке нескольких совершенно разных дисциплин: маркетинга, статистики, веб-разработки, разработки интерфейсов. Я плохо себе представляю, как работать аналитиком, не имея опыта хотя бы в нескольких дисциплинах: опыт развивает интуицию и резко снижает когнитивную нагрузку. 

Для того, чтобы быстро и правильно отвечать на возникающие вопросы, нужно уметь решать две задачи: строить дерево гипотез (не упуская правильный вариант) и резать лишние ветки перед тем, как проверить эти гипотезы. Иначе найти правильный ответ не удастся: в одном Google Analytics можно построить тысячи отчётов. Просмотреть их все физически невозможно. Интуиция помогает и делать предположения, и выбирать из них самые правдоподобные.
А ещё надо уметь убеждать, презентовать, общаться с коллегами и начальством. Решения становятся ценными только после того, как претворяются в жизнь.

Нужно уметь программировать?
Программирование очень помогает в работе. Я бы, правда, не называл это настоящим программированием: достаточно уметь писать скрипты на простых языках типа Python, которому несложно научиться на Codecademy. Если вы умеете быстро собирать данные и преобразовать форматы, агрегировать информацию из логов, визуализировать что-нибудь нетривиальное, исчезает трение и возникает желание экспериментировать и пробовать.
Я знаю гениального маркетолога-аналитика, который не умеет программировать. Но в таком случае очень полезно иметь поблизости кого-то, кто умеет.

Что ты думаешь про образование веб-аналитиков? Где его лучше получить? 
Научить веб-аналитике очень сложно: я сам проводил курсы и семинары и знаю, что для качественной работы недостаточно просто пройти курс. Необходимо наработать ту самую интуицию. 
У профессионалов, с которыми мне довелось работать, есть опыт в разработке веб-проектов, в маркетинге, они знают математику и статистику. Но у каждого был свой путь, по которому они прошли, получая этот опыт.

Ты участвовал в организации конференции по веб-аналитике iMetrics, можешь рассказать пару слов о ней?
Нам очень хотелось организовать полезную, содержательную конференцию, учитывая разный уровень подготовки участников и потребности бизнесов. Надеюсь, это удалось: мне самому были интересны некоторые доклады, а для начинающих мои коллеги рассказывали основы. И, конечно, все были в восторге от выступления Авинаша Кошика! 

В этом году планируется уже третья конференция iMetrics, жду новых докладов и интересных западных гостей. Большое спасибо моим коллегам Ире Матвиенко и Андрею Юнисову за интересную конференцию!

Какие книги ты бы порекомендовал прочитать?
Моей первой книгой про веб-аналитику была Landing Page Optimization Тима Эша (переведённая недавно МИФом). Очень мотивирует, настоятельно рекомендую. 
Хороши книги Айзенбергов: Always Be Testing, Waiting For Your Cat to Bark.
Конечно же, блог и книги Авинаша Кошика.
По Google Analytics — книгу Брайана Клифтона Advanced Web Metrics with Google Analytics.
Очень не рекомендую переводы издательства «Диалектика-Вильямс». У них беда с переводчиками, издания скорее вредят читателю, чем помогают. К сожалению, у них выходит большая часть переводов отличных книг про веб-аналитику. Прокачивайте английский и читайте оригиналы. :(

Я администрирую фейсбучную группу по веб-аналитике — в ней можно задавать вопросы и делиться опытом (только не забывайте прочитать правила!). 

Что ты рекомендуешь делать руководителям небольших компаний, у которых аналитика пока совсем не развита? 
Отдавайте себе отчёт в том, что «веб-аналитика» — это не инструмент и не должность. Это новый взгляд на вещи и прежде всего — для руководства. Чтобы деятельность по анализу данных имела смысл, вы должны верить выводам, которые найдёте в данных, даже если они противоречат вашим мнениям.

Не начинайте с инвестиций в инструменты. Найдите человека, которому сможете доверять, и работайте вместе с ним над тем, чтобы научиться доверять цифрам и принимать серьёзные решения на их основе.

Общайтесь с пользователями. Цифры хороши, но качественные исследования позволяют во много раз быстрее найти многие слабые места в вашем проекте. 

Не бойтесь экспериментировать: веб создан для экспериментов. «Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее».

P.S.: Прошу не стесняться задавать вопросы. Здесь есть где копнуть глубже :-) . Я попрошу Алексея ответить на вопросы в комментариях. Если понравилась статья, расшарьте или лайкните ее в соц сетях (ссылки ниже).
Читать дальше →

Читать дальше...

Интервью с Big Data Architect ТКС банка

Всем привет! Продолжаем нашу серию интервью. В прошлом интервью участвовали Михаил Сливинский и Александр Аникин. Сегодня мы коснемся темы машинного обучения, Big Data и Hadoop в интервью с Павлом Мезенцевым, Big Data Architect банка «Тинькофф Кредитные Системы»

BM_0015 (1) Павел семь лет назад закончил Физический факультет МГУ, а в прошлом году Школу Анализа Данных Яндекса.
За свою карьеру успел поучавствовать в работах по получению радиозображений в Радиотехническом Институте,
разработке “базовых технологий” в InfoWatch.
Затем занимался созданием “Модели пользователя” (+ ссылка на roem) в Рамблере.
Сейчас работает Архитектором Больших Данных в банке “Тинькофф Кредитные Системы”. Павел ведет блог о Hadoop.

Павел, привет! Расскажи пожалуйста, чем ты сейчас занимаешься и где работаешь?
С недавнего времени я работаю в банке «тинькофф кредитные системы» в качестве архитектора больших данных (Big Data Architect). Кроме этого свой блог, активно участвую в формировании коммьюнити «Больших Данных» в России.

Что входит в задачи архитектора Big Data?
Тема обработки «Больших данных» началась в ТКС задолго до моего прихода.
Главная задача сейчас — найти новые практические бизнес-кейсы, как «Большие данные» могут принести пользу банку, подготовить новые небольшие пилоты, демонстрирующие применимость этих кейсов у нас.

У тебя есть своя команда в ТКС, или ты работаешь в одиночку?
Сформировать команду — это одна из моих задач в том числе.
Это не означает, что я нахожусь в вакууме — мне приходится плотно взаимодействовать и с аналитиками, и с технологами, и с разработчиками онлайн портала.

Как ты попал в в сферу machine learning? Что ты понимаешь под машинным обучением?
С машинным обучением я начал знакомиться 5 лет назад, когда собирался делать научную работу у профессора Жданова. Вскоре я понял, что практический опыт важнее для меня, чем научные исследования и покинул лабораторию.
Первые реальные проекты из области machine learning я начал делать в InfoWatch (специализируется на защите информации). Наша команда писала для этого классификаторы, поиски по дубликатам, выделялки сущностей и другие похожие инструменты.
Строгое определение Машинного Обучения можно найти на Википедии. В двух словах — это такие алгоритмы, которые умеют и должны настраиваться в процессе работы. К ним относятся классификаторы, кластеризаторы, рекомендательные системы, системы автономного управления.

Раньше был популярным термин «Data mining», теперь «Big Data». Как ты думаешь, эти термины придумали маркетологи?
И да и нет.
На конференциях этой весной я видел, как вендоры сдувают пыль со своих существующих 15 лет продуктов, делают элементарную интеграцию с hadoop и называют это “Большими данными”.
С другой стороны системы типа hadoop и распределенных noSQL баз позволили применять техники Data Mining’а к информации о транзакциях, звонках, машинных логах — всей той, которая раньше считалась шлаком и выкидывалась. За счет Big Data большие компании получили возможность персонализироваться для своих клиентов, а так же хранить глубокую историю своей работы для исторической аналитики. В общем появилась новая ниша.

Что придет на смену Big Data?
Я не думаю, что ее что-то сменит. 15 лет назад Линукс был такой же революционной прорывной технологией, а теперь он спокойно используется в каждом дата центре. Через 5 лет свой вычислительный кластер будет в любой компании, на рынке появятся компании-провайдеры данных, типовые решения по персонализации.
Экосистема хадупа в ближайшие несколько лет будет дополнена компонентами “Реального” времени, в которых ответы пользователям будут выдаваться в секундном и субсекундном диапазоне в обмен на ослабление требований по отказоустойчивости. В самом хадупе парадигма mapReduce отойдет на второй план и станет одной из многих вычислительным парадигм, вместе в MPI, MPP и Master-Worker.

Что нравится тебе в работе архитектора Big Data?
Меня захватывает масштаб проектов, которые делаются в ТКС в этой области. По сути они ограничены только пределами нашей инициативности.

А что не нравится?
Ходить на скучные совещания. :)

Какую самую сложную задачу ты решил, которой гордишься и сегодня?
Самой сложной моей задачей было сделать продакшен версию “Модели Пользователя” Рамблера.

Хотелось бы больше подробностей. В чем заключалась задача, и почему она была важна для Рамблера?
Модель Пользователя Рамблера ежедневно анализирует события, происходившие на портале и его партнерах за последний месяц и на основе этого определяет пол, возвраст, интересы для 100 миллионов человек, таргетирует рекламу по особенностям поведения посетителей. Сейчас Модель используют все основные сервисы Рамблера, например главная страница формирует персональные рекоммендации на ее основе.

Данные у вас (Рамблер) были, нужно было просто реализовать математическую модель? Какие методы оказались успешными для решения этой задачи?
Исходные данные для задачи у нас уже были. Это логи веб-серверов с информацией кто куда во сколько заходил. Два года назад они писались на жесткие диски, которые складывались в большой ящик под столом. Извлечение из них какой нибудь ценной информации занимало несколько недель.
С появлением Hadoop кластера все стало гораздо проще и появилась возможность гонять машинное обучение на полных данных. Разработанная математиками модель работала на одной машине, в один поток и умирала, когда количество событий превышало 10 млн (у нас событий в тысячи раз больше). В ней использовались сложные алгоритмы выделения фич, которые нам пришлось переносить на MapReduce. И это заработало. Потом за полтора года развития проекта алгоритм был значительно нами усовершенствован.

Сейчас это система в «продакшене»? Насколько она эффективна?
Она работает в продакшене уже полтора года. Точные цифры эффективности можно посмотреть тут. По данным ТНС точность определения пола 82%. Точность определения возраста 79%. Если я не ошибаюсь — это единственная такая система, проводившая аудит в ТНС.
После введения таргетирования рекламы по интересам пользователя кликабельность баннеров выросла в 10 раз. Этой зимой проект окупил вложенные в него деньги и начал приносить компании чистую прибыль.

Что бы ты посоветовал компаниям, у которых есть данные, но пока они их не используют? С чего начать?
Определите, какую полезную информацию надо извлекать из ваших данных в ваших бизнес кейсах и предложите математикам построить мат модели, которые будут это делать.
Сделайте небольшой пилот по модели и оцените качество получаемой информации. Сколько денег вы сможете заработать, используя новую информацию? Отобъються ли затраты? (Надо понимать, что вокруг этой темы развита шумиха и заниматься ей только оценив свои затраты и возможные выгоды)
Если результат пилота вас устраивает — тогда за дело.

Какие инструменты и языки программирования ты используешь в работе? Можешь сказать, какой процент своего рабочего времени для каждого инструмента?
Сейчас основной язык программирования — это python, на котором решаются задачи экспорта и очистки данных. + Немного hive и разных утилит Hadoop’а.

Стоит ли тратить деньги на «крутые» инструменты анализа данных? Или достаточно Open Source?
Лично я предпочитаю Open Source решения — при недостатке информации всегда можно залезть и почитать исходный код, на тему того, как это работает. Понимание, как инструмент работает позволяет избежать проблем, порождаемых “законом дырявых абстракций
Плюс, в отличии от приобретенного инструмента, ты легко можешь отказаться от одного из них в пользу другого, или написать что-нибудь сам.

Правило Парето в машинном обучении звучало бы так: 20% усилий дают 80% результата. Работает ли это в машинном обучении?
Машинное обучение — это всегда исследовательский проект. Поэтому там отношение результата к приложенным усилиям может быть еще меньше. :)

Как ты думаешь, какие основные причины провалов проектов Big Data, если таковые имеются?
Коллеги из других компаний предпочитают делиться историями успеха а не историями неудач, поэтому про провалы проектов с большими данными я ничего не слышал.
Три основных риска в таком проекте:

  • данные могут оказаться недостаточными для решения бизнес задачи с заданным качеством
  • программисты могут недостаточно хорошо знать математику, чтобы с извлечь из данных пользу
  • математики могут недостаточно хорошо программировать, чтобы сделать продакшен систему :)

Что ты думаешь про образование по направлению «Машинное обучение»? Где его лучше получить?
Этому точно хорошо учат в Школе Анализа Данных Яндекса (далее ШАД). На coursera.org есть замечательный курс по Машинному Обучению (вообще она именно с этого началась).
Также очень полезно заниматься научной работой у передовых ученых в этой области. На вскидку я могу вспомнитьШиряева, Бурнаева,Воронцова, Жданова

Я слышал мнение, что в ШАД обучение сильно теоретизировано. Ты ведь там учился, можешь назвать плюсы и минусы обучения в ШАД?
В ШАДе организаторам удалось собрать “зубров” в области теории и практики data science, у которых можно учиться. Отделение “анализа данных”, на мой взгляд, более теоретическое. Отделение “computer science” — более прикладное.
Я считаю что ШАД — это большой подарок от Яндекса тем кто хочет стать специалистами в data science.

А вообще, нужно ли аналитику уметь писать код? Зачем ему это?
Если аналитик занимается “анализом данных”, то несомненно. Программировать приходится извлечение и подготовку данных, выделение фич.

Ты занимаешься своим самообразованием? Каким образом?
Регулярно слушаю лекции на coursera.org. Читаю книги по теме, которые выходят чуть ли не каждый месяц. Посещаю конференции. Вот и организовывать их начал :) ))

Какие книги ты бы порекомендовал прочитать?
Если человек собирается заниматься большими данными — пусть прочтет

Ты выступаешь на конференциях, какие конференции рекомендуешь посетить?
Однозначно надо ходить на мини-конференции и встречи, где энтузиасты обсуждают state-of-the-art по теме. Их можно искать на meetup.com. Такие небольшие мастерские, где специалисты делятся опытом друг с другом.
В конце сентября намечается интересная конфа у Школы Анализа Данных
Решая, стоит ли идти на крупные конференции, типа highload, задавайся вопросом: билет на конференцию стоит около 10 000 тысяч рублей. Что полезного я получу/узнаю на конференции за эти деньги? Пошел бы ли я на нее, если участие оплачивал бы не работодатель, а я сам?

Я знаю, что ты участвовал в организации Big Data Week в Москве, поделись впечатлениями?
Один знакомый скинул мне предложение организовать Московскую секцию фестиваля, и я согласился. Основной концепцией было дать возможность специалистам встретиться, рассказать о своих успехах в Больших Данных, поделиться опытом друг с другом.
Предложенный формат всем понравился. Рамблер помог с местом и организацией мероприятия. Докладчики частично откликнулись на призыв сами, частично нашлись через знакомых.
В результате все прошло как по маслу, и мы получили в ответ множество положительных отзывов.

Если ты будешь проводить такую конференцию в следующем году, чтобы ты изменил?
Во-первых, стоило бы максимально распространить информацию о конференции в СМИ, так как многие из моих знакомых специалистов о ней попросту не знали.
Во-вторых, перерывы между докладами стоило сделать минут по 30, чтобы пришедшие гости успели бы перезнакомиться между собой и как следует пообщаться.
В остальном, на мой взгляд, все было на высоте.

Чтобы ты порекомендовал делать руководителям компаний, у которых аналитика пока не развита?
Самое главное здесь — находить и привлекать к себе талантливых специалистов. Тех же выпускников ШАДа, к примеру. Можно брать пример с Яндекса, Рамблера, как эйчары и менеджмент создают в компании творческую продуктивную атмосферу для своих специалистов.

Ну и последний вопрос, почему ты не стесняешься звания «Ботаник» :-) , как у тебя написано на moikrug.ru?
Потому что сам считаю себя ботаником. :)
Мне нравится учиться, разбираться в новых областях и объяснять их своим коллегам. В IT, где новые идеи и инструменты появляются каждый год нельзя стоять на одном месте.
Узнал, что на западе для этого используется термин Lifelong learning
Читать дальше →

Читать дальше...

Hadoop в рекомендациях: трилогия

elephant_rgb_sq


Во второй половине 2012 года я выступал на конференциях и рассказывал про нашу (Wikimart) реализацию системы рекомендаций в помощью Hadoop. И мне показалось несправедливым, что они лежат в архивах. Публикую их без изменений.




Итак первая презентация, которую я показывал в России. Она также есть на английском языке. Она больше об инженерных проблемах, которые мы решили.




Вторая презентация посвящена тому, как мы ее решали. Ее я показывал на Highload 2012.



Третья презентация была показана на iMetrics 2012. В ней немного рассказывается про простые алгоритмы рекомендаций.

Читать дальше...

Интервью с руководителем отдела SEO и маркетинговой аналитики Викимарт

Публикую свое второе интервью из моей серии интервью с профессиональными аналитиками.
Сегодня нас порадует Михаил Сливинский, руководитель отдела поисковой (SEO) и маркетинговой аналитики компании Wikimart.ru. В прошлом интервью был Александр Аникин, директор по аналитике Wikimart.ru. Александр руководит общей аналитикой и подчинен CEO компании, Михаил сосредоточен на маркетинге и подчиняется непосредственно директору по маркетингу.

Краткая биография Михаила
Slivinskiy

По образованию химик-технолог, закончил РХТУ им. Д.И.Менделеева в конце прошлого века. Интересы в IT разнообразны, прошедшие пять лет — 100%-я фокусировка на интернет-маркетинге: привлечении трафика, веб-аналитике, инструментах повышения эффективности. Мы извлекаем знания, создаем инструменты, повышаем эффективность. Строим счастье пользователя и бизнеса! :) Михаил ведет личный блог, посвященный его профессиональной деятельности.

Михаил, привет! Расскажи пожалуйста, чем ты занимаешься и где работаешь?
Рома, привет. За мной стратегия по seo и отдел поисковой и маркетинговой аналитики в Викимарте.

Чем занимается твоя SEO команда в Викимарте?
Мы строим эффективный маркетинг. Основная задача — максимизировать оборот с органического поискового трафика. Это означает, что мы вкладываем много сил в маркетинговую аналитику и построение инструментов. Без этого невозможно конвертировать трафик.

Можешь поподробнее рассказать SEO внутри компании для непосвященных людей. Как SEO специалисты добиваются результатов? Ведь есть  «черное», » серое» и «белое» SEO.
Да, поисковые машины по-разному относятся к действиям оптимизаторов. Бизнесу нужен трафик и продажи, но нужна и стабильность. Поэтому важно построить правильную методологию seo, избегая черных механик и фокусируясь на стратегически важных и менее рисковых зонах. Есть две области, в которых можно работать, не конфликтуя с поисковыми машинами: контент и удовлетворенность пользователя. С моей точки зрения, действия, направленные только на управление поисковой машиной, опасны и стратегически недолговечны. Довольный покупатель — обязанность и главная цель маркетолога и оптимизатора. Имхо :)

Что входит в маркетинговую аналитику, ведь твоя команда ей занимается?
 Довольно много разных вещей. Во-первых, изучение покупателя и его потребностей. Какой ассортимент востребован? Сколько SKU нужно иметь в категории? Как оценить качество цены? Как сфокурирован поисковый спрос? Какова сезонность спроса и конверсии? Как пользователь выбирает? Какие характеристики и атрибуты моделей важнее прочих? И так далее :) Это лишь некоторые вопросы, на которые мы ищем и находим ответы.
Это знание порождает инструменты: управление ранжированием моделей в листингах, инструмент оценки качества ассортимента, внутрисайтовый поиск, рекомендательные системы.
В общем, классический r&d :)

Как ты попал в аналитику SEO?
Я много лет в IT, занимался разными вещами, от администрирования сетей до написания cms для интернет-магазина. Лет шесть-семь назад основной фокус сместился на интернет-маркетинг, но опять в формате «и жвец, и жнец, и на дуде игрец». Ушел в агентство, год работал аналитиком seo. Ниша понравилась больше, чем агентство, поэтому дальше года полтора занимался аналитическим фрилансом. В этот период познакомился и поработал с wildberries и другими сильными компаниями. А дальше — Викимарт.

Что тебе нравится в работе аналитика SEO?
Во-первых, свобода. Большинство вещей в маркетинговой аналитике мы делаем не потому, что нам пришла задача сверху. Сами находим ниши, в которых мы пока мало знаем или неэффективны. Придумываем алгоритмы, источники данных, способы проверки гипотез. И — строим, проверяем, анализируем, улучшаем :)
Во-вторых, новизна. Я сужу по публикациям и интересу к нашим работам на конференциях.
В-третьих, у нас классная команда и атмосфера, у ребят горят глаза.

Я  тоже заметил, что часто важные задачи сами появляются внутри аналитической команды. А что не нравится?
Да мне все нравится, в общем-то :) Есть отдельные вещи, конечно. Например, средний уровень компетенции в отрасли довольно низкий. Могу судить об этом, вижу на конференциях, семинарах, форумах. Вижу много пустых фантазий и иллюзий. С другой стороны, есть много возможностей для быстрого накопления знаний и роста. Надеюсь, мои передачи и выступления приносят толику пользы ;)

Ты можешь расписать свой рабочий день, как аналитика? Какие задачи делаешь каждый день, каждую неделю, каждый месяц?
Иногда мы находим и совместно прорабатываем новые идеи в поисковом продвижении или аналитике. Часто встречаемся, чтобы сфокусироваться на важных задачах и сущностях. Несколько раз в неделю провожу внутренние семинары ддля стажеров. И каждый день много думаю, читаю, ищу :)

Как ты распределяешь задачи по аналитике для своей команды?
У каждого есть зона интересов и свои сильные стороны. Обычно ребята сами расхватывают задачи :)

Какую самую сложную задачу ты решил, которой гордишься и сегодня?
Сложный вопрос. Когда задача уже решена, она уже не выглядит такой сложной и непонятной, как в начале. Больше того, я часто задаюсь вопросом — «а что мешало мне придумать решение раньше?» :)
Я рад тому, что мы медленно, но верно улучшаем свое понимание покупателя. Я рад тому, что мне удается создать подходящую для работы среду и найти единомышленников. Ну и, конечно, улучшение экономики сайта и удовлетворенности покупателя.

Какие инструменты ты используешь в работе?
В Викимарте есть отдел платформенной аналитики, коллеги отдают нам статистику сайта в нужных срезах и форматах. С другой стороны, нам нужны внешние данные (скажем, сезонность спроса в категории «велосипеды»), или цены на Iphone5 в Воронеже. Такие данные мы извлекаем сами. Обрабатываем по-разному, в зависимости от задачи. Grep, excel, R, SQL, php и т.д., в зависимости от задачи :)

Стоит ли тратить деньги на «крутые» инструменты? Есть ли они в SEO?
Публично доступных, качественных и хорошо масштабируемых решений в SEO почти нет. Большую часть задач, от измерения позиций до расчета документной или запросной эффективности приходится делать самим. Внутри маркетинговой аналитики есть небольшая группа разработчиков для решения таких задач.

Большая необходимость держать свою  SEO разработку? Ведь существует достаточно online сервисов для SEO. Чем занимается разработка в SEO в твоей команде?
Необходимость точно есть. Даже банальная проверка позиций по 90 тыс. запросов и построение понятных дашбордов пока никем не реализованы в виде публично доступного инструмента. Что уж говорить о более тонких материях :( У нас пока два разработчика в команде. Скоро их будет четверо, если хантеры не подведут :) Их функция — проектировать и разрабатывать инструменты для измерения ассортимента и управления ценообразованием; извлекать важные маркетинговые данные; готовить данные для систем рекомендаций.

Что ты думаешь про образование аналитиков по направлению SEO? Где его лучше получить? Нужно знать лингвистику?
Я знаю, Леша Чекушин ведет курс по seo-аналитике. Знаю его как хорошего специалиста, могу рекомендовать. Альтернативы мне неизвестны. Вообще, человеку со здоровой логикой и склонностью к анализу несложно зайти в seo-аналитику. Базовые представления о языке желательны, конечно. Термины n-грамма, стемминг или частотный словарь не должны ставить в тупик :)

Кстати, насчет стажеров. Как ты предпочитаешь «выращивать» команду? Нанимать новичков и обучать их или брать уже готовых специалистов?
Мы предпочитаем брать хороших, толковых стажеров. На семинарах и реальных задачах помогаем вырасти до аналитиков или маркетологов. Это непросто и требует времени, но результат того стоит :)

Где лучше искать стажеров в SEO? Какие требования к стажерам ты предъявляешь?
Мы ищем стажеров в среде выпускников сильных технических ВУЗов. Ожидаем увидеть логику, склонность к анализу, горящие глаза и интерес к нашим задачам ;) На собеседованиях предлагаем логические задачки, цель которых — не услышать правильный ответ, но увидеть разумную логику поиска решения.

Ты занимаешься своим самообразованием? Каким образом?
Да, постоянно хожу на конференции, смотрю семинары в записи, читаю статьи в области информационного поиска. Думаю, ищу параллели в других областях.

Ты упомянул статьи в области информационного поиска. Где ты их берешь и по какому принципу выбираешь? Ведь статей пишется очень много :-)
Это верно :) Источники самые разные, от списка литературы в хорошей статье до хороших блогов (например, http://www.seobythesea.com/) и поиска по словам-маркерам (в вебе или в специализированных онлайн-библиотеках типа ACM).

Я знаю, что ты много читаешь, какие книги ты бы порекомендовал прочитать?
Хороших книг по seo и аналитике мало. Классика: книжка Игоря Ашманова, Введение в информационный поиск, Mastering Search Analytics: Measuring SEO, SEM and Site Search.

Ты выступаешь много на конференциях, какие конференции рекомендуешь посетить?
Главное — уровень докладов, а не название конференции. Ищите информацию о докладчиках, читайте отзывы и впечатления. Даже на приличных по охвату конференциях чисто рекламные доклады, к сожалению, обычное дело.

Чтобы ты порекомендовал делать руководителям компаний, у которых аналитика пока не развита?
Развивать аналитику, конечно :) Вы должны выступить квалифицированным заказчиком. Ситуации бывают очень разные, что-то можно делать внутри, что-то отдавать на аутсорс, но поставить задачу и принять ее должен бизнес. Поэтому чем быстрее появятся компетенции внутри, тем меньше риски.

Как ты относишься к идее централизации функции аналитики? Т.е. когда аналитика не разбросана по отделам в компании, а сконцентрирована в одном месте.
Непростой вопрос. С одной стороны, такой подход позволяет обеспечить единообразие подходов, методов  и инструментов. Единая среда — ценная штука. С другой стороны, аналитик должен быть глубоко вовлечен в процесс. С этой точки зрения аналитики, разнесенные по подразделениям компании, ценнее. В Викимарте сейчас сложился интересный симбиоз этих подходов :)

Читать дальше →

Читать дальше...
Консультант по маркетингу баз данных

Перед запуском рекламной кампании в электронной коммерции разрабатываются маркетинговые модели, которые должны в точности отражать маркетинговую стратегию. Интернет-реклама (или интернет-маркетинг) приводит потенциальных клиентов на сайт и требует серьезных инвестиций. Веб-аналитика помогает сделать анализ рекламы, оценить конверсию сайта и посещаемость сайта. В качестве технического средства лучше использовать Google analytics, это очень хороший счетчик посещений сайта, можно сказать лучший из всех бесплатных счетчиков сайтов. На эффективность продвижения юзабилити влияет, но не настолько, как сейчас распространено мнение в сети Инернет. Больше влияют  алгоритмы рекомендаций и навигация на сайте.
Сайты накапливают базу данных клиентов. И анализ интернет-магазинов показывает, что эта информация в маркетинге используется слабо. Business intelligence или bi система позволяет делать сегментацию потребителей по поведению и демографии, а также скоринг вероятности отклика клиента. Data mining инструменты затем используют для проведения кампаний прямого маркетинга (или direct marketing) по базе данных клиентов. OLAP и bsc (сбалансированные показатели) инструменты очень важны для анализа в маркетинге. Bi системы также являются основой любой аналитической CRM системы.
Все это образует электронный маркетинг. Об этом весь сайт KPIs.ru, включая мои лекции по маркетингу.