Особенности национальной интернет-статистики

Юрий Коберский

Существует классическая формула маркетинга из четырех основных составляющих:

• Анализ

• Планирование

• Исполнение

• Контроль

То есть, если вы создаете новый или раскручиваете существующий бизнес, вам необходимо проанализировать текущую ситуацию на рынке, на который вы претендуете, четко спланировать свою маркетинговую стратегию, произвести все необходимые работы и потом тщательно контролировать его выполнение. На сто процентов приемлема эта схема и при работе по продвижению веб-проектов. Причем, наверное, самое немаловажное место в этой формулировке занимает анализ текущей ситуации сайта и положения на рынке. Всем, кто хоть как-либо имел дело с продвижением веб-проектов, понимает, что это – очень затянутый по времени процесс и начинает себя окупать не скоро. И при таком раскладе исходные установки, на которых будет базироваться вся работа, имеют определяющее значение – ведь если они будут изначально неправильны, то срок повторных работ, будучи и без того немалым, удвоится.

Итак, приступим к анализу. Для начала возьмем сайт. Обычный сайт, не особо балованный посетителями, ориентированный на конкретную аудиторию и предлагающий определенный вид товаров или услуг. Наша цель – вывести его на первые страницы поисковиков и направить к нему целевой трафик. Но для того, чтобы приступать к работе, необходимо дать ответ на целый ряд вопросов. Нужно знать причины, почему существующий сайт не занимает лидирующие позиции, откуда приходят посетители, как они переходят с одной страницы сайта на другую, и главное – почему они покупают или не покупают товары, предложенные на нем, то есть, оценить степень оптимизации и уровня юзабилити сайта (удобства для пользователей).

При такого рода анализе следует учитывать, какие поисковики дают больше всего трафика, какие страницы являются наиболее популярными точками входа, как ведут себя посетители, на какие страницы переходят и почему. И главное – доходят ли посетители до конечной цели сайта – страницы заказа, или покидают сайт, не найдя таковой. Зачастую посетители покидают сайт из-за того, что попросту не могут разобраться в навигации по сайту. Такая информация просто необходима для начала работ по улучшению и оптимизации ресурса.

Нужна точная и гибкая система статистики, позволяющая просмотреть данные о посещаемости сайта во всех возможных плоскостях. На данный момент существует два распространенных способа отслеживания статистики посещений – счетчики и лог-анализаторы. Каждый из них имеет свои преимущества и недостатки. Как правило, счетчики годятся для широкого круга пользователей, лог-анализаторы же используют более опытные вебмастера.

Конечно, оптимальное решение – это комбинация обоих видов сбора информации, но такие сервисы пока редкость. Пользователи могут комбинировать оба вида услуг, таким образом, восполняя недостатки одной системы преимуществами другой. Стандартные позиции вебмастеров по отношению статистики своих сайтов можно сформулировать следующим образом. Одна – «счетчики все считают», другая, противоположная – «нет нормального анализатора – нужно написать свой». Многие так и делают. Благо, в последнее время эта позиция пошатнулась, так как появились хорошие анализаторы. Итак, давайте сравним основные недостатки и преимущества обеих систем. Главный недостаток счетчиков – это отсутствие учета посещений поисковых роботов. Вебмастер, раскручивающий новый ресурс, нуждается в такой информации критически, поскольку от того, был ли ресурс проиндексирован, зависит срок появления ресурса на поисковом сервере. Кроме того, счетчики предоставляют недостаточно гибкий отчет по статистике, они ограничиваются, как правило, общей информацией о посещаемости и о посетителях.

Что же должен уметь счетчик? Точнее, что он должен показывать? Возьмем главные требования к среднестатистическому счетчику:

• Кто пришел. Здесь должна отображаться информация о пользователе, пришедшем на ваш сайт (его IP, браузер, ОС)

• Реферер, то есть, страница, с какой он пришел. Жизненно важный фактор. Поможет вебмастеру планировать и анализировать эффективность рекламной стратегии, ведь по этой информации можно делать выводы о том, стоит ли продолжать рекламироваться на той или иной площадке.

• Время заходов, желательно полная информация о времени всей сессии пользователя на сайте, время пребывания на каждой странице и т. д.

• Общая статистика посещаемости, желательно с детальным распределением по времени

• Информация о хостах, посетителях, хитах и сессиях

Лучше всего такая информация отображается одним из лидеров отечественной интернет-статистики – HotLog, который, кстати, очень удобен в пользовании и предоставляет целый ряд услуг как платных, так и бесплатных.

Но ни на одном счетчике нет следующей информации:

• Загрузка экзешников, мультимедийных файлов, флеш-объектов и др.

• Количество посетителей, зашедших один раз, (случайные заходы) и постоянных (целевая публика)

• Информации об исполнении скриптов в браузере при заходе на страницы

Почти вся эта информация отображается в логах, однако значительную ее часть невозможно засечь счетчиком. Извлечь и проанализировать ее можно с помощью программ лог-анализаторов. Составим же список требований к анализатору логов:

• Гибкая система отчетности – это главное преимущество анализаторов перед счетчиками, где отчеты фиксированные

• Распознавание как можно большего количества поисковых роботов

• Распознавание заходов с поисковых систем. Счетчики почему-то разделяют заходы, например, с google.com и google.ru

• Распознавание географии пользователей. К сожалению, такая функция доступна лишь в немногих программах, так как требует огромной, постоянно обновляемой базы данных IP-адресов

• Настраиваемая система отчетов.

Лог-анализатор выдает много лишней информации, которую следует отфильтровывать, но помогает, например, при отслеживании хакерских атак. Кроме того, программы несколько дороговаты, а бесплатные, как правило, никуда не годятся. Рассмотрим общую функциональность нескольких лог-анализаторов, достойных особого внимания.

Итак, лог-анализатор от WebTrends. Очень мощный инструмент для сбора и обработки статистической информации, признанный лидер среди лог-анализаторов. Система отчетов настолько исчерпывающая, что трудно разобраться даже после недели работы. Один из лучших инструментов по функциональности для опытных вебмастеров. Недостатков можно привести только два – немалая цена и некорректное отображение кирилличных кодировок.

Программа того же направления, Log Analyzer от компании NetPromoter, отлично справляется со всевозможными кодировками. Небольшая по объему дистрибутива программа, тем не менее, отвечает большинству из вышеперечисленных требований. Распознает визиты роботов и заходы с поисковиков, имеет достаточно обширную, но тем не менее, гибкую систему отчетов. Распознает различные форматы лог-файлов и позволяет настраивать свои собственные форматы. Главное преимущество программы – она позволяет качественно работать со статистикой отечественных поисковиков, чего нет ни в одном зарубежном аналоге.

Мы связались с менеджером проекта HotLog Галиной Жуковой с просьбой прокомментировать ситуацию:

«Счетчики и лог-анализаторы – принципиально разные инструменты измерения посещаемости web-ресурсов. И только в комплексе они могут дать наиболее полную картину по посетителям сайта. Наша основная задача на сегодняшний день – предоставлять максимально точные и подробные данные всем нашим пользователям. Уже сейчас в системе есть возможность получения статистики по каждому отдельному посетителю, а также просмотра полных отчетов без каких-либо ограничений. В бесплатном доступе представлена достаточно детальная и подробная информация, в том числе и по географическим параметрам. В дальнейшем мы планируем постоянно расширять возможности сервиса Интернет-статистики и стремимся предоставлять наиболее полную информацию.»

Вот что думает по этому поводу Денис Кравченко, SEO-аудитор компании NetPromoter:

«Мы ни в коем случае не старались создавать продукт-конкурент счетчикам. Я лично в своей работе, помимо анализа серверных логов, с удовольствием пользуюсь статистикой, предоставленной счетчиками. Это очень удобно и несложно в обращении. Но тем не менее, для более глубокого анализа нельзя обойтись без анализатора лог-файлов, чем и было обусловлено создание нашей компанией собственного продукта. Мы, безусловно, будем развивать программу, поскольку потребность в таких продуктах на российском рынке прослеживается очень четко».

Ну что ж, попытаемся подвести итоги.

Можно ли считать счетчики и лог-анализаторы конкурентными продуктами? На мой взгляд, однозначно нет. До тех пор, пока не появятся сервисы, объединяющие глобальные статистические возможности счетчиков (сравнение посещаемости, аудитории нескольких сайтов и др.) и тонкие возможности лог-анализаторов (визиты роботов, загрузки объектов, хакерские атаки), веб-мастерам приходится пользоваться этими двумя инструментами. Кроме того, счетчики являются решающим фактором при определении рекламодателями цены на размещение баннеров на том или ином ресурсе. Лог-анализаторы же годятся более как административный инструмент, «не для посторонних глаз». Так что, до тех пор, пока не появился сервис, объединяющий достоинства счетчиков и лог-анализаторов, нам придется пользоваться как тем, так и другим инструментом.

Особенности национальной интернет-статистики. Часть 2

В очередной раз приходится писать статью об интернет-статистике, и в очередной раз задаю себе вопрос: «А какой она должна быть, эта статистика? Что бы удовлетворило даже самого требовательного пользователя?» Просто хосты и хиты отображать явно недостаточно – это даже не вчерашний день российской статистики, а позавчерашний. Так какой же мы видим статистику сегодняшнюю, и какой мы хотим ее видеть завтра?

Можно найти многочисленные списки требований к счетчикам, составленные всевозможными специалистами – от реферера, то есть страницы, с которой был осуществлен заход на ваш сайт, до разрешения и цветности вашего монитора. Но какие из этих требований действительно жизненно важны для правильного функционирования веб-сайта, а без каких можно было бы безболезненно обойтись? И главное, – какие требования до сих пор не удовлетворены ни одним из счетчиков, и как эту проблему можно решить?

Итак, что же мы имеем в большинстве счетчиков? Безусловно, у нас есть статистика хостов/хитов на каждом из них. Есть реферер, то есть ссылающаяся страница – очень важная информация при выборе и анализе эффективности рекламных площадок, где вы размещаете свои баннеры. В большинстве (если не у всех) счетчиков есть информация о путях посетителя по сайту – начиная с точки входа и до последней страницы. Это осуществляется с помощью cookie, который устанавливается JavaScript'ом на вашем компьютере и служит вашим уникальным идентификатором для данного счетчика. Это cookie, или кукис и послужит источником информации о количестве уникальных посетителей на сайте, или же хостов. Этот же JavaScript «вытягивает» информацию о цветности и разрешении экрана. Но если на браузере посетителя запрещены кукисы, то он попросту останется неучтенным. Также на браузере может быть отключена поддержка JavaScript – еще один источник неточности. Наличие же нескольких разн ы х браузеров у одного пользователя еще больше запутывает ситуацию.

Наверное, главным камнем преткновения счетчиков (как и лог-анализаторов, но о них позже) интернет-статистики является диалап. Итак, какие же проблемы могут возникать при подсчете поголовья диалапщиков на вашем сайте? Исследования показывают, что в Рунете приблизительно 55 процентов Интернет-пользователей выходят в сеть через коммутированное соединение, то есть имеют модемный доступ. При медленной связи счетчики, как и другие картинки, закачивающиеся из внешних серверов (например, из баннерных сетей) просто не успевают подгрузиться. Ведь согласитесь, мало кто станет ожидать полной загрузки страницы при медленной связи, если требуемая часть страницы со ссылками уже загрузилась. Человек, скорее всего, просто перейдет по ссылкам на следующую страницу, предыдущая же останется неучтенной. Кроме того, многие из тех, кто вынужден пользоваться коммутированным доступом в Интернет, просто отключают загрузку картинок в браузер, таким образом, экономя трафик и делая невозможным ведение какого либо учета.

Немногие счетчики показывают визиты роботов – фактор очень важный при раскрутке нового ресурса – в силу того, что это трудно осуществить технически. Как правило, робот не загружает изображений, то есть не вытягивает счетчики и, соответственно, не учитывается в статистике. Изображения же для Google Images или Яндексовского Поиска Картинок индексируются отдельно. Однако эта функция присутствует в лог-анализаторах. Так, распознавание роботов хорошо реализовано в программе Log Analyzer от компании NetPromoter. Программа изначально была рассчитана на распознавание только роботов, потом переросла в достаточно мощный полноценный лог-анализатор с более чем 180 пользовательскими агентами роботов в базе данных.

Разрешение и цветность экрана – гм, эта информация, хотя и предоставляется каждым счетчиком, пригодится, наверное, только веб-дизайнерам. Практической ценности для интернет-бизнеса она не имеет, хотя… Как правило, солидный сайт должен иметь приличный и радующий глаз дизайн, но это темы статьи мало касается.

Ну и одним из главных недостатков, которому сейчас придается все более важное значение, является безопасность. Предоставление доступа к статистике третьему лицу может быть крайне нежелательным. К примеру, списки рефереров, если достанутся конкурентам, могут быть использованы ими для рекламы на самых ваших прибыльных ресурсах. И это только самый невинный пример. Конечно, можно закрыть статистику, но случай с продажей списков клиентов сотрудником AOL показал, что даже в таких корпорациях не всегда все в порядке с конфиденциальностью.

Теперь о лог-анализаторах. Тут все одновременно и проще и сложнее. Начнем с того, что серверные логи фиксируют всю информацию – будь то визит поискового робота, загрузка мультимедийного/ Flash / Java / Exe файла, вытягивание отдельной картинки с сервера (ох, блоггеры это любят!), и вообще позволяют вести учет трафика. Можно получать коды доступов к страницам, что невозможно учесть счетчиком (если только у вас нет кастомизированной 404-ой страницы). При наличии хорошего лог-анализатора с гибкой системой отчетов веб-мастер выудит всю нужную для себя информацию. Но… Возникает опять-таки проблема с диалапщиками. При каждом коннекте пользователю присваивается новый IP-адрес, и сервер, а следовательно, и лог-анализатор будут интерпретировать его как нового уникального посетителя, а это не так. Эта проблема решена счетчиками в виде вышеупомянутых куки, но в лог-файлах куки не фиксируются никак. Далее. Как известно, в больших офисах, как правило, пользователи выходят в Интернет через прокси-сервер, который присваивает одинаковый IP-адрес всем пользователям. То есть, теоретически, даже если в корпорации работает 100 человек, и десять из них (представим себе) зайдут на ваш сайт, то сервер зафиксирует их как одного посетителя. Если вы ориентируетесь на корпоративного клиента, то погрешность получается весьма ощутимая. Кроме того, прокси-сервера, как правило, кешируют содержимое запрошенных страниц, а следовательно, все последующие пользователи, которые сидят за прокси, получают, по сути одну и туже версию страницы.

Кажется, единственным решением в данной ситуации может быть комбинация двух видов статистики. Но как этого добиться? Ведь счетчик тянется из сервера провайдера статистики, а логи лежат на сервере, где установлен сайт. Никто из провайдеров статистики пока не предлагает комбинированного подсчета. Тем не менее, сервисы, которые комбинируют два вида статистики существуют. Так, провайдеры хостинга иногда предлагают свои собственные разработки в области статистики. Как правило, они несовершенные, но могут удовлетворить базовые требования к статистике.

Давайте же представим идеальную систему подсчета. Как она должна выглядеть? Представьте себе, вы устанавливаете у себя на сайте свой собственный счетчик, который вызывается с вашего же сервера. Полученная статистика фиксируется специализированной программой. То есть, вы сами себе HotLog или SpyLOG. Но этого по условию задачи недостаточно – ведь у нас остаются незадействованными логи с их преимуществами. Эта же программа является лог-анализатором и обрабатывает как статистику со счетчика, так и информацию, зафиксированную в логах. Конечно, такую систему намного проще себе представить, если у вас есть свой собственный сервер и вы имеете полные администраторские права. Если же вы покупаете хостинг, это может повлечь за собой некоторые проблемы – так не все провайдеры предоставляют доступ к логам – но это вопрос скорее выбора провайдера. Возникает еще одна проблема – насколько будет высоко доверие рекламодателей к такой статистике, ведь известно, что данными счетчиков определяется цена рекламы на вашем сайте. Где гарантия, что вы не накручиваете свою статистику?

Тем не менее, пока, поскольку таких систем нет, приходится комбинировать два вида сбора статистики и находить середину. К сожалению, показания счетчиков и лог-анализаторов могут различаться в десятки раз. Более того, показания счетчиков могут различаться в несколько раз – так, сравните показания, скажем, HotLog и достаточно популярного британского Nedstat – на последнем, как правило, вы получаете данные посещаемости чуть ли не на порядок большие. Правда, компания заявляет, что она решила проблему с учетом кешированных страниц, но вряд ли такая разница может возникать только на этом. Определить же какая система более правдивая достаточно сложно.