Как настроить кей коллектор
Инструкция по настройке Key Collector для эффективного парсинга
Key Collector — незаменимый инструмент при сборе семантического ядра для сайта или контекстной рекламы. Но прежде чем запускать парсинг, программу необходимо грамотно настроить. Это позволит провести сбор фраз максимально быстро и с наименьшими затратами на антикапчу.
В этой статье мы пройдемся по основным настройкам программы, подготовим инструмент, а уже саму методику сбора, чистки и расширения семантики будем рассматривать в других статьях. Эта статья открывает цикл материалов, посвященных работе с Key Collector.
Весь цикл статей:
Установка программы
Если вы еще не знакомы с программой Key Collector, то ее необходимо скачать здесь. Там даны указания по тому, каким образом осуществляется покупка и установка программы. После того, как программа установлена и активирована можно переходить к следующему шагу.
Важно! Key Collector — программа, которая работает под Windows и на компьютеры Mac (Macbook, Macbook Air) с OSx не установится. Обойти это ограничение можно установкой виртуальной машины Windows, к примеру посредством утилиты Parallels Desktop.
Прокси и аккаунты Яндекс.Директ
Для работы с Key Collector мы настоятельно рекомендуем приобрести (взять в аренду на неделю или на месяц) как минимум 1 прокси-сервер. Это необходимо для того, чтобы обезопасить свой основной IP адрес от возможных блокировок, которые могут возникнуть в ходе работы Key Collector со статистическими источниками типа Яндекс.Вордстат и Яндекс.Директ.
Одного прокси будет вполне достаточно, чтобы потренироваться и понять принцип работы программы. Хорошие, индивидуальные прокси предоставляет сайт proxy-sale.com. Берем те, что для работы в Key Collector.
После покупки сервис высылает вам на почту учетные данные прокси и свежий аккаунт Яндекс.Директа, который также нам потребуется. В дальнейшем, при необходимости количество прокси можно будет увеличить, просто докупив (арендовав) столько сколько нужно.
Сейчас нам нужно просто понять принцип настройки Key Collector, а дальнейшую докрутку можно будет сделать потом.
Переходим в настройки программы — нажимаем на иконку «шестеренки» в панели управления.
Фото 1: Меню настроек Key Collector.
Учетки для Yandex.Direct
Переходим в раздел настроек “Yandex.Direct” (Парсинг -> Yandex.Direct).
Вводим необходимые данные: логин и пароль от аккаунта Яндекс.Директ, IP прокси, порт, логин и пароль. Эти данные должны быть в письме, которое вы получили от proxy-sale. Вы можете добавить прокси вручную построчно или добавить из буфера обмена списком. Обратите внимание на формат, который требует Key Collector при вводе данных списком. Будьте внимательны и не перепутайте логин и пароль от учетки Яндекс.Директ с логином и паролем прокси сервера.
Фото 2: На первом шаге мы только вносим данные учетки и прокси, настройки будем делать потом. Это уменьшит количество ошибок и возможных проблем.
Сейчас, мы внесли данные и, тем самым, привязали учетку Яндекс.Директ к прокси серверу. Теперь все запросы в Yandex.Wordstat, Yandex.Direct или поисковую выдачу будут идти с одного и того же IP адреса (IP адрес прокси сервера) и с одной и той же учетки.
Такая привязка значительно повышает стабильность парсинга, уменьшает количество показов капчи (проверки на робота), что в итоге приводит к более быстрому сбору данных и уменьшению общего времени, затрачиваемого на сбор.
После того, как данные внесены, нам необходимо установить количество потоков в блоке 2 равным количеству прокси, которые мы приобрели. В нашем случае устанавливаем это значение равным 1 и переходим к следующему этапу.
Вкладка «Сеть»
Сюда мы должны добавить наш(и) прокси и установить ряд дополнительных настроек.
Фото 3: Основные зоны интереса во вкладке «Сеть».
Первым делом добавляем прокси в таблицу №1, отмеченную на скриншоте . Можно внести построчно, вручную или нажать кнопку «Добавить из буфера» и внести списком. Указываем IP сервера, порт, логин и пароль прокси сервера (не учетки Яндекс.Директа!). Берем эти данные из письма, которое прислал нам сервис, в котором мы приобрели прокси.
Обратите внимание на формат, который требует Key Collector, при внесении прокси списком! Если вы часто меняете прокси и работаете с большим объемом данных, то мы рекомендуем сделать формулу в Google Spreadsheets, которая бы приводила данные в нужный для Key Collector формат.
Основные настройки (2)
- Использовать прокси серверы. Включаем данную опцию поставив галочку, HTTP остается без изменений. Для простоты, мы будем использовать HTTP прокси. SOCKS протокол требует большей сноровки и опыта и в некоторых случаях работает с ошибками, что может привести к невозможности продолжения работы.
- Деактивация прокси, не прошедших проверку. Включаем, это мера предосторожности в случае, если возникли какие-то проблемы с прокси. После 360 секунд системой будет проведена повторная попытка подключения.
- Проверить в ПС Yandex
- Проверить в Yandex.Wordstat
- Добавлять в таблицу фразы, содержащие не более N слов. Как показывает практика, оптимальным количеством слов является 10. Именно с этим числом мы можем получить как высокочастотные, так и среднечастотные и низкочастотные запросы. Хвост запроса мы терять не хотим, однако и сбор пустых по частотности запросов нас тоже не интересует. 10 слов в запросе вполне отвечает данным требованиям.
- Количество повторных попыток загрузки страниц. В случае сбоя именно это количество повторных попыток сделает программа. Стандартное значение 30. Не меняем его, т.к. этого вполне достаточно для корректной работы программы.
- Таймаут ожидания ответа от сервиса. Время ожидания загрузки страниц из сервисов. Стандартная настройка в 30000 мс подойдет для проектов любого размера.
- Режим сбора. В данном пункте должно быть отмечено “Строки с неполученными данными” — для строк с отсутствующей информацией будут собираться данные в программе, это сократит время сбора, так как не будет повторных проверок уже заполненных данных.
- Фильтрация символов. В примере указан довольно большой перечень символов, который будет удаляться при парсинге. Нас не интересует экспрессивность выражения потребностей пользователя в поиске, а интересует сам смысл его запроса. В то же время, такие символы как “-” и “.” могут употребляться разными пользователями по-разному, например со знанием правил написания того или иного запроса и без. Чтобы привести все к единому виду, заменяем данные символы на пробел. Замена буквы ё на е так же является корректировкой различия между запросами пользователя. Нет разницы, поступил запрос в формате ёжик или ежик, так как они несут один семантический смысл. Поэтому для удобства приводим все фразы к единому виду по данному параметру.
- Приводить слова в нижний регистр. Также является удобной настройкой для приведения всех фраз к единому формату.
- “Глубина парсинга” и “Парсить страниц”. Глубина парсинга работает только для сбора ключевых фраз. Для глубины парсинга рекомендуемое значение 0. Если мы ставим значение отличное от 0, то Key Collector будет делать парсинг вложенных фраз (фраз, которые «приехали» в результате прошлой попытки сбора). Потенциально, такой подход может вылиться в непредсказуемое время на парсинг ключей, т.к. мы никогда не знаем какое количество фраз мы получим при сборе той или иной фразы. Стратегию парсинга мы будем более подробно рассматривать в других статьях. Пока, для оптимального результата ставим 0 для глубины парсинга и 40 для количества страниц.
- Добавлять в таблицу фразы с частотами от X до Y. Мы можем задать минимальную частоту фразы для сбора сразу на этапе парсинга. Однако диапазон лучше оставить максимальным, чтобы не упустить интересные формулировки и запросы. В последующем мы сможем избавиться от низкочастотных запросов в пару кликов.
- Не снимать частоты для фраз с базовой частотой равной или ниже чем N. Данная настройка позволяет нам экономить время сбора данных при настройке на 0, так как базовая частота 0 нас в общем то не интересует, это пустые фразы, по которым нет спроса.
- Автоматически записывать 0 в колонки частот “ “ и “!”, если базовая частота 0. Опять же экономия времени на проверку частотности, так как данные автоматически будут заполнены, мы не будем собирать для них указанные частоты.
- Маска запросов пользовательского формата. Выставляем значение “[!QUERY]”, таким образом мы автоматически проставим нужные операторы для запросов и получим максимально точные цифры.
- Задержки между запросами от X до Y. Как показывает практика, значение от 25000 до 30000 вполне уместно и является близким к естественному. При возникновении блокировок мы всегда сможем изменить данный параметр в большую сторону.
- Деактивация потоков. Количество потоков ставим равному количеству прокси серверов, которые мы настроили на прошлом этапе. Деактивацию потоков выставляем так, как указано на скриншоте. Система будет уменьшать кол-во потоков если по какой то причине прокси сервер выходит из строя, что нам и нужно.
- При использовании группировки по месяцам. В данном случае оптимально будет установить “последний год” для учета актуальных данных.
- Настройки режима “Собрать все виды частот”. Здесь вы можете настроить какие частоты надо собрать при использовании данного инструмента. Можно ничего не менять, т.к. в дальнейшем, при сборе мы всегда будем собирать частотности последовательно.
- проверять proxy-серверы на доступность;
- устанавливать необходимое число потоков;
- удалять некачественные серверы;
- временно деактивировать сервер, через который была обнаружена капча;
- поддержка количества активных потоков при разъединении плохих серверов и Кей Коллектора;
- устанавливать оптимальный таймаут ожидания.
- Перед каждым парсингом чистите куки и кеш с помощью программ для очистки «мусора» с компьютера;
- Откажитесь от использования большого количества потоков с одного прокси-сервера;
- Проверьте повторно настройки прокси Кей Коллектор по инструкции;
- Обратитесь в техническую поддержку, если ничего не помогло (в обращении укажите, какие прокси или аккаунты не проходят проверку).
- Останавливаем парсинг, идем в настройки→парсинг→Яндекс Директ и нажимаем большую кнопку « принудительно очистить данные об авторизации ». Потом вручную, через браузер логинимся во всех зарегистрированных аккаунтах и опять жмем кнопку « начать пользоваться сервисом ». Залогинились, нажали, разлогинились. И так во всех аккаунтах.
- Потом опять запускаем сбор и смотрим – если запустились все аккаунты – ОК, работаем. Если этого опять не произошло – чистим данные об авторизации, логинимся вручную в браузере и создаем «фейковое» объявление . Вам все равно, пройдет оно модерацию или нет. Главное, чтобы при входе в аккаунт Вас отправляло не на страницу создания объявлений, а на страницу «мои объявления».
- Глубина парсинга задается, если вы желаете собрать ключи и потом, по каждому из собранных, спарсить еще порцию. (Если глубина стоит 1, то парсится слово, потом оно добавляется в список фраз и парсится снова и так чем больше число глубины, тем больше кругов ада пройдет программа). Это колоссально замедляет работу программы, поэтому ставим глубину 0.
- Следующий пункт «Добавлять в таблицу фразы с частотностью от»
Если вас не интересуют базовые частотности меньше определенного значения или хотите выбрать ключи в узком диапазоне, то эти значения задаются в этой строке. Я обычно выставляю от 20-50 минимальную и до бесконечности максимальную, но все зависит от тематики, иногда бывает необходимо собрать все ключи, вплоть до частотности 5, а ниже уже будут пустышки. - Если базовая частотность ниже заданного здесь порога, то при сборе фразовой(«») и точной(«!») такие слова будут пропускаться, что тоже ускоряет процесс работы.
- Чтобы не добавлять в список исходных фраз пустышк, при глубине парсинга больше 0, можно установить здесь ограничение.
- Ввиду ввода русской капчи, что делает ее разгадывание проблематичным для большинства сервисов, нужно не стесняясь ставить большие задержки, чтобы не пришлось доказывать яндексу, что Вы не робот и не схлопотать бан. Рекомендую выставлять значения в интервале от 5000-30000 мс.
- С количеством потоков нужно быть осторожным, ибо ПС не любят многопоточные сборы и сразу их жестко пресекают со всеми вытекающими санкциями. Обычно я снимаю данные в один поток. Да, долго, но зато безопасно. Если же вы работаете через прокси, то целесообразно выставлять до 10 потоков сбора.
- Таймауты ставим от 30-45 тыс. мс.
- Вбиваем логин:пароль без @gmail.com
- Для работы парсинга и сбора статистики Гугла должен быть установлен Интернет Эксплорер версии не ниже 10, система, соответственно, от Виста и выше.
- YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq +1 )
- YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq + 0.0001 )
- AverageBudget/AverageTraffic + 0.0001
- YandexWordstatBaseFreq / ( YandexWordstatQuotePointFreq + 0.0001 )
Проверка прокси (3)
Выставляем количество количество потоков равным количеству прокси. Т.е. если у нас 1 прокси, то ставим 1.
После этого мы отмечаем наши прокси галочкой (активируем их), чтобы каждая строка в блоке 1 была выделена зеленым цветом и запускаем проверки (одну за другой, по очереди):
Проверки нужны для того, чтобы понять все ли в порядке с настройками, учеткой Яндекс.Директ и прокси сервером(ами). Если Key Collector заблокировал прокси (пометил строку красным цветом) в блоке 1 после проверки через ПС Яндекс, то проблема в настройке самого прокси сервера. Возможно, неверно введен логин, пароль или порт прокси сервера. Если же прокси не прошел проверку через Yandex.Wordstat, то проблема уже в настройках учетки Яндекс.Директ.
Последовательная проверка позволяет быстро локализовать ошибку и оперативно исправить причину.
Для автономной работы программы нам необходимо будет зарегистрироваться в сервисах, которые предоставляют услуги “Антикапчи”. Бюджет на данные сервисы нужен небольшой, однако это позволит использовать КК в автономной режиме. Ниже представлен перечень поддерживаемых Кей Коллектором сервисов:
Фото 4: Перечень сервисов, которые поддерживаются программой и предоставляют услуги по разгадыванию капчи.
Выбираем понравившийся сервис и регистрируемся в нем. Вносим 100-500р на баланс, получаем API ключ, который нужно будет внести в настройки ниже.
Фото 5: Настройки антикапчи (автоматическое распознавание captcha).
В ходе парсинга, статистические источники показывают пользователю капчу (проверка на робота), чтобы убедиться, что их использует человек и чтобы ограничить автоматический парсинг.
Во вкладке Настройки -> Антикапча -> Автораспознавание необходимо выбрать сервис, который вы решили использовать и ввести предоставленный вам ключ. После ввода ключа следует перезагрузить программу, чтобы Key Collector активировал ключ.
Также, вы можете ввести ограничение капч на один сеанс, то есть если в ходе сбора данных количество капч будет превышать указанный параметр — антикапча перестает работать. После перезапуска Кей Коллектора счетчик сбрасывается. Мы рекомендуем указать значение параметра равным 5000.
Настройки парсинга
Первым в списке настроек программы находится большой раздел «Парсинг», который отвечает за настройку сбора данных из разных источников.
Общие настройки
Настраиваем раздел “Общие” следующим образом:
Фото 6: Основные настройки парсинга.
Основные комментарии к настройке:
Наша конечная цель — получить список ключевых фраз в едином, понятном формате. Это упростит дальнейшую работу и облегчит процесс чистки и поиска дублей.
Yandex.Wordstat
Для сбора с Вордстата программа использует аккаунты, прописанные в настройках Яндекс.Директа (Настройки -> Парсинг -> Yandex.Direct), которые мы заполнили ранее.
Фото 7: Настройки парсинга Yandex.Wordstat.
Комментарии к настройке:
Фото 8: Можно задать какие именно частоты будут собираться при выборе опции «Собрать все виды частот».
Yandex.Direct
Google Adwords
Настройки источников Google Adwords как правило остаются стандартными, так как имеют ограничения, о которых нас предупреждает Кей Коллектор.
Фото 10: Настройки Google Adwords.
В целом, менять их нет необходимости. Использование точной частоты из Google Adwords когда-то использовалось для инструмента “Анализ неявных дублей”, так как точная частотность из Adwords учитывает порядок слов. На данный момент эту задачу решает сбор точной частотности по маске QUERY через Яндекс (так называемый оператор скобки [], учитывающий последовательность слов в фразе).
Rambler Adstat
Настройки для Rambler Adstat также оставить в стандартном режиме, так как данная система не используется в сборе данных. Подсказки из Rambler можно получить без регистрации и настройки аккаунтов. В целом, Rambler Adstat — устаревший инструмент и не содержит нужного объема семантики для того, чтобы было уместным тратить время на сбор данных из него. Об актуальных на сегодняшний день источниках можно прочитать в этой статье.
Фото 11: Настройки Rambler Adstat.
Поисковая выдача
Во вкладке “Поисковая выдача” меняем количество потоков в зависимости от количества прокси, отключаем использование основного IP адреса и переключаем режим деактивации потоков.
Блок настроек Yandex.XML игнорируем и не меняем там ничего. В нашей работе мы не будем пользоваться XML сервисом Яндекса, поэтому активировать его нет необходимости.
Фото 12: Настройки работы с поисковой выдачей Yandex.
Устанавливаем кол-во потоков и настройки деактивации одинаково для всех источников, с которыми мы собираемся работать: Yandex, Google, YouTube, Mail.ru.
Фото 13: Настройки работы с поисковой выдачей Google, YouTube, Mail.ru.
В разделе “Подсказки» проводим аналогичные настройки: выставляем количество потоков в зависимости от количества прокси, отключаем использование основного IP адреса и меняем режим деактивации потоков.
Фото 14: Настройки работы с поисковыми подсказками.
Mail.ru не используется напрямую в ходе парсинга как источник, однако проводим настройку аналогичную подсказкам и выдаче: количество потоков, их деактивация и ограничение использования основного IP адреса.
Фото 15: Настройки работы со статистикой Mail.ru.
Раздел “Прочее” включает в себя две настройки, которые можно оставить в стандартном положении. Мы будем использовать антикапчу, поэтому нам выгодно оставить все как есть и имитировать разгадывание капчи (разумеется через сервис антикапчи) с того же самого IP адреса, которому она была показана поисковой системой. Это благоприятно влияет на стабильность парсинга и уменьшает количество капч, которые показывают сервисы.
Фото 16: Прочие настройки Key Collector.
Итак, мы прошлись по основным настройкам Key Collector, подготовили инструмент для парсинга в автономном режиме. Первоначальная настройка инструмента действительно может занять немало времени, но сэкономит вам много времени в дальнейшем, т.к. настроенная подобным образом программа работает на автопилоте и не требует внимания и контроля. Ее можно установить на виртуальную машину и оставить на ночь, не переживая о том, что парсинг остановится по той или иной причине.
В следующих статьях мы рассмотрим стратегию парсинга ключей, которая дает полную семантику. Эта стратегия одинаково хорошо подходит как для сбора семантического ядра для сайта, так и для семантики под контекстную рекламу, например для Яндекс.Директ.
semyadro.pro
Key Collector — первичная настройка для сбора ключей
Автор: Сергей Коваленко · Опубликовано 22.09.2017 · Обновлено 26.02.2018
Key Collector и семантическое ядро
Основное назначение Key Collector, это составление семантического ядра. Софт не бесплатный, но и не самый дорогой. Вполне оправдывает вложения, если вы часто сталкиваетесь с подбором ключевых запросов для сем. ядра, написания seo-статей или для настройки контекстной рекламы. Кроме того в Key Collector присутствуют такие функции как определение наиболее релевантных по версии поисковых систем страницы на исследуемом сайте, экспресс-анализ позиций в поисковой выдаче, а также сбор рекомендаций по внутренней перелинковке.
Но не путайте. Сам по себе Key Collector не является сервисом, выполняющим выше описанные задачи. Это лишь очень удобный инструмент для обработки данных, которые в него поступают из поисковых систем Google и Яндекс, а так же других специализированных сервисов, в которых вы должны быть зарегистрированы.
Первичная настройка Key Collector
После того как вы активировали программу Key Collector следует провести предварительную настройку для более удобной работы по составлению семантического ядра.
Создание нового проекта
Для того чтоб начать работу над новым проектом, нам нужно его создать. Жмем кнопку «Новый проект» в открывшемся интерфейсе программы
и сохраняем его в нужном каталоге на компьютере. При необходимости переименовываем проект.
Настройка для работы с Yandex.Wordstat
После того как создан новый проект, переходим по пути Файл → Настройки.
В открывшемся окне настроек на вкладке Yandex.Wordstat в графе «Добавлять в таблицу фразы с частотами от» ставим цифру 7, как на рисунке выше. Все остальные настройки в этой вкладке оставляем без изменений, и переходим на вкладку Yandex.Direct.
Настройка для работы Yandex.Direct
Здесь нам нужно будет ввести логин и пароль от заранее подготовленного аккаунта Яндекс Директ в формате login@yandex.ru:pass1234. Логин→двоеточие→пароль. Можно вводить данные от нескольких аккаунтов, чтоб сбор данных проходил в несколько потоков и выполнялся быстрее. Для этого так же нужно будет выбрать количество потоков от 1 до 3.
Но не переусердствуйте, при использовании более 3-х потоков система Яндекс может заблокировать как используемые вами аккаунты, так и IP адрес, с которого вы проводите сбор данных.
Настройка для работы с Google AdWords
Переходим к следующей вкладке, для настройки Google AdWords. Настройка подобна как и для Yandex.Direct.
Так же для работы со сбором данных в Key Collector лучше использовать специально созданные для этого аккаунты Директа и Адвордса, чтоб не потерять рабочий аккаунт из-за наложенных санкций. При этом, в аккаунте Директа не нужно пополнять счет, но обязательно нужно создать любую рекламную кампанию, чтоб активизировать его действие. В аккаунте Google AdWord, по некоторым сведениям, для сбора поисковых подсказок нужно потратить на рекламу минимум 15$. Эта цифра может меняться в зависимости от региона, к которому принадлежит аккаунт и, собственно, правил Google AdWords. Могу сказать, что при создании нового аккаунта мне не пришлось ничего тратить на рекламу, для нормальной работы сервиса.
Настройка названия столбцов таблицы
Далее можем перейти на вкладку «Заголовки таблиц» и переименовать заголовки таблиц интерфейса Key Collector в более короткие и понятные. Но этот пункт вы можете выбирать по желанию, на общую работоспособность он не влияет.
Настройка экспорта
И последнее в окне настроек перейдем на вкладку «Экспорт» и выберем здесь формат экспорта XLSX, для того чтоб потом сохранить собранные и отсортированные нами ключи в файл для дальнейшей работы с ними в Excel.
На этом базовая настройка программы закончена. Сохраняем все изменения и переходим к настройке кампании.
Настройка региона поиска
Перед началом сбора ключевых слов для семантического ядра нам нужно задать параметры геолокации в зависимости от того в какой стране и регионе необходимо продвигать наш сайт. Эти настройки находятся в нижней части окна Кей Коллектора.
Предположим, что наш сайт будет продавать косметику в Ставрополе. Чтоб внести правильные настройки нажимаем на каждую из кнопок и вводим соответствующую информацию для Wordstat, Direct, Yandex поиск и Google поиск.
Должна получиться следующая картина:
Собственно теперь все готово для парсинга ключевых запросов. Из поисковиков Google и Яндекс.
Более подробно с процессом работы, и составления семантического ядра вы можете ознакомиться в инструкции для пользователей на официальном сайте программы перейдя по ссылке http://www.key-collector.ru/manual_index.php
Оставляйте свои комментарии, делитесь опытом использования этой программы, задавайте вопросы, подписывайтесь на обновления блога в социальных сетях.
web-specialist.info
Настройка прокси Кей Коллектор — инструкция пользователя
Сегодня многих пользователей интересует настройка прокси в программе Кей Коллектор инструкция к которой поможет избежать многих ошибок, а также собирать данные быстро, удобно и без ограничений. Если вы новичок в SEO и до сих пор не понимаете для себя нюансы использования и настройки программы, то вы попали по адресу.
Сейчас мы разберем что это за программа, как ней пользоваться и раскроем пару интересных секретов.
Key Collector: что это такое?
Если вкратце, то данная программа предназначена для парсинга ключевых слов и составления на их основе семантических ядер сайтов. Кроме того, она может быть очень полезна в разработке успешной стратегии конкурентной борьбы. Результаты работы утилиты Кей Коллектор могут помочь в планировании и формировании актуального и востребованного контента, поскольку приложение собирает данные с успешных сайтов, завоевавших авторитет и популярность.
Из-за усилившейся конкуренции на рынке информационных услуг в интернет и возросшей потребности сео-специалистов в сборе разного рода информации, поисковые системы ввели ограничения по количеству запросов за единицу времени. При наличии большого количества запросов с одного ip-адреса, Яндекс и Гугл начинают выдавать бесконечные капчи для проверки реальности пользователя или полностью блокируют ip-адрес. В результате этого продуктивность труда квалифицированного сео-специалиста может падать.
Для обхода подобных ограничений придумали прокси. Без наличия узкоспециальных знаний по администрированию работы с программой, довольно сложно без помощи специалиста понять: как это делать? Для этого существуют разного рода инструкции, справочники и книги, помогающие понять тонкости использования Кей Коллектор.
Явные преимущества
Разработчики программы оптимизировали работу приложения с прокси-серверами, чтобы удовлетворить все потребности своих клиентов. Настройки Кей Коллектор позволяют:
Чтобы ощутить все преимущества работы связки «proxy-Key Collector», необходимо умело настроить программу иначе добавленные сервера не пройдут проверку и будут недоступны для сопряжения. Для этого предлагаем воспользоваться подробной инструкцией, которая поможет вам без проблем настроить прокси, а также ответит на большинство часто возникающих вопросов.
Подробная инструкция для Кей Коллектор при настройке прокси
Прежде всего, если прокси не проходят проверку в Key Collector, убедитесь, что вами введены правильные исходные данные: IP адрес, логин и пароль. Добавьте список аккаунтов с паролями в «Yandex.Direct»:
Когда вы выполнили все необходимые действия, переходим к следующему шагу — добавляем proxy-сервера во вкладке Сеть:
Не забудьте поставить галочку “использовать proxy-серверы” и выбрать в пункте необходимый протокол его работы!
И нажать “Проверить в Яндекс Вордстат”:
На следующем шаге обязательно нужно проверить журнал (в нем не должно быть ошибок).
Удалите все старые и закапченные аккаунты (даже если они отображаются зеленым цветом, они могут быть забаненны);Если после осуществления настройки по инструкции Кей Коллектор ошибки остались, то:
Для работы с Кей Коллектор мы рекомендуем использовать порт http/https!
Пожалуй, наибольшим недостатком приложения Кей Коллектор является платный доступ, однако ни одного профессионала в области SEO это досадное обстоятельство не останавливает, поскольку данное приложение существенно облегчает труд, давая существенно больше дивидентов, чем величина первоначальных затрат.
Кроме того, используя наши российские прокси, вы всегда сможете ускорить свою работу в два, а то и в три раза! Надеемся, что наша инструкция Кей Коллектор по настройке proxy-серверов поможет вам начать использовать эту замечательную программу с большей пользой и удовольствием!
proxy-sale.com
Основные настройки Key Collector
В этой статье поговорим о самом главном – как правильно настроить Key Collector.
В последнее время Яндекс вслед за Гуглом заметно «подкрутил гайки» и усложнил сбор статистики выдачи. Возможно, здесь ситуация временная и связана с недавним АГС40, возможно, проблемы со съемом конкуренции сохранятся навсегда. Выход есть, я о нем расскажу. С Гугл традиционно все сложно, под настройками буду давать комментарии.
Начнем с подготовки необходимых аккаунтов
Уточните, какой у Вас IP адрес – динамический или статический. При парсинге периодически может блокироваться IP. С динамическим «лечится» все просто – перезагрузкой модема. Статический – хуже, если не использовать специальные сервисы, блокировка может продлиться несколько дней.
Проверить IP можно при помощи сервиса “Интернетометр”. Запишите свой адрес, потом перезагрузите модем и зайдите повторно. Не забудьте очистить кэш браузера. Если цифры отличаются – все в порядке, если они одинаковые – IP статический. В этом случае я рекомендую использовать сервис VPN.
В последнее время Яндекс начал банить по подсетям. В этом случае не срабатывает и перезагрузка динамического адреса. Тут все от провайдера зависит, — какой адрес он Вам будет выдавать. Так что и на динамическом иногда приходится прибегать к услугам этого сервиса.
Аккаунты в Яндекс Директе
Зарегистрируйте 10 (рекомендую это количество) аккаунтов в Яндекс Директ. Регистрируйтесь именно по ссылке http://direct.yandex.ru. Выбираете логин, пароль, упрощенный интерфейс и обязательно нажимаете кнопку « начать пользоваться сервисом ». Потом разлогиниваетесь и логинитесь повторно. Появится предупреждение об отсутствующем телефоне. Жмите « продолжить », потом опять выберите страну и нажмите кнопку « Начать пользоваться сервисом ». Потом разлогиниваетесь и регистрируете следующий аккаунт. Я регистрировал все аккаунты сразу, адрес не менял, куки не чистил. Все работает, как часы.
Довольно часто свежие аккаунты в Директе не запускаются с первого раза! Не надо паниковать, все можно поправить. Смотрите « журнал событий » в нижней части программы. Когда запустите парсинг частотностей вордстата через Директ, должны последовательно появиться надписи об авторизации в каждом из аккаунтов. Если это не происходит, а появляются записи, что не удалось авторизоваться – делаем так:
Аккаунты нельзя использовать для реальных рекламных кампаний. Это технические учетные записи, которые могут быть заблокированы в любой момент!
Обязательно нужен аккаунт в antigate.com. Оттуда берем свой ключ и вводим в соответствующее окно в настройках→Антикапча . В последнее время в Антигейт разделена статистика для русских и английских капчей. Работников с кириллицей не хватает, но администрация сервиса заверила, что увеличит количество таких сотрудников и ставки по кириллическим капчам пойдут вниз.
Общее правило при работе: если какой-то процесс не работает, программа дает ошибки и принудительно его останавливает, чаще всего все лечится уменьшением количества потоков и увеличением задержек и таймаута.
Настройки на вкладках программы
После запуска на верхней панели нажимаем этот значок и заходим в настройки.
Настройки
Парсинг→Общие
Парсинг→Общие
Ограничение по количеству слов целесообразно выставлять не более 7, более длинные могут вызвать ошибки в дальнейшей обработке. Таймаут не стесняемся задавать побольше от 30000-50000 мс. Режим сбора ставим “строки с неполученными данными”, чтобы заполнялись пустые таблицы и не перезаписывались уже имеющиеся данные. Это поможет сократить время сбора.
В фильтре символов можно расширить набор символов для замены на пробел. Ну тут, думаю, все понятно.
Парсинг→Вордстат
Парсинг→Вордстат
Остановимся на особо важных, назначение остальных вы можете прочитать, кликнув на значок вопроса в конце строки или на официальном сайте разработчика.
Частотности » » при анализе ключей я не использую. Если они Вам нужны, поставьте галочку на Собирать частотности вида » «
Обратите внимание на поле «Получать статистику через Yandex Direct»! Если Вы активируете эту функцию, то ключи с вордстата будут парситься не напрямую с сервиса, а при помощи инструмента «Подбор ключей» для рекламодателя в Директе. Таким образом, Вы получите те же ключи, но без риска бана со стороны вордстата за многопоточный сбор. Через Директ ключи снимаются без проблем даже после недавних изменений в выдаче.
Парсинг→Google Adwords
Парсинг→Google Adwords
В Гугл Эдвордс используем только одну учетную запись.
При необходимости здесь так же можно задать глубину парсинга и задержки. Т.к. гугл очень щепетилен к парсерам и сразу отправляет все подозрительное в бан, то задержки рекомендую так же выставлять большие. Если работаете с основного IP, то от 10000-25000 мс.
Парсинг→Rambler Adstat
Парсинг→Rambler Adstat
С Рамблера статистику я снимаю редко, да и сама ПС относится к таким как я достаточно лояльно и рада любым посещениям, даже роботов. =) Здесь все работает без проблем, поэтому нет смысла задавать большие задержки и парсинг страниц больше 5 (есть реальная возможность при большем значении нахватать мусора).
Парсинг→Социальные сети
Парсинг→Социальные сети
Эта функция нужна для создания описания и названия групп ВК. При сборе ядра для сайтов ее я не использую.
Вкладки “Solomono”, “Рекомендации” и “Похожие поисковые запросы” оставим без изменений.
Парсинг→Поисковая выдача
Парсинг→Поисковая выдача
Вот эта функция сегодня самая проблемная.
Для начала разберемся, что такое Яндекс XML. Это специальный сервис, который дает возможность отправлять запросы к ПС и получать данные в формате XML. Для каждого сайта, в зависимости от количества траффика (в свете последних изменений) выдается определённый лимит этих запросов, который, можно при желании докупить на специальных биржах. Используя эту квоту, вы можете безболезненно заниматься парсингом, не опасаясь за бан.
По поводу капчи в Яндексе перепробовал кучу прокси сервисов – ничего не помогло. Единственный найденный мной выход – использование XML Яндекса. Если у Вас есть сайты, добавленные в панель вебмастера, вы можете узнать свой лимит тут: http://xml.yandex.ru/limit_info.xml.
Есть два типа настроек XML – yandex.ru и yandex.com. РЕЗУЛЬТАТЫ ВЫДАЧИ ОТЛИЧАЮТСЯ.
Правильные результаты с учетом региона получаются только при использовании yandex.ru. Расхождение есть, даже если задаем выдачу без региона.
Вот результаты парсинга:
Смотрите – колонки конкуренция в яндексе, количество главных в яндексе и вхождений в заголовки. Ключи одни и те же.
По yandex.com
yandex.com
По yandex.ru
yandex.ru
Как видите, отличие большое.
С Yandex.com есть фокус – если выбрать эту выдачу и нажать «Сохранить», Вы получите лимит в 10000 запросов. Впрочем, этот лимит можно использовать, например, в плагине Винка для проверки индексации страниц, но никак не для корректного анализа поисковой выдачи.
На странице настроек выбираем «русский (yandex.ru)».
Полученный ключ вводим в соответствующее окно настроек. Отмечаем « Не предлагать к распознаванию капчу XML ». В этом случае в пределах лимита запросов скорость 1-2 запроса в секунду в один поток. Вполне хватает.
Единственная проблема с XML от яндекс.ру в том, что здесь лимиты зависят от сайтов в панели вебмастера. Если у Вас нет своих сайтов или недостаточно лимитов, их можно купить. Лимиты поступят на ваш яндекс-аккаунт через сутки после зачисления. 3-5 тысяч запросов «без головной боли» в день обойдутся рублей 500 в месяц.
Обращаю Ваше внимание, что количество потоков в этой таблице относится не только к съему позиций, но и к съему конкуренции KEI и подбору релевантных страниц.
Непосредственно для оценки позиций я программу не использую. В этом случае рекомендую создать проект в Megaindex и вручную добавить ключи. Удобство Мегаиндекса в том, что сервис самостоятельно обновляет позиции с каждым аппом выдачи и можно наглядно отслеживать изменение запроса.
По Гуглу – с одного айпи рекомендую работать в один поток. Тут или медленно, но работать, или быстро – через 100-200 запросов бан. Либо пользоваться прокси. Но и они будут отлетать достаточно быстро, одна за другой.
Парсинг→Подсказки
Парсинг→Подсказки
Обращаю внимание – есть настройка региона. Если регион не нужен – ставим «0». Если нужен – выбираем из списка регионов яндекса http://hmxblog.ya.ru/replies.xml?item_no=2780
Парсинг→Яндекс Директ
Парсинг→Яндекс Директ
Рекомендую тут вбить около 10 аккаунтов директа и поставить около 8 потоков. Скорость ощутите сразу.
Парсинг→Рейтинг Mail.ru
Парсинг→Рейтинг Mail.ru
Новая функция, с этими настройками все работает. Не забываем снимать с мэйла, т.к. хоть и не большой, но траффик идет оттуда.
Сеть
Настройки прокси, если используются. Обращаю внимание, что практически во всех вкладках есть настройки для прокси серверов. Недостаточно их включить только на этой вкладке. Дополнительное включение делается на вкладке Яндекс-Директ и KEI. Кроме того, есть настройки отсева некачественных прокси и «использовать основной IP». При подключении прокси советую основной IP отключать.
Интерфейс→Экспорт
Интерфейс→Экспорт
Эти настройки нужны, если Вы будете выгружать результаты работы списком. Я часто выгружаю в CSV, в принципе здесь все интуитивно понять, если не удается – жмем на вопросики справа в строках =)
Интерфейс→Прочее
Интерфейс→Прочее
С «защитой от дурака», думаю, сами разберетесь.
Активируйте опцию «Не обновлять содержимое таблицы после групповых операций». Это значительно ускоряет работу с большими проектами. В этом случае данные не обновляются автоматически. Их можно обновить при помощи стрелки внизу справа.
Интерфейс→Заголовки таблиц
Интерфейс→Заголовки таблиц
Тут уже все настраиваем под свой вкус и цвет. Заголовки таблиц можно переписать под себя. По умолчанию они крайне неинформативны, поэтому и сделали возможность обозвать их по вашему желанию, да и клиенту будет проще понять, что за цифры в колонке.
Антикапча→Автораспознавание капчи
Антикапча→Автораспознавание капчи
Вбиваем ключ от антигейт. С последними обновлениями программа научилась работать с множеством сервисов антикапчи. Смотря, какой используете, тот ключ и вводите, выбрав кнопочку используемой ниже. Чтобы пробовать распознавать русские головоломки (в антигейте не только индусы работают), снимаем галочку с пункта, который ниже задатчика ограничений.
Антикапча→MegaIndex API
Антикапча→MegaIndex API
Можно использовать API Мегаиндекса. Но это достаточно дорогое удовольствие – 5000 запросов стоят 100 рублей.
KEI
Данные формулы помогаю определить уровень конкуренции на основе полученных данных из ПС Яндекс и ссылочных агрегаторов.
Здесь вводим формулы. Абсолютно все равно, в какую ячейку их вобьете. Просто результаты расчета надо будет смотреть в соответствующей колонке.
Для удобства – формулы в текстовом варианте, можете их скопировать и добавить в программу:
Для оценки сезонных ключей:
Для оценки конкуренции и пустышек:
Вот и разобрались с настройками. В следующей статье поговорим об огромном функционале коллектора.
iwsm.ru