1 Тема от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Тема: Вопрос по новому релизу и снятии данных с Яндекс

Добрый день. Ситуация следующая: мы ежедневно пользуемся программой, снимаем данные примерно по 1000-1500 заявкам (5 лицензионных копий). Из данных, которые нас интересуют в Яндексе — это индексация страницы донора в Я и количество страниц сайта донора в индексе. До обновления программы всё было в порядке (стояла задержка запросов по умолчанию, в 2000 милисек), капчи не было, всё прекрасно снималось. После обновления программы на первом же сайте, заявки которого мы пытаемся проверить, вылезает капча на данных, получаемых с Яндекса.

Исходя из этого, возникло 2 вопроса:

1) Не связана ли описанная проблема с обновлением программы и методом запросов к Яндексу?

2) Не планируется ли возможность использовать прокси сервера для обдирания выдачи Яндекса напрямую, а не XML сервиса?

Заранее признателен за ответ. С уважением, Дмитрий.

  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

День добрый, Дмитрий.

1. К сожалению, ситуация с капчей, судя по всему, общая для всех. Проблемы появились после 8 июля, это затронуло все сервисы, которые используют похожий механизм проверки прямыми запросами.

2. Прокси для прямого парсинга выдачи Вы можете указать в настройках программы в "Сервис" - "Параметры" - "Сеть". Однако сегодня тестировал на 5 прокси - капча появляется очень быстро, работать с прямым парсингом сложно (можно попробовать указать 1 сетевой поток и большую задержку между запросами, но это сильно замедлит работу). Если есть возможность использовать прокси - попробуйте зарегистрировать их в сервисе Яндекс.XML и использовать его при проверке индексации. О том, как регистрировать прокси - http://sapemaster.ru/articles/text/24/

CS Support
Мои рефералки:
SeoBudget!
DriveLink

3 Ответ от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Re: Вопрос по новому релизу и снятии данных с Яндекс

Да, попробовал обдирать напрямую, у нас большое кол-во проксей, то же самое происходит — моментально капча, даже при оптимальных настройках дилея и кол-ве потоков...
А как быть в этом случае? Какие есть варианты решения этой проблемы? Если вообще есть на данный момент.

С уважением, Дмитрий.

  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

Попробуйте зарегистрировать прокси-сервера в Яндекс.XML и использовать их при проверке индексации. Такой вариант работает.

CS Support
Мои рефералки:
SeoBudget!
DriveLink

5 Ответ от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Re: Вопрос по новому релизу и снятии данных с Яндекс

Вся проблема в том, что у нас их ~1000.  smile

  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

Это не проблема, наоборот smile

На один IP адрес выдаётся по 1000 запросов в сутки, если я Вас правильно понял - нужно проверять до 2000 позиций ежедневно, то есть достаточно зарегистрировать 2-3 прокси  + собственный IP адрес. Список прокси для Яндекс.XML задаётся отдельно, он не связан с прокси для обычных запросов.

CS Support
Мои рефералки:
SeoBudget!
DriveLink
  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

Случайно наткнулся на интересную запись - http://juick.com/RA/800451

CS Support
Мои рефералки:
SeoBudget!
DriveLink

8 Ответ от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Re: Вопрос по новому релизу и снятии данных с Яндекс

Получается, что нужно лишь дождаться, когда они это исправят?

  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

Не могу сказать, будут ли они это "исправлять".

CS Support
Мои рефералки:
SeoBudget!
DriveLink

10 Ответ от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Re: Вопрос по новому релизу и снятии данных с Яндекс

Попробовал через прокси обдирать xml, всё работает, в понедельник буду регистрировать айпишники для проксей. Но всё равно, очень надеюсь, что Яша поправит это недоразумение, ибо дико неудобно. smile

11 Ответ от Семёныч

  • Зарегистрирован: 17.07.2008
  • Сообщений: 771

Re: Вопрос по новому релизу и снятии данных с Яндекс

Вчера проверял пару тысяч ссылок через обычный поиск на индексацию - капчи не было. Задержка - 1500 миллисекунд. Попробуйте опять проверять через обычный парсинг, если с XML возникают какие-либо проблемы.

CS Support
Мои рефералки:
SeoBudget!
DriveLink

12 Ответ от megagroup

  • megagroup
  • Пользователь
  • Неактивен
  • Зарегистрирован: 09.07.2010
  • Сообщений: 25

Re: Вопрос по новому релизу и снятии данных с Яндекс

Сейчас тоже проверил, но 55 ссылок всего, с задержкой в 2000 милисекунд. Капчи нет, но очень уж долго.

У кого имеются прокси незанятые, лучше использовать их. Очень быстро и качественно проходит проверка.