Прокси для парсинга сайтов
Парсер отправляет много запросов к одному сайту за короткое время. Безлимитный тариф HiProxy отправляет каждый из этих запросов с другого IP домашнего подключения и берет плату за день при любом объеме.
Почему блокируют IP одного сервера?
Большинство сайтов замедляют или блокируют адрес, когда он превышает определенное число запросов. Парсер, который делает тысячи запросов с одного сервера, быстро переходит эту границу.
Через шлюз запросы распределяются по множеству IP домашних интернет-подключений (резидентных IP). Общий объем не меняется, но каждый IP отправляет примерно столько, сколько обычный посетитель.
Сколько стоит день и от чего зависит цена?
Минимальный уровень (200 подключений, 100 Mbps) стоит $4.75 на тарифе Day. Week (7 дней) стоит $4.47 в день, Month (30 дней) $4.04, Quarter (90 дней) $3.61, то есть с ростом срока цена снижается.
Байты не учитываются. Страницы с тяжелыми изображениями и крошечные ответы API укладываются в одну и ту же цену за день. На стоимость влияют только срок, число подключений и пропускная способность.
Как выбрать число подключений?
Посчитайте, сколько запросов парсер держит открытыми одновременно. При 150 рабочих потоках подойдет уровень 200 подключений, и останется запас на повторы.
Если вы запускаете несколько парсеров вместе, сложите их потоки. Больше 200 лучше подходит уровень 500 подключений (200 Mbps, $7.77 в день). Уровень можно сменить при покупке следующего тарифа.
Что можно собирать?
Обычно это страницы, которые любой может открыть без входа: карточки товаров, новостные статьи, открытые каталоги компаний. Перед началом прочитайте условия сайта и законы там, где вы работаете.
HiProxy блокирует аккаунты, которые используются для входа по утекшим учетным данным, спама, DDoS или доступа к государственным сайтам. Если делать паузы между запросами, целевой сайт работает нормально, а ваш парсер работает дольше.
Подключение HiProxy для задачи: Парсинг сайтов
1
Зарегистрируйтесь только с логином и паролем, затем пополните баланс минимум на $50 криптовалютой в окне оплаты.
2
В разделе безлимитных резидентных прокси выберите Day, Week, Month или Quarter и уровень подключений.
3
Добавьте -zone-unl к логину прокси, а также страну, например -cc-us, если данные отличаются по странам.
4
Укажите в парсере gate.hiproxy.shop с портом 6100 (HTTP) или 6200 (SOCKS5), и IP будет меняться с каждым запросом.
Частые вопросы
Когда меняется IP?
Без параметра -sid в логине каждый запрос выходит с нового резидентного IP.
Можно ли держать один IP на несколько страниц за авторизацией?
Да. Добавьте -sid- и любое имя сессии. Запросы с одинаковым именем идут через один IP. Время удержания задайте через -ttl-, до 60 минут.
Безлимит правда без ограничений по трафику?
Трафик не учитывается. От выбранного уровня зависят только число открытых подключений и скорость.
У моего тарифа статус "активируется".
Этот статус показывается недолго, пока сеть не включит тариф. Если заказ не удается активировать, он отменяется, а вся сумма возвращается на баланс.
Пополните на $50 и получите 142 GB резидентного трафика
Придумайте логин и пароль, и все готово. Баланс не сгорает.