Проксі для парсингу сайтів
Парсер надсилає багато запитів до одного сайту за короткий час. Безлімітний тариф HiProxy надсилає кожен з цих запитів з іншого IP домашнього підключення й бере плату за день, хоч яким буде обсяг.
Чому один серверний IP блокують?
Більшість сайтів сповільнюють або блокують адресу, коли вона перевищує певну кількість запитів. Парсер, що робить тисячі запитів з одного сервера, швидко перетинає цю межу.
Через шлюз запити розподіляються між багатьма IP домашніх інтернет-підключень (резидентними IP). Загальний обсяг не змінюється, але кожен IP надсилає приблизно стільки, скільки звичайний відвідувач.
Скільки коштує день і від чого залежить ціна?
Найменший рівень (200 підключень, 100 Mbps) коштує $4.75 на тарифі Day. Week (7 днів) коштує $4.47 на день, Month (30 днів) $4.04, а Quarter (90 днів) $3.61, тож ставка знижується з довшим терміном.
Байти не рахуються. Сторінки з великою кількістю зображень і крихітні відповіді API вкладаються в ту саму денну ціну. На суму впливають лише термін, кількість підключень і пропускна здатність.
Як обрати кількість підключень?
Порахуйте, скільки запитів ваш парсер тримає відкритими одночасно. Зі 150 робочими потоками підходить рівень 200 підключень, і лишається запас для повторних спроб.
Якщо ви запускаєте кілька парсерів разом, складіть їхні потоки. Понад 200 краще підходить рівень 500 підключень (200 Mbps, $7.77 на день). Рівень можна змінити під час купівлі наступного тарифу.
Що можна збирати?
Зазвичай це сторінки, які будь-хто може відкрити без входу: списки товарів, новинні статті, публічні каталоги компаній. Перед початком прочитайте умови сайту й закони країни, де ви працюєте.
HiProxy призупиняє акаунти, що використовуються для входу з викраденими даними, спаму, DDoS чи доступу до державних сайтів. Розподіл запитів у часі не перевантажує цільовий сайт і дає вашому парсеру працювати довше.
Підключення HiProxy для завдання «Парсинг сайтів»
1
Зареєструйтеся лише з логіном і паролем, потім поповніть баланс щонайменше на $30 криптовалютою у вікні оплати.
2
У розділі безлімітних резидентних проксі оберіть Day, Week, Month або Quarter і рівень підключень.
3
Додайте -zone-unl до логіна проксі, а також країну, наприклад -cc-us, якщо дані відрізняються за країнами.
4
Вкажіть у парсері gate.hiproxy.shop з портом 6100 (HTTP) або 6200 (SOCKS5), і IP змінюватиметься з кожним запитом.
Поширені запитання
Коли змінюється IP?
Без параметра -sid у логіні кожен запит виходить з нового резидентного IP.
Чи можна утримувати один IP для кількох сторінок після входу?
Так. Додайте -sid- і будь-яку назву сесії. Запити з однаковою назвою використовують один IP. Час утримання задайте через -ttl-, до 60 хвилин.
Чи справді безлімітний тариф не обмежує трафік?
Трафік не вимірюється. Лише кількість відкритих підключень і швидкість відповідають обраному рівню.
Мій тариф має статус «активується».
Цей статус показується недовго, доки мережа не ввімкне тариф. Якщо замовлення не вдається активувати, воно скасовується, і вся сума повертається на баланс.
Поповніть на $30 і отримайте 78 GB резидентного трафіку
Оберіть логін і пароль, і можна починати. Баланс не має терміну дії.