Proxy do web scrapingu
Scraper wysyła wiele zapytań do tej samej strony w krótkim czasie. Pakiet nielimitowany HiProxy wysyła każde z tych zapytań z innego IP łącza domowego i rozlicza się za dzień, niezależnie od ilości.
Dlaczego pojedyncze IP serwera jest blokowane?
Większość stron spowalnia lub blokuje adres, gdy przekroczy on określoną liczbę zapytań. Scraper wysyłający tysiące zapytań z jednego serwera szybko przekracza ten próg.
Przez bramkę zapytania rozkładają się na wiele IP z domowych łączy internetowych (IP rezydencjalne). Łączna liczba się nie zmienia, ale każde IP wysyła mniej więcej tyle, co zwykły odwiedzający.
Ile kosztuje dzień i od czego zależy cena?
Najmniejszy próg (200 połączeń, 100 Mbps) kosztuje $4.75 w pakiecie Day. Week (7 dni) to $4.47 dziennie, Month (30 dni) $4.04, a Quarter (90 dni) $3.61, więc stawka spada wraz z długością okresu.
Bajty nie są liczone. Strony z dużą liczbą zdjęć i drobne odpowiedzi API mieszczą się w tej samej cenie dziennej. Na kwotę wpływają tylko okres, liczba połączeń i przepustowość.
Jak dobrać liczbę połączeń?
Policz, ile zapytań scraper ma otwartych w jednym momencie. Przy 150 wątkach roboczych pasuje próg 200 połączeń i zostaje zapas na ponowienia.
Jeśli uruchamiasz kilka scraperów naraz, zsumuj ich wątki. Powyżej 200 lepiej pasuje próg 500 połączeń (200 Mbps, $7.77 dziennie). Próg możesz zmienić przy zakupie następnego pakietu.
Co można zbierać?
Typowe cele to strony, które każdy może otworzyć bez logowania: listy produktów, artykuły prasowe, publiczne katalogi firm. Przed rozpoczęciem przeczytaj regulamin strony i przepisy obowiązujące tam, gdzie działasz.
HiProxy zawiesza konta używane do logowania wykradzionymi danymi, spamu, DDoS lub dostępu do stron rządowych. Rozłożenie zapytań w czasie chroni stronę docelową i pozwala scraperowi działać dłużej.
Podłącz HiProxy: Web scraping
1
Zarejestruj się samą nazwą użytkownika i hasłem, a potem doładuj co najmniej $50 kryptowalutami w oknie płatności.
2
W sekcji nielimitowanych proxy rezydencjalnych wybierz Day, Week, Month lub Quarter i próg połączeń.
3
Dodaj -zone-unl do nazwy użytkownika proxy, a także kraj, np. -cc-us, gdy dane różnią się w zależności od kraju.
4
Ustaw w scraperze gate.hiproxy.shop z portem 6100 (HTTP) lub 6200 (SOCKS5), a IP będzie się zmieniać przy każdym zapytaniu.
Częste pytania
Kiedy zmienia się IP?
Bez opcji -sid w nazwie użytkownika każde zapytanie wychodzi z nowego IP rezydencjalnego.
Czy mogę trzymać jedno IP przez kilka stron za logowaniem?
Tak. Dodaj -sid- i dowolną nazwę sesji. Zapytania z tą samą nazwą korzystają z jednego IP. Czas trzymania ustawisz przez -ttl-, maksymalnie 60 minut.
Czy pakiet nielimitowany naprawdę nie ma limitu transferu?
Transfer nie jest mierzony. Tylko liczba otwartych połączeń i prędkość zależą od wybranego progu.
Mój pakiet ma status „aktywacja”.
Ten status jest widoczny przez krótki czas, dopóki sieć go nie uruchomi. Jeśli zamówienia nie da się aktywować, zostaje anulowane, a cała kwota wraca na saldo.
Doładuj $50 i odbierz 142 GB transferu rezydencjalnego
Wybierz nazwę użytkownika i hasło i gotowe. Saldo nigdy nie wygasa.