Proxy para sa web scraping
Nagpapadala ang scraper ng maraming request sa parehong site sa maikling oras. Ipinapadala ng HiProxy unlimited plan ang bawat request mula sa ibang IP ng home connection at naniningil kada araw, anuman ang dami.
Bakit nabo-block ang iisang server IP?
Karamihan ng site ay nagpapabagal o nagba-block ng address kapag lumampas ito sa isang bilang ng request. Ang scraper na gumagawa ng libu-libong request mula sa isang server ay mabilis lumalampas doon.
Sa gateway, nahahati ang mga request sa maraming IP mula sa home internet connection (residential IP). Pareho ang kabuuang dami, pero ang bawat IP ay nagpapadala lang ng halos kasindami ng karaniwang bisita.
Magkano ang isang araw, at ano ang nagtatakda ng presyo?
Ang pinakamaliit na tier (200 koneksyon, 100 Mbps) ay $4.75 sa Day plan. $4.47 kada araw ang Week (7 araw), $4.04 ang Month (30 araw) at $3.61 ang Quarter (90 araw), kaya bumababa ang rate habang humahaba ang period.
Hindi binibilang ang bytes. Kasya sa parehong presyo kada araw ang mga page na maraming larawan at ang maliliit na API response. Ang period, bilang ng koneksyon at bandwidth lang ang nagbabago sa babayaran mo.
Paano pipiliin ang bilang ng koneksyon?
Bilangin kung ilang request ang bukas nang sabay sa scraper mo. Kung 150 worker thread, bagay ang 200 na connection tier at may lugar pa para sa retry.
Kung ilang scraper ang sabay mong pinapatakbo, pagsamahin ang mga thread nila. Kapag lumampas sa 200, mas bagay ang 500 na connection tier (200 Mbps, $7.77 kada araw). Puwede kang magpalit ng tier kapag bumili ka ng susunod na plan.
Ano ang ayos lang kunin?
Ang mga page na mabubuksan ng kahit sino nang walang login ang karaniwang target: listahan ng produkto, balita, pampublikong business directory. Basahin ang terms ng site at ang batas kung saan ka nag-o-operate bago magsimula.
Sinu-suspend ng HiProxy ang mga account na ginagamit sa login gamit ang na-leak na credentials, spam, DDoS o pagpasok sa mga site ng gobyerno. Ang pagpapaluwag ng mga request ay nagpapanatiling maayos ang target site at mas matagal na tumatakbo ang scraper mo.
Ikonekta ang HiProxy para sa Web scraping
1
Mag-sign up gamit lang ang username at password, tapos mag-top up ng hindi bababa sa $50 gamit ang crypto sa payment window.
2
Sa unlimited residential, pumili ng Day, Week, Month o Quarter at pumili ng connection tier.
3
Idagdag ang -zone-unl sa proxy username mo, at bansa gaya ng -cc-us kapag nag-iiba ang data ayon sa bansa.
4
Ituro ang scraper sa gate.hiproxy.shop sa port 6100 (HTTP) o 6200 (SOCKS5), at magbabago ang IP sa bawat request.
Mga karaniwang tanong
Kailan nagbabago ang IP?
Kapag walang -sid na opsyon sa username, lalabas ang bawat request mula sa bagong residential IP.
Puwede ko bang hawakan ang isang IP para sa ilang page sa likod ng login?
Oo. Idagdag ang -sid- at kahit anong pangalan ng session. Iisang IP ang gagamitin ng mga request na may parehong pangalan. Itakda ang tagal gamit ang -ttl-, hanggang 60 minuto.
Talaga bang unlimited ang traffic sa unlimited?
Hindi sinusukat ang traffic. Ang bilang ng bukas na koneksyon at bilis lang ang sumusunod sa tier na pinili mo.
Activating ang status ng plan ko.
Ganyan ang lumalabas sandali hanggang i-on ito ng network. Kung hindi ma-activate ang order, kakanselahin ito at babalik nang buo ang halaga sa balance mo.
Mag-top up ng $50 at makakuha ng 142 GB na residential traffic
Pumili ng username at password at pasok ka na. Hindi nag-e-expire ang balance mo.