Proxys für Web Scraping
Ein Scraper sendet in kurzer Zeit viele Anfragen an dieselbe Website. Der Unlimited-Tarif von HiProxy sendet jede dieser Anfragen über eine andere IP eines privaten Anschlusses und rechnet pro Tag ab, egal wie groß das Volumen ist.
Warum wird eine einzelne Server-IP gesperrt?
Die meisten Websites bremsen oder sperren eine Adresse, sobald sie eine bestimmte Zahl von Anfragen überschreitet. Ein Scraper mit Tausenden Anfragen von einem Server überschreitet diese Grenze schnell.
Über das Gateway verteilen sich die Anfragen auf viele IPs privater Internetanschlüsse (Residential IPs). Das Gesamtvolumen bleibt gleich, aber jede IP sendet etwa so viel wie ein normaler Besucher.
Was kostet ein Tag, und wovon hängt der Preis ab?
Die kleinste Stufe (200 Verbindungen, 100 Mbps) kostet im Tarif Day $4.75. Week (7 Tage) kostet $4.47 pro Tag, Month (30 Tage) $4.04 und Quarter (90 Tage) $3.61. Der Preis sinkt also mit längerer Laufzeit.
Bytes werden nicht gezählt. Seiten mit vielen Bildern und winzige API-Antworten passen in denselben Tagespreis. Nur Laufzeit, Zahl der Verbindungen und Bandbreite verändern, was Sie zahlen.
Wie wähle ich die Zahl der Verbindungen?
Zählen Sie, wie viele Anfragen Ihr Scraper gleichzeitig offen hält. Bei 150 Worker-Threads passt die Stufe mit 200 Verbindungen und lässt Platz für Wiederholungen.
Wenn Sie mehrere Scraper zusammen laufen lassen, zählen Sie ihre Threads zusammen. Über 200 passt die Stufe mit 500 Verbindungen (200 Mbps, $7.77 pro Tag) besser. Die Stufe können Sie beim Kauf des nächsten Tarifs ändern.
Was darf ich sammeln?
Übliche Ziele sind Seiten, die jeder ohne Anmeldung öffnen kann: Produktlisten, Nachrichtenartikel, öffentliche Firmenverzeichnisse. Lesen Sie vor dem Start die Bedingungen der Website und die Gesetze an Ihrem Standort.
HiProxy sperrt Konten, die für Anmeldungen mit geleakten Zugangsdaten, Spam, DDoS oder den Zugriff auf Behördenseiten genutzt werden. Wenn Sie Ihre Anfragen zeitlich verteilen, bleibt die Zielseite stabil und Ihr Scraper läuft länger.
HiProxy für Web Scraping einrichten
1
Registrieren Sie sich nur mit Benutzername und Passwort und laden Sie dann im Zahlungsfenster mindestens $50 in Krypto auf.
2
Wählen Sie unter Unlimited Residential Day, Week, Month oder Quarter und eine Verbindungsstufe.
3
Hängen Sie -zone-unl an Ihren Proxy-Benutzernamen an, dazu ein Land wie -cc-us, wenn sich die Daten je nach Land unterscheiden.
4
Richten Sie den Scraper auf gate.hiproxy.shop mit Port 6100 (HTTP) oder 6200 (SOCKS5) ein, dann wechselt die IP bei jeder Anfrage.
Häufige Fragen
Wann wechselt die IP?
Ohne die Option -sid im Benutzernamen geht jede Anfrage über eine neue Residential IP.
Kann ich eine IP für einige Seiten hinter einem Login halten?
Ja. Fügen Sie -sid- und einen beliebigen Session-Namen hinzu. Anfragen mit demselben Namen teilen sich eine IP. Wie lange sie gehalten wird, legen Sie mit -ttl- fest, bis zu 60 Minuten.
Ist der Traffic bei Unlimited wirklich unbegrenzt?
Traffic wird nicht gemessen. Nur die Zahl der offenen Verbindungen und die Geschwindigkeit richten sich nach der gewählten Stufe.
Mein Tarif steht auf „Wird aktiviert“.
Das wird kurz angezeigt, bis das Netzwerk den Tarif freischaltet. Kann eine Bestellung nicht aktiviert werden, wird sie storniert und der volle Betrag geht zurück auf Ihr Guthaben.
Laden Sie $50 auf und erhalten Sie 142 GB Residential Traffic
Benutzername und Passwort wählen, schon sind Sie dabei. Ihr Guthaben verfällt nie.