Proxys zum Sammeln von KI-Trainingsdaten
Ein Datensatz aus dem öffentlichen Web bedeutet meist wochenlanges Crawling in mehreren Sprachen. Mit dem Unlimited-Residential-Tarif von HiProxy legen Sie die Kosten für den gesamten Zeitraum vorab fest und senden Anfragen aus 60 Ländern.
Warum passt die Abrechnung pro GB schlecht zu Crawls für Datensätze?
Wenn ein Crawl Tausende Domains umfasst, können Sie die Seitengrößen nicht steuern. Bei Abrechnung pro GB können einige bildlastige Websites das Budget weit aus dem Plan bringen.
Der Unlimited-Tarif richtet sich nur nach Laufzeit, Zahl der Verbindungen und Bandbreite. So können Sie die genauen Kosten eines dreimonatigen Crawls vor der ersten Anfrage festhalten.
Wie sammle ich jede Sprache getrennt?
Viele Websites liefern die Sprachversion eines Landes nach der IP des Besuchers aus. Tragen Sie das Land in den Benutzernamen ein, etwa -cc-de für Deutschland oder -cc-jp für Japan, dann laufen die Anfragen über dieses Land.
Geben Sie jeder Sprache einen eigenen Worker-Pool und Benutzernamen. Behalten Sie eine Crawler-Codebasis und ändern Sie nur den Benutzernamen, dann bleiben die Sprachen getrennt.
Was kostet ein dreimonatiger Crawl?
Bei 200 Verbindungen und 100 Mbps kostet der Tarif Quarter (90 Tage) $3.61 pro Tag, insgesamt $324.90. Das sind 24% weniger als beim Kauf einzelner Tage ($4.75).
Für einen größeren Crawl kostet die Stufe mit 1,000 Verbindungen und 200 Mbps bei Month (30 Tage) $8.78 pro Tag, insgesamt $263.40. Im Dashboard können Sie auch jede Laufzeit von 1~365 Tagen einstellen und kaufen so nur die Tage, an denen Ihr Crawl läuft.
Worauf sollte ich beim Sammeln von Daten achten?
Sammeln Sie nur öffentliche Inhalte und halten Sie sich an robots.txt und die Bedingungen der Websites. Prüfen Sie auch die Urheberrechts- und Datenschutzregeln für die Nutzung zum Training. Filtern Sie nicht benötigte personenbezogene Daten heraus, bevor sie in den Datensatz gelangen.
Begrenzen Sie die Anfragen pro Domain, auch wenn der Proxy mehr zulassen würde. Websites, die stabil bleiben, können Sie für die nächste Version des Datensatzes erneut crawlen.
HiProxy für KI-Trainingsdaten einrichten
1
Laden Sie genug Guthaben für die gesamte Crawl-Dauer auf. Eine Aufladung kann bis zu $5,000 betragen, ab $100 gibt es Bonusguthaben.
2
Kaufen Sie einen Unlimited-Residential-Tarif passend zu Ihren Crawl-Tagen. Quarter (90 Tage) hat den niedrigsten Tagespreis.
3
Legen Sie pro Sprache einen Benutzernamen an, etwa hpexample1-zone-unl-cc-fr, und ordnen Sie jeden einem Worker-Pool zu.
4
Verbinden Sie den Crawler mit gate.hiproxy.shop:6100 und begrenzen Sie die offenen Verbindungen auf die gekaufte Stufe.
Häufige Fragen
Kann ein Tarif mehrere Länder nutzen?
Ja. Ein Unlimited-Tarif deckt alle 60 Länder ab, und das Land wählen Sie pro Anfrage im Benutzernamen.
Sollte ein Crawl Sticky Sessions nutzen?
Meist verteilt eine neue IP pro Anfrage die Last gleichmäßiger. Nutzen Sie -sid nur für Websites, bei denen Cookies über mehrere Seiten erhalten bleiben müssen.
Wie bezahle ich?
Mit Krypto über das Zahlungsfenster. Die akzeptierten Coins und Netzwerke stehen dort. Der Betrag wird Ihrem USD-Guthaben gutgeschrieben.
Was passiert mit Guthaben, das nach dem Crawl übrig ist?
Guthaben verfällt nicht. Nutzen Sie es für den nächsten Crawl oder für jedes andere Produkt.
Laden Sie $50 auf und erhalten Sie 142 GB Residential Traffic
Benutzername und Passwort wählen, schon sind Sie dabei. Ihr Guthaben verfällt nie.