Proxys pour la collecte de données d'entraînement IA
Construire un dataset à partir du web public demande généralement des semaines de crawl dans plusieurs langues. Avec l'offre résidentielle illimitée HiProxy, vous fixez le coût de toute la période dès le départ et envoyez des requêtes depuis 60 pays.
Pourquoi la facturation au GB convient mal aux crawls de datasets ?
Quand un crawl couvre des milliers de domaines, vous ne maîtrisez pas la taille des pages. Avec une facture au GB, quelques sites chargés en images peuvent faire dérailler le budget.
L'offre illimitée dépend uniquement de la durée, du nombre de connexions et de la bande passante. Vous pouvez donc chiffrer exactement le coût d'un crawl de trois mois avant la première requête.
Comment collecter chaque langue séparément ?
Beaucoup de sites affichent la version linguistique d'un pays selon l'IP du visiteur. Indiquez le pays dans l'identifiant, comme -cc-de pour l'Allemagne ou -cc-jp pour le Japon, et les requêtes sortent depuis ce pays.
Donnez à chaque langue son propre groupe de workers et son identifiant. Gardez un seul code de crawler et changez uniquement l'identifiant : les langues restent séparées.
Combien coûte un crawl de trois mois ?
À 200 connexions et 100 Mbps, l'offre Quarter (90 jours) coûte $3.61 par jour, soit $324.90 au total. C'est 24% de moins que l'achat jour par jour ($4.75).
Pour un crawl plus important, le palier 1,000 connexions, 200 Mbps en Month (30 jours) coûte $8.78 par jour, soit $263.40 au total. Le tableau de bord permet aussi de choisir n'importe quelle durée de 1~365 jours : vous n'achetez que les jours où votre crawl tourne.
À quoi faire attention lors de la collecte ?
Ne collectez que du contenu public et respectez robots.txt et les conditions des sites. Vérifiez aussi les règles de droit d'auteur et de protection des données applicables à l'entraînement. Filtrez les données personnelles inutiles avant leur entrée dans le dataset.
Plafonnez les requêtes par domaine même si le proxy peut en traiter plus. Un site qui reste en bon état est un site que vous pourrez crawler à nouveau pour la prochaine version du dataset.
Connecter HiProxy pour Données d'entraînement IA
1
Rechargez assez de solde pour toute la durée du crawl. Une recharge peut aller jusqu'à $5,000, et à partir de $100 vous recevez un bonus de solde.
2
Achetez une offre résidentielle illimitée correspondant aux jours de crawl. Quarter (90 jours) a le tarif journalier le plus bas.
3
Créez un identifiant par langue, comme hpexample1-zone-unl-cc-fr, et associez chacun à un groupe de workers.
4
Connectez le crawler à gate.hiproxy.shop:6100 et limitez les connexions ouvertes au palier acheté.
Questions fréquentes
Une offre peut-elle utiliser plusieurs pays ?
Oui. Une offre illimitée couvre les 60 pays, et vous choisissez le pays pour chaque requête dans l'identifiant.
Un crawl doit-il utiliser des sessions persistantes ?
En général, une nouvelle IP par requête répartit mieux la charge. Utilisez -sid seulement pour les sites où les cookies doivent suivre sur plusieurs pages.
Comment payer ?
En cryptomonnaies, via la fenêtre de paiement. Les cryptomonnaies et réseaux acceptés y sont indiqués. Le montant arrive sur votre solde en USD.
Que devient le solde restant après le crawl ?
Le solde n'expire pas. Utilisez-le pour le prochain crawl ou pour n'importe quel autre produit.
Rechargez $30 et obtenez 78 GB de trafic résidentiel
Choisissez un nom d'utilisateur et un mot de passe, c'est tout. Votre solde n'expire jamais.