Proxys pour le web scraping
Un scraper envoie beaucoup de requêtes au même site en peu de temps. L'offre illimitée HiProxy envoie chacune de ces requêtes depuis une IP de connexion de particulier différente et facture à la journée, quel que soit le volume.
Pourquoi une seule IP de serveur se fait-elle bloquer ?
La plupart des sites ralentissent ou bloquent une adresse dès qu'elle dépasse un certain nombre de requêtes. Un scraper qui envoie des milliers de requêtes depuis un seul serveur franchit vite ce seuil.
Via la passerelle, les requêtes sont réparties sur de nombreuses IP de connexions internet de particuliers (IP résidentielles). Le volume total reste le même, mais chaque IP envoie à peu près autant qu'un visiteur ordinaire.
Combien coûte une journée, et qu'est-ce qui fixe le prix ?
Le plus petit palier (200 connexions, 100 Mbps) coûte $4.75 avec l'offre Day. Week (7 jours) revient à $4.47 par jour, Month (30 jours) à $4.04 et Quarter (90 jours) à $3.61 : le tarif baisse quand la durée augmente.
Les octets ne sont pas comptés. Les pages chargées en images comme les petites réponses API entrent dans le même prix journalier. Seuls la durée, le nombre de connexions et la bande passante changent ce que vous payez.
Comment choisir le nombre de connexions ?
Comptez combien de requêtes votre scraper garde ouvertes au même moment. Avec 150 threads, le palier de 200 connexions convient et laisse de la marge pour les nouvelles tentatives.
Si vous faites tourner plusieurs scrapers ensemble, additionnez leurs threads. Au-delà de 200, le palier de 500 connexions (200 Mbps, $7.77 par jour) convient mieux. Vous pouvez changer de palier lors de l'achat de votre prochaine offre.
Que peut-on collecter ?
Les pages que tout le monde peut ouvrir sans connexion sont les cibles habituelles : fiches produits, articles d'actualité, annuaires d'entreprises publics. Lisez les conditions du site et les lois du pays où vous opérez avant de commencer.
HiProxy suspend les comptes utilisés pour des connexions avec des identifiants volés, du spam, des DDoS ou l'accès à des sites gouvernementaux. Espacer vos requêtes préserve le site cible et permet à votre scraper de tourner plus longtemps.
Connecter HiProxy pour Web scraping
1
Inscrivez-vous avec un simple nom d'utilisateur et un mot de passe, puis rechargez au moins $50 en cryptomonnaies dans la fenêtre de paiement.
2
Dans Résidentiel illimité, choisissez Day, Week, Month ou Quarter et un palier de connexions.
3
Ajoutez -zone-unl à votre identifiant proxy, et un pays comme -cc-us quand les données varient selon le pays.
4
Dans le scraper, indiquez gate.hiproxy.shop sur le port 6100 (HTTP) ou 6200 (SOCKS5) : l'IP change à chaque requête.
Questions fréquentes
Quand l'IP change-t-elle ?
Sans option -sid dans l'identifiant, chaque requête sort depuis une nouvelle IP résidentielle.
Puis-je garder une IP sur quelques pages après connexion ?
Oui. Ajoutez -sid- suivi de n'importe quel nom de session. Les requêtes avec le même nom partagent une IP. Réglez sa durée avec -ttl-, jusqu'à 60 minutes.
L'illimité est-il vraiment illimité en trafic ?
Le trafic n'est pas mesuré. Seuls le nombre de connexions ouvertes et la vitesse dépendent du palier choisi.
Mon offre affiche « En activation ».
Ce statut s'affiche peu de temps, jusqu'à ce que le réseau l'active. Si une commande ne peut pas être activée, elle est annulée et le montant total revient sur votre solde.
Rechargez $50 et obtenez 142 GB de trafic résidentiel
Choisissez un nom d'utilisateur et un mot de passe, c'est tout. Votre solde n'expire jamais.