Proxy per web scraping
Uno scraper invia molte richieste allo stesso sito in poco tempo. Il piano illimitato HiProxy invia ognuna di quelle richieste da un IP di connessione domestica diverso e fattura a giorno, qualunque sia il volume.
Perché un singolo IP di server viene bloccato?
La maggior parte dei siti rallenta o blocca un indirizzo quando supera un certo numero di richieste. Uno scraper che fa migliaia di richieste da un solo server supera in fretta quella soglia.
Attraverso il gateway, le richieste si distribuiscono su molti IP di connessioni internet domestiche (IP residenziali). Il volume totale resta lo stesso, ma ogni IP invia più o meno quanto un normale visitatore.
Quanto costa un giorno, e da cosa dipende il prezzo?
La fascia più piccola (200 connessioni, 100 Mbps) costa $4.75 con il piano Day. Week (7 giorni) costa $4.47 al giorno, Month (30 giorni) $4.04 e Quarter (90 giorni) $3.61, quindi la tariffa scende con l'aumentare del periodo.
I byte non vengono conteggiati. Pagine piene di immagini e piccole risposte API rientrano nello stesso prezzo giornaliero. Solo il periodo, il numero di connessioni e la banda cambiano quanto paghi.
Come scelgo il numero di connessioni?
Conta quante richieste il tuo scraper tiene aperte nello stesso momento. Con 150 thread di lavoro, va bene la fascia da 200 connessioni, che lascia spazio per i nuovi tentativi.
Se usi più scraper insieme, somma i loro thread. Oltre 200, è più adatta la fascia da 500 connessioni (200 Mbps, $7.77 al giorno). Puoi cambiare fascia quando acquisti il piano successivo.
Cosa si può raccogliere?
Gli obiettivi abituali sono le pagine che chiunque può aprire senza accesso: schede prodotto, articoli di notizie, elenchi pubblici di aziende. Prima di iniziare leggi i termini del sito e le leggi del paese in cui operi.
HiProxy sospende gli account usati per accessi con credenziali rubate, spam, DDoS o accesso a siti governativi. Distanziare le richieste mantiene in salute il sito di destinazione e fa funzionare più a lungo il tuo scraper.
Collega HiProxy per Web scraping
1
Registrati solo con nome utente e password, poi ricarica almeno $50 in criptovalute nella finestra di pagamento.
2
In residenziali illimitati, scegli Day, Week, Month o Quarter e una fascia di connessioni.
3
Aggiungi -zone-unl al nome utente del proxy, più un paese come -cc-us quando i dati cambiano in base al paese.
4
Imposta lo scraper su gate.hiproxy.shop sulla porta 6100 (HTTP) o 6200 (SOCKS5), e l'IP cambia a ogni richiesta.
Domande comuni
Quando cambia l'IP?
Senza l'opzione -sid nel nome utente, ogni richiesta esce da un nuovo IP residenziale.
Posso mantenere un IP per alcune pagine dopo l'accesso?
Sì. Aggiungi -sid- seguito da un nome di sessione qualsiasi. Le richieste con lo stesso nome condividono un IP. Imposta quanto dura con -ttl-, fino a 60 minuti.
L'illimitato è davvero illimitato nel traffico?
Il traffico non viene misurato. Solo il numero di connessioni aperte e la velocità seguono la fascia che hai scelto.
Il mio piano risulta in attivazione.
Resta così per poco tempo, finché la rete non lo attiva. Se un ordine non può essere attivato, viene annullato e l'intero importo torna sul saldo.
Ricarica $50 e ottieni 142 GB di traffico residenziale
Scegli un nome utente e una password e sei dentro. Il tuo saldo non scade mai.