Proxy per la raccolta di dati di addestramento IA
Costruire un dataset dal web pubblico di solito significa settimane di crawling in diverse lingue. Con il piano residenziale illimitato HiProxy fissi in anticipo il costo per tutto quel periodo e invii richieste da 60 paesi.
Perché la fatturazione a GB è poco adatta ai crawl per dataset?
Quando un crawl copre migliaia di domini, non puoi controllare la dimensione delle pagine. Con una fatturazione a GB, pochi siti pieni di immagini possono far sforare di molto il budget previsto.
Il piano illimitato ha un prezzo che dipende solo da periodo, numero di connessioni e banda. Così puoi scrivere il costo esatto di un crawl di tre mesi prima della prima richiesta.
Come raccolgo separatamente ogni lingua?
Molti siti mostrano la versione linguistica di un paese in base all'IP del visitatore. Inserisci il paese nel nome utente, come -cc-de per la Germania o -cc-jp per il Giappone, e le richieste escono da lì.
Assegna a ogni lingua il suo gruppo di worker e il suo nome utente. Mantieni un solo codice del crawler e cambia solo il nome utente, e i dati delle diverse lingue restano separati.
Quanto costa un crawl di tre mesi?
Con 200 connessioni e 100 Mbps, il piano Quarter (90 giorni) costa $3.61 al giorno, $324.90 in totale. È il 24% in meno rispetto all'acquisto di un giorno alla volta ($4.75).
Per un crawl più grande, la fascia da 1,000 connessioni e 200 Mbps con Month (30 giorni) costa $8.78 al giorno, $263.40 in totale. La dashboard permette anche di impostare qualsiasi periodo da 1~365 giorni, quindi acquisti solo i giorni in cui gira il crawl.
A cosa devo fare attenzione quando raccolgo dati?
Raccogli solo contenuti pubblici e rispetta robots.txt e i termini dei siti. Verifica anche le norme su copyright e privacy che si applicano all'uso in addestramento. Elimina i dati personali che non ti servono prima che entrino nel dataset.
Limita le richieste per dominio anche quando il proxy ha spazio per farne di più. I siti che restano in salute sono siti che potrai analizzare di nuovo per la prossima versione del dataset.
Collega HiProxy per Dati per l'addestramento di AI
1
Ricarica un saldo sufficiente per tutto il periodo del crawl. Una ricarica può arrivare a $5,000, e da $100 in su ricevi un saldo bonus.
2
Acquista un piano residenziale illimitato in base ai giorni del tuo crawl. Quarter (90 giorni) ha la tariffa giornaliera più bassa.
3
Crea un nome utente per ogni lingua, come hpexample1-zone-unl-cc-fr, e collega ciascuno a un gruppo di worker.
4
Collega il crawler a gate.hiproxy.shop:6100 e limita le connessioni aperte alla fascia acquistata.
Domande comuni
Un solo piano può usare più paesi?
Sì. Un piano illimitato copre tutti i 60 paesi, e scegli il paese per ogni richiesta nel nome utente.
Un crawl dovrebbe usare sessioni sticky?
Di solito un nuovo IP per richiesta distribuisce il carico in modo più uniforme. Usa -sid solo per i siti in cui i cookie devono restare validi su più pagine.
Come pago?
In criptovalute, tramite la finestra di pagamento. Le monete e le reti accettate sono elencate lì. L'importo arriva sul tuo saldo in USD.
Cosa succede al saldo che avanza dopo il crawl?
Il saldo non scade. Usalo per il prossimo crawl o per qualsiasi altro prodotto.
Ricarica $50 e ottieni 142 GB di traffico residenziale
Scegli un nome utente e una password e sei dentro. Il tuo saldo non scade mai.