Proxy untuk pengumpulan data pelatihan AI
Membangun dataset dari web publik biasanya berarti crawling berminggu-minggu dalam beberapa bahasa. Dengan paket residensial unlimited HiProxy, Anda menetapkan biaya untuk seluruh periode itu di awal dan mengirim permintaan dari 60 negara.
Kenapa tagihan per GB kurang cocok untuk crawl dataset?
Saat crawl mencakup ribuan domain, Anda tidak bisa mengendalikan ukuran halaman. Dengan tagihan per GB, beberapa situs yang penuh gambar bisa membuat anggaran jauh melenceng dari rencana.
Harga paket unlimited hanya ditentukan oleh periode, jumlah koneksi, dan bandwidth. Jadi Anda bisa menuliskan biaya pasti crawl tiga bulan sebelum permintaan pertama.
Bagaimana cara mengumpulkan tiap bahasa secara terpisah?
Banyak situs menampilkan versi bahasa suatu negara berdasarkan IP pengunjung. Masukkan negara di username, misalnya -cc-de untuk Jerman atau -cc-jp untuk Jepang, maka permintaan keluar dari sana.
Beri setiap bahasa pool worker dan username sendiri. Gunakan satu kode crawler dan ubah username saja, maka kelompok bahasa tetap terpisah.
Berapa biaya crawl tiga bulan?
Untuk 200 koneksi dan 100 Mbps, paket Quarter (90 hari) seharga $3.61 per hari, total $324.90. Itu 24% lebih murah daripada membeli per hari ($4.75).
Untuk crawl yang lebih besar, tingkat 1,000 koneksi, 200 Mbps di Month (30 hari) seharga $8.78 per hari, total $263.40. Dashboard juga memungkinkan Anda mengatur periode berapa pun dari 1~365 hari, jadi Anda hanya membeli hari saat crawl berjalan.
Apa yang perlu diperhatikan saat mengumpulkan data?
Kumpulkan konten publik saja dan ikuti robots.txt serta ketentuan situs. Periksa juga aturan hak cipta dan privasi yang berlaku untuk penggunaan pelatihan. Saring data pribadi yang tidak diperlukan sebelum masuk ke dataset.
Batasi permintaan per domain meskipun proxy masih punya kapasitas. Situs yang tetap sehat adalah situs yang bisa Anda crawl lagi untuk versi dataset berikutnya.
Hubungkan HiProxy untuk Data pelatihan AI
1
Isi saldo yang cukup untuk seluruh periode crawl. Sekali isi bisa hingga $5,000, dan $100 atau lebih mendapat saldo bonus.
2
Beli paket residensial unlimited sesuai jumlah hari crawl. Quarter (90 hari) punya tarif harian terendah.
3
Buat satu username per bahasa, misalnya hpexample1-zone-unl-cc-fr, dan pasangkan masing-masing ke pool worker.
4
Hubungkan crawler ke gate.hiproxy.shop:6100 dan batasi koneksi terbuka sesuai tingkat yang Anda beli.
Pertanyaan umum
Bisakah satu paket memakai beberapa negara?
Bisa. Satu paket unlimited mencakup semua 60 negara, dan Anda memilih negara per permintaan di username.
Apakah crawl sebaiknya memakai sesi sticky?
Biasanya IP baru di setiap permintaan menyebarkan beban lebih merata. Gunakan -sid hanya untuk situs yang cookie-nya perlu terbawa ke beberapa halaman.
Bagaimana cara membayar?
Dengan kripto, melalui jendela pembayaran. Koin dan jaringan yang diterima tercantum di sana. Jumlahnya masuk ke saldo USD Anda.
Bagaimana dengan saldo yang tersisa setelah crawl?
Saldo tidak hangus. Pakai untuk crawl berikutnya atau produk lain.
Isi saldo $50 dan dapatkan 142 GB trafik residensial
Pilih username dan kata sandi, dan Anda sudah bisa masuk. Saldo Anda tidak pernah hangus.