Proxy untuk pengumpulan data latihan AI
Membina set data daripada web awam biasanya bermakna crawl berminggu-minggu dalam beberapa bahasa. Dengan pakej proxy kediaman tanpa had HiProxy, anda menetapkan kos untuk keseluruhan tempoh itu lebih awal dan menghantar permintaan dari 60 negara.
Mengapa bil mengikut GB kurang sesuai untuk crawl set data?
Apabila crawl meliputi beribu-ribu domain, anda tidak dapat mengawal saiz halaman. Dengan bil mengikut GB, beberapa laman yang banyak imej boleh menyebabkan bajet jauh tersasar.
Pakej tanpa had hanya dikira mengikut tempoh, bilangan sambungan dan lebar jalur. Ini membolehkan anda mencatat kos tepat crawl tiga bulan sebelum permintaan pertama.
Bagaimana cara mengumpul setiap bahasa secara berasingan?
Banyak laman memaparkan versi bahasa sesebuah negara berdasarkan IP pelawat. Letakkan negara dalam nama pengguna, seperti -cc-de untuk Jerman atau -cc-jp untuk Jepun, dan permintaan keluar dari situ.
Beri setiap bahasa kumpulan worker dan nama pengguna sendiri. Kekalkan satu kod crawler dan ubah nama pengguna sahaja, dan data setiap bahasa kekal berasingan.
Berapakah kos crawl tiga bulan?
Pada 200 sambungan dan 100 Mbps, pakej Quarter (90 hari) ialah $3.61 sehari, jumlahnya $324.90. Itu 24% lebih murah daripada membeli satu hari demi satu hari ($4.75).
Untuk crawl lebih besar, peringkat 1,000 sambungan, 200 Mbps dengan Month (30 hari) ialah $8.78 sehari, jumlahnya $263.40. Dashboard juga membolehkan anda menetapkan apa-apa tempoh dari 1~365 hari, jadi anda hanya membeli hari crawl anda berjalan.
Apa yang perlu diingat semasa mengumpul data?
Kumpul kandungan awam sahaja dan patuhi robots.txt serta terma laman. Semak juga peraturan hak cipta dan privasi yang terpakai untuk kegunaan latihan. Tapis data peribadi yang tidak diperlukan sebelum ia masuk ke set data.
Hadkan permintaan bagi setiap domain walaupun proxy masih boleh menampung lebih. Laman yang kekal stabil ialah laman yang boleh anda crawl semula untuk versi set data seterusnya.
Sambungkan HiProxy untuk Data latihan AI
1
Tambah nilai baki yang cukup untuk keseluruhan tempoh crawl. Satu tambah nilai boleh mencapai $5,000, dan $100 atau lebih mendapat baki bonus.
2
Beli pakej proxy kediaman tanpa had yang sepadan dengan bilangan hari crawl anda. Quarter (90 hari) mempunyai kadar harian paling rendah.
3
Cipta satu nama pengguna bagi setiap bahasa, seperti hpexample1-zone-unl-cc-fr, dan pautkan setiap satu pada kumpulan worker.
4
Sambungkan crawler ke gate.hiproxy.shop:6100 dan hadkan sambungan terbuka mengikut peringkat yang anda beli.
Soalan biasa
Bolehkah satu pakej menggunakan beberapa negara?
Boleh. Satu pakej tanpa had meliputi kesemua 60 negara, dan anda memilih negara bagi setiap permintaan dalam nama pengguna.
Patutkah crawl menggunakan sesi sticky?
Biasanya IP baharu bagi setiap permintaan menyebarkan beban dengan lebih sekata. Gunakan -sid hanya untuk laman yang memerlukan kuki dibawa merentasi beberapa halaman.
Bagaimana cara membayar?
Dengan kripto, melalui tetingkap pembayaran. Syiling dan rangkaian yang diterima disenaraikan di situ. Jumlahnya masuk ke baki USD anda.
Apa yang berlaku kepada baki yang tinggal selepas crawl?
Baki tidak luput. Gunakan untuk crawl seterusnya atau untuk mana-mana produk lain.
Tambah nilai $50 dan dapatkan 142 GB trafik kediaman
Pilih nama pengguna dan kata laluan, dan anda boleh terus bermula. Baki anda tidak pernah luput.