Proxy untuk web scraping
Scraper mengirim banyak permintaan ke situs yang sama dalam waktu singkat. Paket unlimited HiProxy mengirim setiap permintaan itu dari IP koneksi rumahan yang berbeda dan menagih per hari, berapa pun volumenya.
Kenapa satu IP server bisa diblokir?
Sebagian besar situs memperlambat atau memblokir alamat yang sudah melewati jumlah permintaan tertentu. Scraper yang membuat ribuan permintaan dari satu server cepat melewati batas itu.
Melalui gateway, permintaan tersebar ke banyak IP dari koneksi internet rumahan (IP residensial). Volume totalnya tetap, tetapi setiap IP mengirim kira-kira sebanyak pengunjung biasa.
Berapa biaya per hari, dan apa yang menentukan harganya?
Tingkat terkecil (200 koneksi, 100 Mbps) seharga $4.75 di paket Day. Week (7 hari) $4.47 per hari, Month (30 hari) $4.04, dan Quarter (90 hari) $3.61, jadi tarifnya turun seiring periode makin panjang.
Byte tidak dihitung. Halaman penuh gambar dan respons API kecil sama-sama masuk dalam harga harian yang sama. Hanya periode, jumlah koneksi, dan bandwidth yang mengubah biaya Anda.
Bagaimana cara memilih jumlah koneksi?
Hitung berapa banyak permintaan yang dibuka scraper Anda pada satu waktu. Dengan 150 worker thread, tingkat 200 koneksi sudah cukup dan masih menyisakan ruang untuk percobaan ulang.
Jika Anda menjalankan beberapa scraper bersamaan, jumlahkan thread-nya. Di atas 200, tingkat 500 koneksi (200 Mbps, $7.77 per hari) lebih cocok. Anda bisa mengganti tingkat saat membeli paket berikutnya.
Apa yang boleh dikumpulkan?
Halaman yang bisa dibuka siapa saja tanpa login adalah target yang umum: daftar produk, artikel berita, direktori bisnis publik. Baca ketentuan situs dan hukum di tempat Anda beroperasi sebelum mulai.
HiProxy menangguhkan akun yang dipakai untuk login dengan kredensial bocor, spam, DDoS, atau akses ke situs pemerintah. Memberi jeda pada permintaan menjaga situs target tetap sehat dan membuat scraper Anda berjalan lebih lama.
Hubungkan HiProxy untuk Web scraping
1
Daftar cukup dengan username dan kata sandi, lalu isi saldo minimal $30 dengan kripto di jendela pembayaran.
2
Di residensial unlimited, pilih Day, Week, Month, atau Quarter dan tentukan tingkat koneksi.
3
Tambahkan -zone-unl ke username proxy, ditambah negara seperti -cc-us jika datanya berbeda per negara.
4
Arahkan scraper ke gate.hiproxy.shop di port 6100 (HTTP) atau 6200 (SOCKS5), dan IP berganti di setiap permintaan.
Pertanyaan umum
Kapan IP berganti?
Tanpa opsi -sid di username, setiap permintaan keluar dari IP residensial baru.
Bisakah saya menahan satu IP untuk beberapa halaman di balik login?
Bisa. Tambahkan -sid- diikuti nama sesi apa saja. Permintaan dengan nama yang sama memakai satu IP. Atur lamanya dengan -ttl-, hingga 60 menit.
Apakah unlimited benar-benar tanpa batas trafik?
Trafik tidak diukur. Hanya jumlah koneksi terbuka dan kecepatan yang mengikuti tingkat yang Anda pilih.
Paket saya berstatus sedang diaktifkan.
Status itu tampil sebentar sampai jaringan mengaktifkannya. Jika pesanan tidak bisa diaktifkan, pesanan dibatalkan dan seluruh jumlahnya kembali ke saldo Anda.
Isi saldo $30 dan dapatkan 78 GB trafik residensial
Pilih username dan kata sandi, dan Anda sudah bisa masuk. Saldo Anda tidak pernah hangus.