Proxy untuk web scraping
Scraper menghantar banyak permintaan ke laman yang sama dalam masa singkat. Pakej tanpa had HiProxy menghantar setiap permintaan itu dari IP sambungan rumah yang berbeza dan dibil mengikut hari, walau berapa pun jumlahnya.
Mengapa satu IP pelayan disekat?
Kebanyakan laman melambatkan atau menyekat sesuatu alamat setelah ia melepasi bilangan permintaan tertentu. Scraper yang membuat beribu-ribu permintaan dari satu pelayan cepat melepasi had itu.
Melalui gateway, permintaan disebarkan ke banyak IP daripada sambungan internet rumah (IP kediaman). Jumlah keseluruhan kekal sama, tetapi setiap IP menghantar lebih kurang sebanyak pelawat biasa.
Berapakah kos sehari, dan apa yang menentukan harga?
Peringkat paling kecil (200 sambungan, 100 Mbps) ialah $4.75 untuk pakej Day. Week (7 hari) ialah $4.47 sehari, Month (30 hari) $4.04 dan Quarter (90 hari) $3.61, jadi kadar turun apabila tempoh bertambah.
Bait tidak dikira. Halaman yang banyak imej dan respons API yang kecil sama-sama termasuk dalam harga harian yang sama. Hanya tempoh, bilangan sambungan dan lebar jalur yang mengubah bayaran anda.
Bagaimana cara memilih bilangan sambungan?
Kira berapa banyak permintaan yang dibuka serentak oleh scraper anda. Dengan 150 thread worker, peringkat 200 sambungan sesuai dan masih ada ruang untuk cubaan semula.
Jika anda menjalankan beberapa scraper bersama, campurkan bilangan thread mereka. Melebihi 200, peringkat 500 sambungan (200 Mbps, $7.77 sehari) lebih sesuai. Anda boleh menukar peringkat semasa membeli pakej seterusnya.
Apa yang boleh dikumpul?
Halaman yang boleh dibuka oleh sesiapa tanpa log masuk ialah sasaran biasa: senarai produk, artikel berita, direktori perniagaan awam. Baca terma laman dan undang-undang di tempat anda beroperasi sebelum bermula.
HiProxy menggantung akaun yang digunakan untuk log masuk dengan kelayakan yang bocor, spam, DDoS atau akses ke laman kerajaan. Menjarakkan permintaan memastikan laman sasaran kekal stabil dan scraper anda boleh berjalan lebih lama.
Sambungkan HiProxy untuk Web scraping
1
Daftar dengan nama pengguna dan kata laluan sahaja, kemudian tambah nilai sekurang-kurangnya $50 dengan kripto dalam tetingkap pembayaran.
2
Di bawah proxy kediaman tanpa had, pilih Day, Week, Month atau Quarter dan pilih peringkat sambungan.
3
Tambah -zone-unl pada nama pengguna proxy anda, serta negara seperti -cc-us jika data berbeza mengikut negara.
4
Tetapkan scraper ke gate.hiproxy.shop pada port 6100 (HTTP) atau 6200 (SOCKS5), dan IP bertukar pada setiap permintaan.
Soalan biasa
Bilakah IP bertukar?
Tanpa pilihan -sid dalam nama pengguna, setiap permintaan keluar dari IP kediaman baharu.
Bolehkah saya mengekalkan satu IP untuk beberapa halaman di sebalik log masuk?
Boleh. Tambah -sid- diikuti apa-apa nama sesi. Permintaan dengan nama yang sama berkongsi satu IP. Tetapkan tempohnya dengan -ttl-, sehingga 60 minit.
Adakah trafik pakej tanpa had benar-benar tanpa had?
Trafik tidak diukur. Hanya bilangan sambungan terbuka dan kelajuan yang mengikut peringkat yang anda pilih.
Pakej saya menunjukkan mengaktifkan.
Status itu dipaparkan untuk seketika sehingga rangkaian menghidupkannya. Jika pesanan tidak dapat diaktifkan, ia dibatalkan dan jumlah penuh dikembalikan ke baki anda.
Tambah nilai $50 dan dapatkan 142 GB trafik kediaman
Pilih nama pengguna dan kata laluan, dan anda boleh terus bermula. Baki anda tidak pernah luput.