Web scraping için proxy
Bir scraper kısa sürede aynı siteye çok sayıda istek gönderir. HiProxy sınırsız paketi bu isteklerin her birini farklı bir ev bağlantısı IP'sinden gönderir ve hacim ne olursa olsun günlük ücretlendirir.
Tek bir sunucu IP'si neden engellenir?
Çoğu site belirli bir istek sayısını geçen adresi yavaşlatır veya engeller. Tek bir sunucudan binlerce istek yapan bir scraper bu sınırı hızla aşar.
Gateway üzerinden istekler ev internet bağlantılarına ait çok sayıda IP'ye (residential IP) dağılır. Toplam hacim aynı kalır ama her IP sıradan bir ziyaretçi kadar istek gönderir.
Bir gün ne kadar tutar, fiyatı ne belirler?
En küçük kademe (200 bağlantı, 100 Mbps) Day pakette $4.75'tir. Week (7 gün) günlük $4.47, Month (30 gün) $4.04 ve Quarter (90 gün) $3.61'dir, yani süre uzadıkça ücret düşer.
Bayt sayılmaz. Resim ağırlıklı sayfalar da küçük API yanıtları da aynı günlük fiyata dahildir. Ödediğiniz tutarı yalnızca süre, bağlantı sayısı ve bant genişliği değiştirir.
Bağlantı sayısını nasıl seçerim?
Scraper'ınızın aynı anda kaç isteği açık tuttuğunu sayın. 150 worker thread ile 200 bağlantı kademesi uygundur ve yeniden denemeler için pay bırakır.
Birkaç scraper'ı birlikte çalıştırıyorsanız thread sayılarını toplayın. 200'ü geçerse 500 bağlantı kademesi (200 Mbps, günlük $7.77) daha uygundur. Bir sonraki paketi alırken kademe değiştirebilirsiniz.
Neleri toplamak uygundur?
Genellikle giriş yapmadan herkesin açabileceği sayfalar hedeflenir: ürün listeleri, haber makaleleri, herkese açık işletme rehberleri. Başlamadan önce sitenin koşullarını ve faaliyet gösterdiğiniz yerdeki yasaları okuyun.
HiProxy sızdırılmış bilgilerle giriş, spam, DDoS veya devlet sitelerine erişim için kullanılan hesapları askıya alır. İstekleri aralıklı göndermek hedef siteyi sağlıklı tutar ve scraper'ınızın daha uzun çalışmasını sağlar.
Web scraping için HiProxy bağlantısı
1
Yalnızca kullanıcı adı ve şifreyle kayıt olun, ardından ödeme penceresinden kripto ile en az $30 yükleyin.
2
Sınırsız residential bölümünde Day, Week, Month veya Quarter seçin ve bir bağlantı kademesi belirleyin.
3
Proxy kullanıcı adınıza -zone-unl, veri ülkeye göre değişiyorsa -cc-us gibi bir ülke de ekleyin.
4
Scraper'ı gate.hiproxy.shop adresine 6100 (HTTP) veya 6200 (SOCKS5) portundan yönlendirin, IP her istekte değişir.
Sık sorulan sorular
IP ne zaman değişir?
Kullanıcı adında -sid seçeneği yoksa her istek yeni bir residential IP'den çıkar.
Giriş gerektiren birkaç sayfa için tek bir IP'yi tutabilir miyim?
Evet. -sid- ve ardından herhangi bir oturum adı ekleyin. Aynı ada sahip istekler tek bir IP'yi paylaşır. Ne kadar korunacağını -ttl- ile 60 dakikaya kadar ayarlayın.
Sınırsız paket trafikte gerçekten sınırsız mı?
Trafik ölçülmez. Yalnızca açık bağlantı sayısı ve hız seçtiğiniz kademeye bağlıdır.
Paketim "etkinleştiriliyor" olarak görünüyor.
Ağ paketi açana kadar kısa bir süre böyle görünür. Bir sipariş etkinleştirilemezse iptal edilir ve tutarın tamamı bakiyenize döner.
$30 yükleyin, 78 GB residential trafik alın
Bir kullanıcı adı ve şifre seçin, hazırsınız. Bakiyenizin süresi dolmaz.