Proxy cho thu thập dữ liệu web
Công cụ thu thập dữ liệu gửi rất nhiều yêu cầu đến cùng một trang trong thời gian ngắn. Gói không giới hạn của HiProxy gửi mỗi yêu cầu đó từ một IP mạng gia đình khác nhau và tính tiền theo ngày, dù khối lượng bao nhiêu.
Vì sao một IP máy chủ bị chặn?
Phần lớn trang web làm chậm hoặc chặn một địa chỉ khi vượt quá một số lượng yêu cầu nhất định. Công cụ gửi hàng nghìn yêu cầu từ một máy chủ sẽ nhanh chóng vượt ngưỡng đó.
Qua cổng kết nối, các yêu cầu được chia cho nhiều IP từ kết nối internet gia đình (IP dân cư). Tổng số yêu cầu không đổi, nhưng mỗi IP chỉ gửi khoảng bằng một khách truy cập bình thường.
Một ngày giá bao nhiêu, và giá dựa trên gì?
Mức nhỏ nhất (200 kết nối, 100 Mbps) là $4.75 với gói Day. Week (7 ngày) là $4.47 mỗi ngày, Month (30 ngày) $4.04 và Quarter (90 ngày) $3.61, nên thời hạn càng dài giá càng giảm.
Dung lượng dữ liệu không bị tính. Trang nặng hình ảnh hay phản hồi API rất nhỏ đều nằm trong cùng một mức giá mỗi ngày. Chỉ thời hạn, số kết nối và băng thông mới làm thay đổi số tiền bạn trả.
Chọn số kết nối như thế nào?
Đếm số yêu cầu mà công cụ thu thập dữ liệu giữ mở cùng một lúc. Với 150 luồng worker, mức 200 kết nối là phù hợp và còn dư cho các lần thử lại.
Nếu chạy nhiều công cụ cùng lúc, hãy cộng số luồng lại. Vượt 200, mức 500 kết nối (200 Mbps, $7.77 mỗi ngày) sẽ phù hợp hơn. Bạn có thể đổi mức khi mua gói tiếp theo.
Thu thập những gì thì ổn?
Các trang ai cũng mở được mà không cần đăng nhập là mục tiêu thông thường: danh sách sản phẩm, bài báo, danh bạ doanh nghiệp công khai. Hãy đọc điều khoản của trang và pháp luật nơi bạn hoạt động trước khi bắt đầu.
HiProxy tạm khóa tài khoản dùng để đăng nhập bằng thông tin bị rò rỉ, gửi spam, DDoS hoặc truy cập trang của cơ quan nhà nước. Giãn cách các yêu cầu giúp trang đích ổn định và công cụ của bạn chạy được lâu hơn.
Kết nối HiProxy cho Web scraping
1
Đăng ký chỉ bằng tên đăng nhập và mật khẩu, rồi nạp ít nhất $50 tiền mã hóa trong cửa sổ thanh toán.
2
Trong mục proxy dân cư không giới hạn, chọn Day, Week, Month hoặc Quarter và chọn mức kết nối.
3
Thêm -zone-unl vào tên người dùng proxy, cùng quốc gia như -cc-us khi dữ liệu khác nhau theo quốc gia.
4
Trỏ công cụ thu thập dữ liệu đến gate.hiproxy.shop cổng 6100 (HTTP) hoặc 6200 (SOCKS5), IP sẽ đổi theo từng yêu cầu.
Câu hỏi thường gặp
Khi nào IP thay đổi?
Khi tên người dùng không có tùy chọn -sid, mỗi yêu cầu đều đi ra từ một IP dân cư mới.
Có giữ được một IP cho vài trang sau khi đăng nhập không?
Được. Thêm -sid- và một tên phiên bất kỳ. Các yêu cầu có cùng tên dùng chung một IP. Đặt thời gian giữ bằng -ttl-, tối đa 60 phút.
Gói không giới hạn có thật sự không giới hạn lưu lượng?
Lưu lượng không bị đo. Chỉ số kết nối mở và tốc độ theo mức bạn đã chọn.
Gói của tôi hiển thị đang kích hoạt.
Trạng thái này hiện trong thời gian ngắn cho đến khi mạng lưới bật gói. Nếu đơn hàng không kích hoạt được, đơn sẽ bị hủy và toàn bộ số tiền được hoàn về số dư.
Nạp $50 và nhận 142 GB lưu lượng dân cư
Chọn tên đăng nhập và mật khẩu là xong. Số dư không bao giờ hết hạn.