网页采集代理
采集程序会在短时间内向同一个网站发送大量请求。HiProxy 不限流量套餐让每个请求都从不同的家庭宽带 IP 发出,按天计费,与请求量无关。
为什么单个服务器 IP 会被封?
大多数网站在某个地址的请求超过一定数量后,就会放慢速度或封锁它。从一台服务器发出数千个请求的采集程序,很快就会超过这条线。
通过网关,请求会分散到许多来自家庭宽带的 IP(住宅 IP)上。总请求量不变,但每个 IP 发出的请求量与普通访客差不多。
一天多少钱,价格由什么决定?
最小档位(200 个连接,100 Mbps)在 Day 套餐下为 $4.75。Week(7 天)为每天 $4.47,Month(30 天)为 $4.04,Quarter(90 天)为 $3.61,周期越长,日单价越低。
不计字节数。图片多的页面和很小的 API 响应都包含在同样的日价中。只有时长、连接数和带宽会改变您支付的费用。
如何选择连接数?
统计采集程序同一时刻保持打开的请求数。如果有 150 个工作线程,200 个连接的档位就够用,还能留出重试的余量。
如果同时运行多个采集程序,把它们的线程数相加。超过 200 时,500 个连接档位(200 Mbps,每天 $7.77)更合适。下次购买套餐时可以更换档位。
哪些内容可以采集?
常见的目标是任何人无需登录即可打开的页面:商品列表、新闻文章、公开的企业名录。开始之前,请阅读网站条款和您所在地的法律。
用于泄露凭据登录、垃圾信息、DDoS 或访问政府网站的账户,HiProxy 会暂停。拉开请求间隔可以让目标网站保持正常,您的采集程序也能运行得更久。
为网页数据采集连接 HiProxy
1
只需用户名和密码即可注册,然后在支付窗口中用加密货币充值至少 $50。
2
在不限流量住宅代理下,选择 Day、Week、Month 或 Quarter,并选择连接数档位。
3
在代理用户名中添加 -zone-unl;如果数据因国家而异,再加上国家,例如 -cc-us。
4
将采集程序指向 gate.hiproxy.shop 的端口 6100(HTTP)或 6200(SOCKS5),每个请求都会更换 IP。
常见问题
IP 什么时候会更换?
用户名中不加 -sid 参数时,每个请求都会从新的住宅 IP 发出。
登录后的几个页面可以保持同一个 IP 吗?
可以。添加 -sid- 加任意会话名。使用相同名称的请求共用一个 IP。用 -ttl- 设置保持时间,最长 60 分钟。
不限流量真的不限流量吗?
流量不计。只有打开的连接数和速度以您选择的档位为准。
我的套餐显示开通中。
在网络开通之前会短暂显示这个状态。如果订单无法开通,会被取消,全部金额退回您的余额。