AI 训练数据采集代理
用公开网页构建数据集，通常需要用多种语言爬取数周。使用 HiProxy 不限流量住宅代理，您可以事先确定整个周期的费用，并从 60 个国家发送请求。
为什么数据集爬取不适合按 GB 计费？
爬取覆盖成千上万个域名时，页面大小无法控制。按 GB 计费的话，少数图片多的网站就可能让预算大大超出计划。
不限流量套餐只按时长、连接数和带宽计价。这样在发出第一个请求之前，您就能写下三个月爬取的准确费用。
如何分语言采集？
很多网站会根据访客 IP 提供对应国家的语言版本。在用户名中填入国家，例如德国 -cc-de、日本 -cc-jp，请求就会从该国出口。
为每种语言设置单独的工作池和用户名。爬虫代码保持一套，只改用户名，各语言的数据就能分开。
三个月爬取要多少钱？
200 个连接、100 Mbps 选 Quarter（90 天）套餐为每天 $3.61，共 $324.90。比一天一天地买（$4.75）便宜 24%。
爬取规模更大时，1,000 个连接、200 Mbps 档位选 Month（30 天）为每天 $8.78，共 $263.40。控制台也可以设置 1~365 天的任意时长，只需购买爬取实际运行的天数。
采集数据时需要注意什么？
只采集公开内容，并遵守 robots.txt 和网站条款。同时确认适用于训练用途的版权和隐私规定。在数据进入数据集之前，过滤掉不需要的个人数据。
即使代理还有余量，也要限制每个域名的请求数。网站保持正常，下一个数据集版本时才能再次爬取。
为AI 训练数据连接 HiProxy
1
充值足够覆盖整个爬取周期的余额。单次充值最多 $5,000，充值 $100 及以上可获赠余额。
2
购买与爬取天数相符的不限流量住宅代理套餐。Quarter（90 天）的日单价最低。
3
每种语言创建一个用户名，例如 hpexample1-zone-unl-cc-fr，并分别对应一个工作池。
4
将爬虫连接到 gate.hiproxy.shop:6100，并将打开的连接数限制在您购买的档位以内。
常见问题
一个套餐可以使用多个国家吗？
可以。一个不限流量套餐覆盖全部 60 个国家，您可以在用户名中为每个请求选择国家。
爬取应该使用粘性会话吗？
通常每个请求换新 IP 能更均匀地分散负载。只有在需要跨多个页面保留 Cookie 的网站上才使用 -sid。
如何付款？
通过支付窗口用加密货币付款。支持的币种和网络在窗口中列出。金额会计入您的 USD 余额。
爬取结束后剩余的余额怎么办？
余额不会过期。可用于下一次爬取或其他任何产品。