收集 AI 訓練數據的代理
從公開網頁建立數據集，通常要以多種語言抓取數星期。使用 HiProxy 無限流量住宅計劃，你可預先確定整段期間的費用，並從 60 個國家發送請求。
為何按 GB 計費不適合數據集抓取？
當抓取涵蓋數千個網域，你無法控制頁面大小。按 GB 計費的話，幾個圖片多的網站就可令預算嚴重超支。
無限流量計劃只按使用期、連線數及頻寬定價。在發出第一個請求前，你已可寫下三個月抓取的確實費用。
如何分開收集各種語言？
不少網站會按訪客 IP 提供該國的語言版本。在用戶名稱加入國家，例如德國用 -cc-de，日本用 -cc-jp，請求便會從該國發出。
每種語言使用獨立的工作程序組及用戶名稱。抓取程式碼只保留一套，只更改用戶名稱，各語言的數據便會分開存放。
三個月抓取的費用是多少？
以 200 個連線、100 Mbps 計，Quarter（90 日）計劃為每日 $3.61，合共 $324.90。比每次只買一日（$4.75）便宜 24%。
較大規模的抓取，1,000 個連線、200 Mbps 級別的 Month（30 日）為每日 $8.78，合共 $263.40。控制台也可設定 1~365 日任何使用期，你只需購買抓取運行的日數。
收集數據時要注意甚麼？
只收集公開內容，並遵守 robots.txt 及網站條款。也請查閱適用於訓練用途的版權及私隱規定。在數據進入數據集之前，過濾掉不需要的個人資料。
即使代理仍有餘裕，也請限制每個網域的請求數量。網站保持正常，下一版數據集時才可以再次抓取。
為AI 訓練數據連接 HiProxy
1
增值足夠整段抓取期使用的餘額。每次增值最多 $5,000，$100 或以上可獲額外贈送餘額。
2
按抓取日數購買無限流量住宅計劃。Quarter（90 日）的每日價格最低。
3
每種語言建立一個用戶名稱，例如 hpexample1-zone-unl-cc-fr，並各自連接一個工作程序組。
4
把抓取程式連接到 gate.hiproxy.shop:6100，並把開啟的連線數限制在所購級別之內。
常見問題
一個計劃可以使用多個國家嗎？
可以。一個無限流量計劃已涵蓋全部 60 個國家，你在用戶名稱為每個請求選擇國家。
抓取應該使用黏性連線嗎？
通常每個請求使用新 IP 可更平均地分散負載。只在需要跨多個頁面保留 Cookie 的網站使用 -sid。
如何付款？
在付款視窗以加密貨幣付款。接受的幣種及網絡列在付款視窗內。金額會存入你的 USD 餘額。
抓取完成後剩下的餘額怎麼辦？
餘額不會過期，可用於下一次抓取或任何其他產品。