AI 訓練資料收集用代理
從公開網路建立資料集，通常需要數週、多種語言的爬取工作。使用 HiProxy 無限流量住宅代理方案，可以事先確定整個期間的費用，並從 60 個國家送出請求。
為什麼按 GB 計費不適合資料集爬取？
爬取工作涵蓋數千個網域時，頁面大小無法控制。按 GB 計費時，少數圖片很多的網站就可能讓預算大幅超出計畫。
無限流量方案只依期間、連線數與頻寬計價。因此在送出第一個請求之前，就能寫下三個月爬取工作的確切費用。
如何分別收集各語言的資料？
許多網站會依訪客的 IP 提供該國家的語言版本。在使用者名稱中加上國家，例如德國用 -cc-de、日本用 -cc-jp，請求就會從該國家發出。
為每種語言設定各自的 worker 池與使用者名稱。爬蟲程式碼只有一套，只改使用者名稱，各語言的資料就能分開存放。
三個月的爬取工作要多少錢？
200 個連線、100 Mbps 時，Quarter（90 天）方案為每天 $3.61，合計 $324.90。比一天一天購買（$4.75）便宜 24%。
規模較大的爬取工作，1,000 個連線、200 Mbps 級距在 Month（30 天）方案為每天 $8.78，合計 $263.40。控制台也可設定 1~365 天的任意期間，只需購買爬取工作執行的天數。
收集資料時要注意什麼？
只收集公開內容，並遵守 robots.txt 與網站條款。也請確認用於訓練時適用的著作權與隱私規定。不需要的個人資料請在進入資料集前過濾掉。
即使代理還有餘裕，也請限制每個網域的請求數。網站保持正常運作，下一版資料集時才能再次爬取。
為AI 訓練資料連線 HiProxy
1
儲值足以支應整個爬取期間的餘額。單次儲值最高 $5,000，$100 以上可獲得加贈餘額。
2
購買與爬取天數相符的無限流量住宅代理方案。Quarter（90 天）的每日費率最低。
3
每種語言建立一個使用者名稱，例如 hpexample1-zone-unl-cc-fr，並分別對應到 worker 池。
4
將爬蟲連線到 gate.hiproxy.shop:6100，並將開啟的連線數限制在購買的級距內。
常見問題
一個方案可以使用多個國家嗎？
可以。一個無限流量方案即可使用全部 60 個國家，國家在使用者名稱中依每個請求選擇。
爬取工作應該使用固定 IP 工作階段嗎？
通常每個請求使用新 IP，負載會分散得更平均。只有在 Cookie 需要跨多個頁面保留的網站才使用 -sid。
如何付款？
在付款視窗中以加密貨幣付款。可接受的幣種與網路都列在那裡。金額會存入您的 USD 餘額。
爬取結束後剩下的餘額怎麼辦？
餘額不會過期。可用於下一次爬取工作或其他任何產品。