Proxy para sa pagkuha ng AI training data
Ang pagbuo ng dataset mula sa pampublikong web ay kadalasang ilang linggo ng crawling sa iba't ibang wika. Sa HiProxy unlimited residential plan, itinatakda mo agad ang gastos para sa buong period at nagpapadala ng request mula sa 60 bansa.
Bakit hindi bagay ang singil kada GB sa dataset crawl?
Kapag libu-libong domain ang saklaw ng crawl, hindi mo makokontrol ang laki ng page. Sa singil kada GB, ilang site lang na mabigat sa larawan ay puwedeng magpalayo nang husto sa budget.
Period, bilang ng koneksyon at bandwidth lang ang batayan ng presyo ng unlimited plan. Kaya maisusulat mo ang eksaktong gastos ng tatlong buwang crawl bago pa ang unang request.
Paano kunin nang hiwalay ang bawat wika?
Maraming site ang nagbibigay ng bersyon ng wika ng isang bansa batay sa IP ng bisita. Ilagay ang bansa sa username, gaya ng -cc-de para sa Germany o -cc-jp para sa Japan, at doon lalabas ang mga request.
Bigyan ang bawat wika ng sariling worker pool at username. Iisang crawler codebase lang at username lang ang babaguhin, at magkakahiwalay ang mga bucket ng wika.
Magkano ang tatlong buwang crawl?
Sa 200 koneksyon at 100 Mbps, ang Quarter (90 araw) plan ay $3.61 kada araw, $324.90 lahat. 24% na mas mura iyon kaysa bumili ng isang araw sa bawat beses ($4.75).
Para sa mas malaking crawl, ang 1,000 koneksyon, 200 Mbps na tier sa Month (30 araw) ay $8.78 kada araw, $263.40 lahat. Puwede ka ring magtakda ng kahit anong period mula 1~365 araw sa dashboard, kaya ang mga araw lang ng crawl mo ang bibilhin mo.
Ano ang dapat tandaan sa pagkuha ng data?
Pampublikong content lang ang kunin at sundin ang robots.txt at terms ng site. Suriin din ang mga patakaran sa copyright at privacy na saklaw ang paggamit sa training. Alisin ang personal data na hindi kailangan bago ito pumasok sa dataset.
Limitahan ang request kada domain kahit kaya pa ng proxy ang mas marami. Ang mga site na nananatiling maayos ay mga site na puwede mong i-crawl ulit para sa susunod na bersyon ng dataset.
Ikonekta ang HiProxy para sa AI training data
1
Mag-top up ng sapat na balance para sa buong period ng crawl. Hanggang $5,000 ang isang top-up, at may bonus balance ang $100 o higit pa.
2
Bumili ng unlimited residential plan na tugma sa mga araw ng crawl mo. Ang Quarter (90 araw) ang may pinakamababang rate kada araw.
3
Gumawa ng isang username kada wika, gaya ng hpexample1-zone-unl-cc-fr, at ikabit ang bawat isa sa isang worker pool.
4
Ikonekta ang crawler sa gate.hiproxy.shop:6100 at limitahan ang bukas na koneksyon sa tier na binili mo.
Mga karaniwang tanong
Puwede bang gumamit ng ilang bansa ang isang plan?
Oo. Saklaw ng isang unlimited plan ang lahat ng 60 bansa, at pinipili mo ang bansa kada request sa username.
Dapat bang gumamit ng sticky session ang crawl?
Kadalasan, mas pantay ang hati ng load kapag bagong IP sa bawat request. Gamitin lang ang -sid sa mga site kung saan kailangang dalhin ang cookies sa ilang page.
Paano magbayad?
Gamit ang crypto, sa payment window. Nakalista doon ang mga tinatanggap na coin at network. Pumapasok ang halaga sa USD balance mo.
Ano ang mangyayari sa natirang balance pagkatapos ng crawl?
Hindi nag-e-expire ang balance. Gamitin ito sa susunod na crawl o sa ibang produkto.
Mag-top up ng $50 at makakuha ng 142 GB na residential traffic
Pumili ng username at password at pasok ka na. Hindi nag-e-expire ang balance mo.