Proxy do zbierania danych treningowych AI
Budowa zbioru danych z publicznej sieci zwykle oznacza tygodnie crawlowania w kilku językach. Z nielimitowanym pakietem rezydencjalnym HiProxy ustalasz koszt całego okresu z góry i wysyłasz zapytania z 60 krajów.
Dlaczego rozliczenie za GB słabo pasuje do crawli zbiorów danych?
Gdy crawl obejmuje tysiące domen, nie masz kontroli nad rozmiarem stron. Przy rozliczeniu za GB kilka stron z dużą liczbą zdjęć może mocno rozjechać budżet z planem.
Pakiet nielimitowany jest wyceniany tylko według okresu, liczby połączeń i przepustowości. Dzięki temu dokładny koszt trzymiesięcznego crawla możesz zapisać przed pierwszym zapytaniem.
Jak zbierać każdy język osobno?
Wiele stron podaje wersję językową kraju na podstawie IP odwiedzającego. Wpisz kraj w nazwie użytkownika, np. -cc-de dla Niemiec lub -cc-jp dla Japonii, a zapytania wyjdą stamtąd.
Daj każdemu językowi osobną pulę workerów i nazwę użytkownika. Zachowaj jeden kod crawlera i zmieniaj tylko nazwę użytkownika, a zbiory dla poszczególnych języków pozostaną rozdzielone.
Ile kosztuje trzymiesięczny crawl?
Przy 200 połączeniach i 100 Mbps pakiet Quarter (90 dni) kosztuje $3.61 dziennie, razem $324.90. To 24% mniej niż kupowanie po jednym dniu ($4.75).
Przy większym crawlu próg 1,000 połączeń i 200 Mbps w Month (30 dni) kosztuje $8.78 dziennie, razem $263.40. W panelu możesz też ustawić dowolny okres od 1~365 dni, więc kupujesz tylko te dni, w które działa crawl.
O czym pamiętać przy zbieraniu danych?
Zbieraj tylko publiczne treści i przestrzegaj robots.txt oraz regulaminów stron. Sprawdź też przepisy o prawie autorskim i prywatności dotyczące trenowania modeli. Odfiltruj niepotrzebne dane osobowe, zanim trafią do zbioru danych.
Ogranicz liczbę zapytań na domenę, nawet gdy proxy ma zapas. Strony, które nie są przeciążone, możesz crawlować ponownie przy następnej wersji zbioru danych.
Podłącz HiProxy: Dane do trenowania AI
1
Doładuj saldo na cały okres crawla. Jedno doładowanie może wynosić do $5,000, a od $100 dostajesz bonusowe saldo.
2
Kup nielimitowany pakiet rezydencjalny pasujący do liczby dni crawla. Quarter (90 dni) ma najniższą stawkę dzienną.
3
Utwórz jedną nazwę użytkownika na język, np. hpexample1-zone-unl-cc-fr, i przypisz każdą do puli workerów.
4
Połącz crawler z gate.hiproxy.shop:6100 i ogranicz liczbę otwartych połączeń do kupionego progu.
Częste pytania
Czy jeden pakiet może korzystać z kilku krajów?
Tak. Jeden pakiet nielimitowany obejmuje wszystkie 60 krajów, a kraj wybierasz dla każdego zapytania w nazwie użytkownika.
Czy crawl powinien korzystać z sesji sticky?
Zwykle nowe IP przy każdym zapytaniu lepiej rozkłada obciążenie. Używaj -sid tylko na stronach, gdzie cookies muszą przechodzić między kilkoma stronami.
Jak zapłacić?
Kryptowalutami, przez okno płatności. Akceptowane waluty i sieci są tam wymienione. Kwota trafia na twoje saldo w USD.
Co dzieje się z saldem, które zostanie po crawlu?
Saldo nie wygasa. Wykorzystaj je przy następnym crawlu lub na dowolny inny produkt.
Doładuj $50 i odbierz 142 GB transferu rezydencjalnego
Wybierz nazwę użytkownika i hasło i gotowe. Saldo nigdy nie wygasa.