Proxies para coleta de dados de treinamento de IA
Montar um dataset a partir da web pública costuma exigir semanas de coleta em vários idiomas. Com o plano residencial ilimitado da HiProxy, você define antes o custo de todo esse período e envia requisições a partir de 60 países.
Por que a cobrança por GB não combina com coletas para datasets?
Quando uma coleta cobre milhares de domínios, você não controla o tamanho das páginas. Com cobrança por GB, alguns sites cheios de imagens podem tirar o orçamento do planejado.
O plano ilimitado tem preço definido só pelo período, pelo número de conexões e pela largura de banda. Assim você consegue anotar o custo exato de uma coleta de três meses antes da primeira requisição.
Como coleto cada idioma separadamente?
Muitos sites mostram a versão de idioma de um país com base no IP do visitante. Coloque o país no usuário, como -cc-de para a Alemanha ou -cc-jp para o Japão, e as requisições saem de lá.
Dê a cada idioma seu próprio grupo de workers e seu próprio usuário. Mantenha um único código do crawler e mude só o usuário, e os conjuntos de cada idioma ficam separados.
Quanto custa uma coleta de três meses?
Com 200 conexões e 100 Mbps, o plano Quarter (90 dias) sai a $3.61 por dia, $324.90 no total. Isso é 24% menos do que comprar um dia de cada vez ($4.75).
Para uma coleta maior, a faixa de 1,000 conexões e 200 Mbps no Month (30 dias) sai a $8.78 por dia, $263.40 no total. O painel também permite definir qualquer período de 1~365 dias, então você compra só os dias em que a coleta roda.
O que devo considerar ao coletar dados?
Colete apenas conteúdo público e siga o robots.txt e os termos dos sites. Confira também as regras de direitos autorais e de privacidade aplicáveis ao uso em treinamento. Filtre os dados pessoais de que você não precisa antes que entrem no dataset.
Limite as requisições por domínio mesmo quando o proxy tiver espaço para mais. Sites que continuam saudáveis são sites que você pode coletar de novo na próxima versão do dataset.
Conecte a HiProxy para Dados para treinar IA
1
Recarregue saldo suficiente para todo o período da coleta. Uma recarga pode ser de até $5,000, e $100 ou mais rendem saldo de bônus.
2
Compre um plano residencial ilimitado de acordo com os dias da sua coleta. O Quarter (90 dias) tem a menor tarifa diária.
3
Crie um usuário por idioma, como hpexample1-zone-unl-cc-fr, e associe cada um a um grupo de workers.
4
Conecte o crawler a gate.hiproxy.shop:6100 e limite as conexões abertas à faixa que você comprou.
Dúvidas comuns
Um plano pode usar vários países?
Sim. Um plano ilimitado cobre todos os 60 países, e você escolhe o país por requisição no usuário.
Uma coleta deve usar sessões fixas?
Normalmente, um novo IP por requisição distribui melhor a carga. Use -sid só em sites em que os cookies precisam continuar entre várias páginas.
Como faço o pagamento?
Em cripto, pela janela de pagamento. As moedas e redes aceitas aparecem lá. O valor entra no seu saldo em USD.
O que acontece com o saldo que sobra depois da coleta?
O saldo não expira. Use na próxima coleta ou em qualquer outro produto.
Recarregue $50 e ganhe 142 GB de tráfego residencial
Escolha um nome de usuário e uma senha e pronto. Seu saldo nunca expira.