Proxies para web scraping
Um scraper envia muitas requisições ao mesmo site em pouco tempo. O plano ilimitado da HiProxy envia cada uma dessas requisições a partir de um IP de conexão residencial diferente e cobra por dia, seja qual for o volume.
Por que um único IP de servidor é bloqueado?
A maioria dos sites deixa lento ou bloqueia um endereço quando ele passa de certo número de requisições. Um scraper que faz milhares de requisições de um único servidor passa desse limite rapidamente.
Pelo gateway, as requisições se distribuem por muitos IPs de conexões de internet residenciais (IPs residenciais). O volume total continua o mesmo, mas cada IP envia mais ou menos o mesmo que um visitante comum.
Quanto custa um dia e o que define o preço?
A menor faixa (200 conexões, 100 Mbps) custa $4.75 no plano Day. O Week (7 dias) sai a $4.47 por dia, o Month (30 dias) a $4.04 e o Quarter (90 dias) a $3.61, então a tarifa cai conforme o período aumenta.
Os bytes não são contados. Páginas cheias de imagens e respostas pequenas de API cabem no mesmo preço diário. Só o período, o número de conexões e a largura de banda mudam o que você paga.
Como escolho o número de conexões?
Conte quantas requisições o seu scraper mantém abertas ao mesmo tempo. Com 150 threads de trabalho, a faixa de 200 conexões serve e deixa espaço para novas tentativas.
Se você roda vários scrapers juntos, some os threads deles. Acima de 200, a faixa de 500 conexões (200 Mbps, $7.77 por dia) serve melhor. Você pode trocar de faixa ao comprar o próximo plano.
O que posso coletar?
Os alvos comuns são páginas que qualquer pessoa abre sem login: listas de produtos, notícias, diretórios públicos de empresas. Leia os termos do site e as leis do lugar onde você atua antes de começar.
A HiProxy suspende contas usadas para logins com credenciais vazadas, spam, DDoS ou acesso a sites do governo. Espaçar suas requisições mantém o site de destino saudável e deixa o seu scraper rodando por mais tempo.
Conecte a HiProxy para Web scraping
1
Crie conta só com nome de usuário e senha e depois recarregue pelo menos $50 em cripto na janela de pagamento.
2
Em residencial ilimitado, escolha Day, Week, Month ou Quarter e uma faixa de conexões.
3
Adicione -zone-unl ao seu usuário do proxy e também um país, como -cc-us, quando os dados mudam conforme o país.
4
Aponte o scraper para gate.hiproxy.shop na porta 6100 (HTTP) ou 6200 (SOCKS5), e o IP muda a cada requisição.
Dúvidas comuns
Quando o IP muda?
Sem a opção -sid no usuário, cada requisição sai de um novo IP residencial.
Posso manter um IP em algumas páginas protegidas por login?
Sim. Adicione -sid- seguido de qualquer nome de sessão. Requisições com o mesmo nome compartilham um IP. Defina quanto tempo ele dura com -ttl-, até 60 minutos.
O ilimitado é mesmo ilimitado em tráfego?
O tráfego não é medido. Só o número de conexões abertas e a velocidade seguem a faixa que você escolheu.
Meu plano aparece como ativando.
Ele aparece assim por pouco tempo, até a rede ligá-lo. Se um pedido não puder ser ativado, ele é cancelado e o valor total volta para o seu saldo.
Recarregue $50 e ganhe 142 GB de tráfego residencial
Escolha um nome de usuário e uma senha e pronto. Seu saldo nunca expira.