Proxies para web scraping
Un scraper envía muchas solicitudes al mismo sitio en poco tiempo. El plan ilimitado de HiProxy envía cada una de esas solicitudes desde una IP de conexión doméstica distinta y cobra por día, sea cual sea el volumen.
¿Por qué se bloquea una sola IP de servidor?
La mayoría de los sitios ralentizan o bloquean una dirección cuando pasa de cierto número de solicitudes. Un scraper que hace miles de solicitudes desde un servidor cruza ese límite rápido.
A través del gateway, las solicitudes se reparten entre muchas IP de conexiones de internet domésticas (IP residenciales). El volumen total es el mismo, pero cada IP envía más o menos lo que un visitante normal.
¿Cuánto cuesta un día y qué define el precio?
El nivel más pequeño (200 conexiones, 100 Mbps) cuesta $4.75 en el plan Day. Week (7 días) cuesta $4.47 al día, Month (30 días) $4.04 y Quarter (90 días) $3.61, así que la tarifa baja a medida que crece el periodo.
Los bytes no se cuentan. Las páginas con muchas imágenes y las respuestas pequeñas de API entran en el mismo precio diario. Solo el periodo, la cantidad de conexiones y el ancho de banda cambian lo que pagas.
¿Cómo elijo la cantidad de conexiones?
Cuenta cuántas solicitudes mantiene abiertas tu scraper en un mismo momento. Con 150 hilos de trabajo, el nivel de 200 conexiones encaja y deja margen para reintentos.
Si usas varios scrapers juntos, suma sus hilos. A partir de 200, conviene el nivel de 500 conexiones (200 Mbps, $7.77 al día). Puedes cambiar de nivel cuando compres tu siguiente plan.
¿Qué se puede recopilar?
Lo habitual son páginas que cualquiera puede abrir sin iniciar sesión: listados de productos, noticias, directorios públicos de empresas. Lee los términos del sitio y las leyes del lugar donde operas antes de empezar.
HiProxy suspende las cuentas usadas para iniciar sesión con credenciales filtradas, spam, DDoS o acceso a sitios gubernamentales. Espaciar tus solicitudes mantiene sano el sitio y hace que tu scraper funcione más tiempo.
Conecta HiProxy para Web scraping
1
Regístrate solo con usuario y contraseña, y luego recarga al menos $50 con criptomonedas en la ventana de pago.
2
En residencial ilimitado, elige Day, Week, Month o Quarter y un nivel de conexiones.
3
Añade -zone-unl a tu usuario del proxy, y un país como -cc-us cuando los datos cambian según el país.
4
Configura el scraper con gate.hiproxy.shop en el puerto 6100 (HTTP) o 6200 (SOCKS5), y la IP cambia en cada solicitud.
Preguntas comunes
¿Cuándo cambia la IP?
Sin la opción -sid en el usuario, cada solicitud sale desde una IP residencial nueva.
¿Puedo mantener una IP para varias páginas tras iniciar sesión?
Sí. Añade -sid- seguido de cualquier nombre de sesión. Las solicitudes con el mismo nombre comparten una IP. Define cuánto dura con -ttl-, hasta 60 minutos.
¿El ilimitado es realmente ilimitado en tráfico?
El tráfico no se mide. Solo la cantidad de conexiones abiertas y la velocidad dependen del nivel que elegiste.
Mi plan aparece como activando.
Aparece así un momento hasta que la red lo activa. Si un pedido no se puede activar, se cancela y el importe completo vuelve a tu saldo.
Recarga $50 y obtén 142 GB de tráfico residencial
Elige un nombre de usuario y una contraseña y listo. Tu saldo no caduca.