Proxies para recopilar datos de entrenamiento de IA
Crear un dataset a partir de la web pública suele implicar semanas de rastreo en varios idiomas. Con el plan residencial ilimitado de HiProxy, fijas por adelantado el costo de todo ese periodo y envías solicitudes desde 60 países.
¿Por qué la facturación por GB no encaja con los rastreos para datasets?
Cuando un rastreo cubre miles de dominios, no puedes controlar el tamaño de las páginas. Con una factura por GB, unos pocos sitios con muchas imágenes pueden desviar mucho el presupuesto.
El plan ilimitado se cobra solo por periodo, cantidad de conexiones y ancho de banda. Eso te permite anotar el costo exacto de un rastreo de tres meses antes de la primera solicitud.
¿Cómo recopilo cada idioma por separado?
Muchos sitios muestran la versión de idioma de un país según la IP del visitante. Pon el país en el usuario, como -cc-de para Alemania o -cc-jp para Japón, y las solicitudes salen desde allí.
Da a cada idioma su propio grupo de workers y su propio usuario. Mantén un solo código del crawler y cambia solo el usuario, y los datos de cada idioma quedan separados.
¿Cuánto cuesta un rastreo de tres meses?
Con 200 conexiones y 100 Mbps, el plan Quarter (90 días) cuesta $3.61 al día, $324.90 en total. Es 24% menos que comprar día por día ($4.75).
Para un rastreo más grande, el nivel de 1,000 conexiones y 200 Mbps en Month (30 días) cuesta $8.78 al día, $263.40 en total. El panel también permite definir cualquier periodo de 1~365 días, así que compras solo los días que dura tu rastreo.
¿Qué debo tener en cuenta al recopilar datos?
Recopila solo contenido público y respeta robots.txt y los términos de cada sitio. Revisa también las normas de derechos de autor y privacidad que se aplican al uso en entrenamiento. Filtra los datos personales que no necesites antes de que entren en el dataset.
Limita las solicitudes por dominio aunque el proxy tenga margen para más. Los sitios que se mantienen sanos son sitios que puedes volver a rastrear para la siguiente versión del dataset.
Conecta HiProxy para Datos para entrenar IA
1
Recarga saldo suficiente para todo el periodo del rastreo. Una recarga puede ser de hasta $5,000, y con $100 o más recibes saldo de bono.
2
Compra un plan residencial ilimitado que coincida con los días de tu rastreo. Quarter (90 días) tiene la tarifa diaria más baja.
3
Crea un usuario por idioma, como hpexample1-zone-unl-cc-fr, y asigna cada uno a un grupo de workers.
4
Conecta el crawler a gate.hiproxy.shop:6100 y limita las conexiones abiertas al nivel que compraste.
Preguntas comunes
¿Un plan puede usar varios países?
Sí. Un plan ilimitado cubre los 60 países, y eliges el país por solicitud en el usuario.
¿Un rastreo debería usar sesiones fijas?
Normalmente una IP nueva por solicitud reparte mejor la carga. Usa -sid solo en sitios donde las cookies tienen que mantenerse entre varias páginas.
¿Cómo pago?
Con criptomonedas, a través de la ventana de pago. Ahí aparecen las monedas y redes aceptadas. El importe llega a tu saldo en USD.
¿Qué pasa con el saldo que sobra después del rastreo?
El saldo no caduca. Úsalo para el siguiente rastreo o para cualquier otro producto.
Recarga $50 y obtén 142 GB de tráfico residencial
Elige un nombre de usuario y una contraseña y listo. Tu saldo no caduca.