Проксі для збору даних навчання AI
Створення датасету з публічного вебу зазвичай означає тижні краулінгу кількома мовами. З безлімітним резидентним тарифом HiProxy ви фіксуєте вартість на весь цей період заздалегідь і надсилаєте запити з 60 країн.
Чому оплата за GB погано підходить для краулінгу датасетів?
Коли краулінг охоплює тисячі доменів, розмір сторінок від вас не залежить. З оплатою за GB кілька сайтів з великою кількістю зображень можуть сильно вивести бюджет за межі плану.
Ціна безлімітного тарифу залежить лише від терміну, кількості підключень і пропускної здатності. Тому точну вартість тримісячного краулінгу можна записати ще до першого запиту.
Як збирати кожну мову окремо?
Багато сайтів показують мовну версію країни за IP відвідувача. Вкажіть країну в логіні, наприклад -cc-de для Німеччини чи -cc-jp для Японії, і запити виходитимуть звідти.
Дайте кожній мові окремий пул воркерів і логін. Тримайте один код краулера й змінюйте лише логін, тоді дані різних мов не змішуються.
Скільки коштує тримісячний краулінг?
За 200 підключень і 100 Mbps тариф Quarter (90 днів) коштує $3.61 на день, разом $324.90. Це на 24% менше, ніж купувати по одному дню ($4.75).
Для більшого краулінгу рівень 1,000 підключень і 200 Mbps на Month (30 днів) коштує $8.78 на день, разом $263.40. У кабінеті можна також задати будь-який термін від 1~365 днів, тож ви купуєте лише ті дні, коли працює краулінг.
Про що пам'ятати під час збору даних?
Збирайте лише публічний вміст і дотримуйтеся robots.txt та умов сайтів. Перевірте також правила щодо авторського права й конфіденційності для навчання моделей. Відфільтровуйте непотрібні персональні дані, перш ніж вони потраплять у датасет.
Обмежуйте кількість запитів до кожного домену, навіть якщо проксі має запас. Сайти, які працюють стабільно, можна буде знову обійти для наступної версії датасету.
Підключення HiProxy для завдання «Дані для навчання ШІ»
1
Поповніть баланс на весь період краулінгу. Одне поповнення може бути до $5,000, а від $100 нараховується бонусний баланс.
2
Купіть безлімітний резидентний тариф на кількість днів краулінгу. Quarter (90 днів) має найнижчу ціну за день.
3
Створіть окремий логін для кожної мови, наприклад hpexample1-zone-unl-cc-fr, і прив'яжіть кожен до пулу воркерів.
4
Підключіть краулер до gate.hiproxy.shop:6100 і обмежте кількість відкритих підключень купленим рівнем.
Поширені запитання
Чи можна на одному тарифі використовувати кілька країн?
Так. Один безлімітний тариф охоплює всі 60 країн, а країну ви обираєте для кожного запиту в логіні.
Чи варто використовувати фіксовані сесії для краулінгу?
Зазвичай новий IP на кожен запит рівномірніше розподіляє навантаження. Використовуйте -sid лише для сайтів, де cookie мають зберігатися на кількох сторінках.
Як оплатити?
Криптовалютою через вікно оплати. Там наведено прийнятні монети й мережі. Сума зараховується на ваш баланс у USD.
Що буде з балансом, який лишився після краулінгу?
Баланс не має терміну дії. Використайте його на наступний краулінг або на будь-який інший продукт.
Поповніть на $50 і отримайте 142 GB резидентного трафіку
Оберіть логін і пароль, і можна починати. Баланс не має терміну дії.