Прокси для сбора обучающих данных ИИ
Датасет из открытого веба обычно означает недели краулинга на нескольких языках. С безлимитным резидентным тарифом HiProxy вы заранее фиксируете стоимость на весь этот период и отправляете запросы из 60 стран.
Почему оплата за GB плохо подходит для сбора датасетов?
Когда краулинг охватывает тысячи доменов, размер страниц от вас не зависит. При оплате за GB несколько сайтов с тяжелыми изображениями могут сильно выбить бюджет из плана.
Цена безлимитного тарифа зависит только от срока, числа подключений и пропускной способности. Поэтому точную стоимость трехмесячного краулинга можно записать еще до первого запроса.
Как собирать каждый язык отдельно?
Многие сайты показывают языковую версию страны по IP посетителя. Укажите страну в логине, например -cc-de для Германии или -cc-jp для Японии, и запросы будут выходить оттуда.
Дайте каждому языку свой пул воркеров и логин. Код краулера остается один, меняется только логин, и данные по языкам не смешиваются.
Сколько стоит трехмесячный краулинг?
При 200 подключениях и 100 Mbps тариф Quarter (90 дней) стоит $3.61 в день, всего $324.90. Это на 24% дешевле покупки по одному дню ($4.75).
Для более крупного краулинга уровень 1,000 подключений и 200 Mbps на Month (30 дней) стоит $8.78 в день, всего $263.40. В личном кабинете можно задать и любой срок от 1~365 дней, так что вы покупаете только дни работы краулера.
Что учитывать при сборе данных?
Собирайте только открытый контент и соблюдайте robots.txt и условия сайтов. Также проверьте правила авторского права и защиты данных для обучения моделей. Отфильтровывайте ненужные персональные данные до того, как они попадут в датасет.
Ограничивайте число запросов на домен, даже если у прокси есть запас. На сайты, которые продолжают нормально работать, можно вернуться для следующей версии датасета.
Подключение HiProxy для задачи: Данные для обучения ИИ
1
Пополните баланс на весь срок краулинга. Одно пополнение может быть до $5,000, а за пополнение от $100 начисляется бонусный баланс.
2
Купите безлимитный резидентный тариф на число дней краулинга. У Quarter (90 дней) самая низкая цена за день.
3
Создайте по логину на каждый язык, например hpexample1-zone-unl-cc-fr, и привяжите каждый к пулу воркеров.
4
Подключите краулер к gate.hiproxy.shop:6100 и ограничьте число открытых подключений купленным уровнем.
Частые вопросы
Можно ли использовать несколько стран в одном тарифе?
Да. Один безлимитный тариф охватывает все 60 стран, а страна выбирается в логине для каждого запроса.
Нужны ли краулеру фиксированные сессии?
Обычно новый IP на каждый запрос распределяет нагрузку равномернее. Используйте -sid только для сайтов, где cookie должны сохраняться между несколькими страницами.
Как оплатить?
Криптовалютой через окно оплаты. Там же указаны принимаемые монеты и сети. Сумма зачисляется на баланс в USD.
Что будет с балансом, который останется после краулинга?
Баланс не сгорает. Используйте его для следующего краулинга или любого другого продукта.
Пополните на $30 и получите 78 GB резидентного трафика
Придумайте логин и пароль, и все готово. Баланс не сгорает.