AI 학습 데이터 수집에 쓰는 프록시

공개 웹으로 데이터셋을 만들면 여러 언어로 몇 주 동안 크롤링하게 돼요. HiProxy 무제한 주거용 요금제를 쓰면 그 기간 비용을 처음에 확정하고, 60개 나라에서 요청을 보낼 수 있어요.

데이터셋 크롤링에 GB 요금이 불리한 이유는요?

크롤링하는 도메인이 수천 개라면 페이지 크기를 내가 정할 수 없어요. GB로 내면 사진 많은 사이트 몇 곳 때문에 예산이 크게 흔들려요.

무제한 요금제는 기간, 동시 접속 수, 대역폭만 보고 값을 정해요. 그래서 석 달짜리 크롤링 비용을 첫 요청 전에 정확히 적어 둘 수 있어요.

많은 사이트가 방문자 IP를 보고 그 나라 언어판을 보여 줘요. 사용자 이름에 -cc-de(독일), -cc-jp(일본)처럼 나라를 넣으면 그 나라에서 요청이 나가요.

언어마다 작업 묶음과 사용자 이름을 하나씩 두세요. 크롤러 코드는 하나로 두고 사용자 이름만 바꾸면, 언어별 데이터가 섞이지 않아요.

동시 접속 200개, 100 Mbps로 Quarter(90일) 요금제를 사면 하루 $3.61, 합계 $324.90이에요. 하루씩 살 때($4.75)보다 24% 싸요.

더 크게 돌린다면 1,000개, 200 Mbps 구간을 Month(30일)로 사서 하루 $8.78, 합계 $263.40이에요. 대시보드에서는 1~365일 사이로 기간을 직접 정할 수도 있어서, 크롤링 일정만큼만 사면 돼요.

공개된 콘텐츠만 모으고 robots.txt와 사이트 약관을 따르세요. 학습용으로 쓸 때 걸리는 저작권, 개인정보 규정도 따로 확인하세요. 필요 없는 개인정보는 데이터셋에 넣기 전에 걸러 내세요.

프록시 용량이 남아도 도메인마다 요청 수에 상한을 걸어 두세요. 사이트가 멀쩡해야 다음 판 데이터셋을 만들 때 다시 모을 수 있어요.

요금제 하나로 여러 나라를 써도 되나요?

네. 무제한 요금제 하나로 60개 나라를 모두 쓰고, 나라는 요청마다 사용자 이름에서 골라요.

크롤링할 때 세션을 고정해야 하나요?

보통은 요청마다 IP가 바뀌는 쪽이 부하가 고르게 퍼져요. 여러 페이지에 걸쳐 쿠키가 이어져야 하는 사이트에만 -sid를 쓰세요.

충전은 무엇으로 하나요?

결제 창에서 암호화폐로 해요. 받는 코인과 네트워크는 결제 창에 나와 있어요. 충전한 금액은 USD 잔액으로 들어가요.

크롤링이 끝나고 남은 잔액은요?

잔액은 기한 없이 남아요. 다음 크롤링이나 다른 상품을 살 때 그대로 쓰면 돼요.

아이디와 비밀번호만 정하면 가입이 끝나요. 충전한 잔액은 기한 없이 써요.