웹 스크래핑에 쓰는 프록시

스크래퍼는 짧은 시간에 같은 사이트로 요청을 많이 보내요. HiProxy 무제한 요금제는 그 요청을 매번 다른 가정용 회선 IP로 내보내고, 쓴 용량과 상관없이 하루 단위로 요금을 받아요.

서버 IP 하나로 긁으면 왜 막히나요?

대부분의 사이트는 주소 하나에서 오는 요청이 일정 수를 넘으면 속도를 늦추거나 차단 페이지를 보여 줘요. 서버 한 대에서 수천 번 요청하면 금방 그 선을 넘어요.

게이트웨이를 거치면 요청이 가정용 인터넷 회선 IP(주거용 IP) 여러 개로 흩어져요. 전체 요청 수는 그대로여도 IP 하나가 보내는 양은 평범한 방문자 수준으로 내려가요.

가장 작은 구간(동시 접속 200개, 100 Mbps)은 Day 요금제 기준 하루 $4.75이에요. Week(7일)는 하루 $4.47, Month(30일)는 $4.04, Quarter(90일)는 $3.61으로 기간이 길수록 내려가요.

용량은 세지 않아요. 사진이 많은 페이지든 작은 API 응답이든 같은 하루 요금 안에 들어가요. 요금을 바꾸는 건 기간, 동시 접속 수, 대역폭뿐이에요.

스크래퍼가 한순간에 열어 두는 요청 수를 세면 돼요. 작업자 스레드를 150개 돌린다면 200개 구간이 맞고, 실패한 요청을 다시 보낼 여유도 남아요.

스크래퍼를 여러 대 같이 돌리면 스레드 수를 모두 더하세요. 200개를 넘으면 500개 구간(200 Mbps, 하루 $7.77)이 맞아요. 다음 요금제를 살 때 구간을 바꿀 수 있어요.

로그인하지 않고 누구나 여는 페이지가 기본 대상이에요. 상품 목록, 뉴스 기사, 공개 업체 목록 같은 것들이에요. 사이트 약관과 내가 사업하는 나라의 법은 시작 전에 꼭 읽어 보세요.

유출된 계정 정보를 대입해 보는 로그인 시도, 스팸, DDoS, 정부 사이트 접근에 쓰이면 HiProxy 계정이 정지돼요. 요청 간격을 적당히 두면 상대 사이트도 버티고 내 수집도 오래 갈 수 있어요.

1
HiProxy에 아이디와 비밀번호만으로 가입하고, 결제 창에서 암호화폐로 $30 이상 충전해요.
2
무제한 주거용에서 Day, Week, Month, Quarter 중 하나를 고르고 동시 접속 구간을 정해요.
3
사용자 이름에 -zone-unl을 붙이고, 나라별로 값이 다른 데이터라면 -cc-us 같은 나라 옵션도 붙여요.
4
스크래퍼의 프록시를 gate.hiproxy.shop 6100 포트(HTTP)나 6200 포트(SOCKS5)로 바꾸면 요청마다 IP가 바뀌어요.

IP는 언제 바뀌나요?

사용자 이름에 -sid 옵션이 없으면 요청 하나마다 새 주거용 IP로 나가요.

로그인이 필요한 몇 페이지 동안만 IP를 묶어 둘 수 있나요?

네. -sid- 뒤에 아무 세션 이름이나 붙이세요. 같은 이름을 쓰는 요청은 같은 IP를 써요. 유지 시간은 -ttl- 옵션으로 최대 60분까지 정해요.

무제한이면 정말 용량 제한이 없나요?

용량은 재지 않아요. 한 번에 열 수 있는 접속 수와 속도만 고른 구간을 따라가요.

산 요금제가 '개통 진행'으로 떠 있어요.

네트워크에서 켜질 때까지 잠깐 그렇게 보여요. 끝내 켜지지 않는 주문은 취소되고, 낸 금액은 전부 잔액으로 돌아와요.

아이디와 비밀번호만 정하면 가입이 끝나요. 충전한 잔액은 기한 없이 써요.