ウェブスクレイピング用プロキシ
スクレイパーは短時間に同じサイトへ大量のリクエストを送ります。HiProxyの無制限プランは、それぞれのリクエストを別々の家庭回線のIPから送り、量に関係なく日単位で課金します。
1つのサーバーIPがブロックされる理由
多くのサイトは、一定のリクエスト数を超えたアドレスの応答を遅くしたり、ブロックしたりします。1台のサーバーから数千のリクエストを送るスクレイパーは、すぐにその基準を超えます。
ゲートウェイを通すと、リクエストは家庭のインターネット回線の多数のIP (住宅用IP) に分散されます。全体の量は変わりませんが、各IPから送られるのは普通の訪問者と同じくらいの量です。
1日の料金と、料金を決めるもの
最小の段階 (同時接続数200、100 Mbps) はDayプランで$4.75です。Week (7日) は1日$4.47、Month (30日) は$4.04、Quarter (90日) は$3.61で、期間が長いほど料金が下がります。
バイト数は計測しません。画像の多いページも小さなAPI応答も、同じ1日の料金に収まります。支払額を変えるのは期間、同時接続数、帯域幅だけです。
同時接続数の選び方
スクレイパーが同時に開いているリクエストの数を数えてください。ワーカースレッドが150なら、同時接続数200の段階で足り、再試行の余裕も残ります。
複数のスクレイパーを一緒に動かすなら、スレッド数を合計します。200を超えるなら、同時接続数500の段階 (200 Mbps、1日$7.77) のほうが合います。段階は次のプランを購入するときに変更できます。
収集してよいもの
ログインせずに誰でも開けるページが一般的な対象です。商品一覧、ニュース記事、公開されている企業名簿などです。始める前に、サイトの利用規約と事業を行う地域の法令を読んでください。
流出した認証情報でのログイン、スパム、DDoS、政府機関サイトへのアクセスに使われたアカウントは、HiProxyが停止します。リクエストの間隔を空ければ対象サイトに負担をかけず、スクレイパーも長く動かせます。
ウェブスクレイピング向けにHiProxyを接続する
1
ユーザー名とパスワードだけで新規登録し、決済画面から暗号資産で$50以上をチャージします。
2
無制限住宅用プロキシでDay、Week、Month、Quarterのいずれかを選び、接続数の段階を選びます。
3
プロキシユーザー名に-zone-unlを付けます。国によってデータが異なる場合は、-cc-usのような国も付けます。
4
スクレイパーの接続先をgate.hiproxy.shopのポート6100 (HTTP) または6200 (SOCKS5) にすると、リクエストごとにIPが変わります。
よくある質問
IPはいつ変わりますか。
ユーザー名に-sidオプションがなければ、リクエストはすべて新しい住宅用IPから送信されます。
ログイン後の数ページで1つのIPを維持できますか。
はい。-sid-の後に任意のセッション名を付けてください。同じ名前のリクエストは1つのIPを共有します。維持時間は-ttl-で最大60分まで設定できます。
無制限プランは本当にトラフィック無制限ですか。
トラフィックは計測しません。同時に開ける接続の数と速度だけが、選んだ段階に従います。
プランが「開通中」と表示されています。
ネットワーク側で開通するまでの短い間、そのように表示されます。開通できなかった注文はキャンセルされ、全額が残高に戻ります。