AI学習データ収集用プロキシ

公開ウェブからデータセットを作るには、たいてい複数の言語で数週間のクロールが必要です。HiProxyの無制限住宅用プランなら、その期間全体の費用を前もって確定し、60か国からリクエストを送れます。

データセットのクロールにGB課金が合わない理由

数千のドメインをクロールすると、ページの大きさは制御できません。GB課金では、画像の多いサイトがいくつかあるだけで、予算が計画から大きく外れることがあります。

無制限プランの料金は、期間、同時接続数、帯域幅だけで決まります。そのため、3か月間のクロールの正確な費用を、最初のリクエストの前に書き出せます。

多くのサイトは、訪問者のIPをもとにその国の言語版を表示します。ユーザー名にドイツなら-cc-de、日本なら-cc-jpのように国を入れると、リクエストはその国から送信されます。

言語ごとに専用のワーカープールとユーザー名を用意してください。クローラーのコードは1つのままユーザー名だけを変えれば、言語ごとのデータは分かれたままになります。

同時接続数200、100 Mbpsの場合、Quarter (90日) プランは1日$3.61、合計$324.90です。1日ずつ買う場合 ($4.75) より24%安くなります。

より大きなクロールなら、同時接続数1,000、200 MbpsのMonth (30日) が1日$8.78、合計$263.40です。ダッシュボードでは1~365日の任意の期間も設定できるので、クロールを実行する日数分だけ購入できます。

収集するのは公開コンテンツだけにし、robots.txtとサイトの利用規約に従ってください。学習に使う場合に適用される著作権とプライバシーのルールも確認してください。不要な個人情報は、データセットに入れる前に取り除いてください。

プロキシに余裕があっても、ドメインごとのリクエスト数に上限を設けてください。負担をかけなかったサイトは、次のバージョンのデータセットでも再びクロールできます。

1つのプランで複数の国を使えますか。

はい。1つの無制限プランで60か国すべてに対応し、国はユーザー名でリクエストごとに選びます。

クロールにはスティッキーセッションを使うべきですか。

通常は、リクエストごとに新しいIPを使うほうが負荷が均等に分散されます。-sidは、Cookieを複数ページにわたって引き継ぐ必要があるサイトでだけ使ってください。

支払い方法を教えてください。

決済画面から暗号資産で支払います。対応している通貨とネットワークはそこに表示されます。金額はUSDの残高に入ります。

クロール後に残った残高はどうなりますか。

残高に有効期限はありません。次のクロールやほかの製品に使えます。

ユーザー名とパスワードを決めるだけで始められます。残高に有効期限はありません。