พร็อกซี่สำหรับเก็บข้อมูลฝึก AI
การสร้างชุดข้อมูลจากเว็บสาธารณะมักหมายถึงการครอว์ลหลายสัปดาห์ในหลายภาษา ด้วยแพ็กเกจเรสซิเดนเชียลแบบไม่จำกัดของ HiProxy คุณกำหนดค่าใช้จ่ายของทั้งช่วงได้ล่วงหน้า และส่งคำขอจาก 60 ประเทศ
ทำไมการคิดเงินตาม GB ไม่เหมาะกับการครอว์ลชุดข้อมูล?
เมื่อครอว์ลครอบคลุมหลายพันโดเมน คุณควบคุมขนาดหน้าเว็บไม่ได้ หากคิดเงินตาม GB เว็บไซต์ที่มีรูปภาพมากเพียงไม่กี่แห่งก็ทำให้งบเกินแผนไปมาก
แพ็กเกจไม่จำกัดคิดราคาตามระยะเวลา จำนวนการเชื่อมต่อ และแบนด์วิดท์เท่านั้น คุณจึงเขียนค่าใช้จ่ายที่แน่นอนของการครอว์ล 3 เดือนได้ก่อนส่งคำขอแรก
เก็บข้อมูลแยกตามภาษาอย่างไร?
หลายเว็บไซต์แสดงเวอร์ชันภาษาของประเทศตาม IP ผู้เข้าชม ใส่ประเทศในชื่อผู้ใช้ เช่น -cc-de สำหรับเยอรมนี หรือ -cc-jp สำหรับญี่ปุ่น แล้วคำขอจะออกจากที่นั่น
ให้แต่ละภาษามี worker pool และชื่อผู้ใช้ของตัวเอง ใช้โค้ดครอว์เลอร์ชุดเดียวและเปลี่ยนแค่ชื่อผู้ใช้ แล้วข้อมูลแต่ละภาษาจะแยกกัน
การครอว์ล 3 เดือนราคาเท่าไร?
ที่ 200 การเชื่อมต่อและ 100 Mbps แพ็กเกจ Quarter (90 วัน) ราคา $3.61 ต่อวัน รวม $324.90 ถูกกว่าการซื้อทีละวัน ($4.75) 24%
สำหรับการครอว์ลที่ใหญ่ขึ้น ระดับ 1,000 การเชื่อมต่อ 200 Mbps บน Month (30 วัน) ราคา $8.78 ต่อวัน รวม $263.40 ในแดชบอร์ดยังตั้งระยะเวลาได้ตั้งแต่ 1~365 วัน คุณจึงซื้อเฉพาะวันที่ครอว์ล
ควรคำนึงถึงอะไรเมื่อเก็บข้อมูล?
เก็บเฉพาะเนื้อหาสาธารณะ และปฏิบัติตาม robots.txt และข้อกำหนดของเว็บไซต์ ตรวจกฎลิขสิทธิ์และความเป็นส่วนตัวที่ใช้กับการนำไปฝึกโมเดลด้วย คัดข้อมูลส่วนบุคคลที่ไม่จำเป็นออกก่อนเข้าชุดข้อมูล
จำกัดคำขอต่อโดเมน แม้พร็อกซี่ยังรองรับได้อีก เว็บไซต์ที่ยังทำงานได้ดีคือเว็บไซต์ที่คุณกลับมาครอว์ลได้อีกสำหรับชุดข้อมูลเวอร์ชันถัดไป
เชื่อมต่อ HiProxy สำหรับข้อมูลฝึก AI
1
เติมยอดเงินให้พอสำหรับระยะเวลาครอว์ลทั้งหมด เติมได้สูงสุด $5,000 ต่อครั้ง และ $100 ขึ้นไปได้ยอดเงินโบนัส
2
ซื้อแพ็กเกจเรสซิเดนเชียลแบบไม่จำกัดตามจำนวนวันที่ครอว์ล Quarter (90 วัน) มีอัตรารายวันต่ำที่สุด
3
สร้างชื่อผู้ใช้ 1 ชื่อต่อภาษา เช่น hpexample1-zone-unl-cc-fr และผูกแต่ละชื่อกับ worker pool
4
เชื่อมต่อครอว์เลอร์กับ gate.hiproxy.shop:6100 และจำกัดการเชื่อมต่อที่เปิดให้อยู่ในระดับที่ซื้อ
คำถามที่พบบ่อย
แพ็กเกจเดียวใช้หลายประเทศได้ไหม?
ได้ แพ็กเกจไม่จำกัด 1 แพ็กเกจครอบคลุมทั้ง 60 ประเทศ และคุณเลือกประเทศต่อคำขอในชื่อผู้ใช้
การครอว์ลควรใช้เซสชันคงที่ไหม?
โดยปกติ IP ใหม่ต่อคำขอช่วยกระจายโหลดได้สม่ำเสมอกว่า ใช้ -sid เฉพาะเว็บไซต์ที่คุกกี้ต้องต่อเนื่องหลายหน้า
ชำระเงินอย่างไร?
ด้วยคริปโต ผ่านหน้าต่างชำระเงิน เหรียญและเครือข่ายที่รองรับแสดงอยู่ที่นั่น จำนวนเงินจะเข้าสู่ยอดเงิน USD ของคุณ
ยอดเงินที่เหลือหลังครอว์ลจะเป็นอย่างไร?
ยอดเงินไม่มีวันหมดอายุ ใช้กับการครอว์ลครั้งถัดไปหรือสินค้าอื่นได้
เติมเงิน $50 ได้ทราฟฟิกเรสซิเดนเชียล 142 GB
ตั้งชื่อผู้ใช้และรหัสผ่านก็เริ่มใช้ได้ ยอดเงินของคุณไม่มีวันหมดอายุ