بروكسيات لجمع بيانات تدريب الذكاء الاصطناعي
بناء مجموعة بيانات من الويب العام يعني عادة أسابيع من الزحف بعدة لغات. مع باقة البروكسي السكني غير المحدود من HiProxy تحدد تكلفة هذه المدة كاملة مسبقًا وترسل الطلبات من 60 دولة.
لماذا لا تناسب الفوترة لكل GB زحف مجموعات البيانات؟
عندما يغطي الزحف آلاف النطاقات، لا يمكنك التحكم في أحجام الصفحات. مع الفوترة لكل GB، قد تبعد بضعة مواقع مليئة بالصور الميزانية كثيرًا عن الخطة.
سعر الباقة غير المحدودة يتحدد فقط بالمدة وعدد الاتصالات وعرض النطاق. وهذا يتيح لك كتابة التكلفة الدقيقة لزحف مدته ثلاثة أشهر قبل أول طلب.
كيف أجمع كل لغة على حدة؟
كثير من المواقع تعرض نسخة لغة الدولة حسب IP الزائر. ضع الدولة في اسم المستخدم، مثل -cc-de لألمانيا أو -cc-jp لليابان، فتخرج الطلبات من هناك.
خصص لكل لغة مجموعة عمال واسم مستخدم خاصين بها. احتفظ بكود زاحف واحد وغيّر اسم المستخدم فقط، فتبقى بيانات كل لغة منفصلة.
كم تكلفة زحف مدته ثلاثة أشهر؟
مع 200 اتصال و100 Mbps، باقة Quarter (90 يومًا) سعرها $3.61 يوميًا، أي $324.90 إجمالًا. هذا أقل بنسبة 24% من الشراء يومًا بيوم ($4.75).
لزحف أكبر، فئة 1,000 اتصال و200 Mbps في Month (30 يومًا) سعرها $8.78 يوميًا، أي $263.40 إجمالًا. تتيح لك لوحة التحكم أيضًا تحديد أي مدة من 1 إلى 365 يومًا، فتشتري فقط الأيام التي يعمل فيها الزحف.
ما الذي يجب مراعاته عند جمع البيانات؟
اجمع المحتوى العام فقط والتزم بملف robots.txt وشروط المواقع. راجع أيضًا قواعد حقوق النشر والخصوصية التي تسري على استخدام البيانات في التدريب. استبعد البيانات الشخصية التي لا تحتاجها قبل دخولها إلى مجموعة البيانات.
ضع حدًا للطلبات لكل نطاق حتى لو كان لدى البروكسي مجال لأكثر. المواقع التي تبقى سليمة هي مواقع يمكنك الزحف إليها مجددًا للنسخة التالية من مجموعة البيانات.
اربط HiProxy لـ بيانات تدريب الذكاء الاصطناعي
1
اشحن رصيدًا يكفي مدة الزحف كاملة. يمكن أن تصل عملية الشحن الواحدة إلى $5,000، والشحن بقيمة $100 أو أكثر يمنحك رصيد مكافأة.
2
اشترِ باقة بروكسي سكني غير محدود تطابق أيام الزحف. Quarter (90 يومًا) فيها أقل سعر يومي.
3
أنشئ اسم مستخدم لكل لغة، مثل hpexample1-zone-unl-cc-fr، واربط كلًّا منها بمجموعة عمال.
4
اربط الزاحف بـ gate.hiproxy.shop:6100 وحدّد الاتصالات المفتوحة بحدود الفئة التي اشتريتها.
أسئلة شائعة
هل يمكن لباقة واحدة استخدام عدة دول؟
نعم. باقة غير محدودة واحدة تغطي جميع الدول الستين، وتختار الدولة لكل طلب في اسم المستخدم.
هل يجب أن يستخدم الزحف جلسات ثابتة؟
عادة يوزع IP جديد مع كل طلب الحمل بشكل أكثر توازنًا. استخدم -sid فقط للمواقع التي يجب أن تنتقل فيها ملفات تعريف الارتباط عبر عدة صفحات.
كيف أدفع؟
بالعملات الرقمية، عبر نافذة الدفع. العملات والشبكات المقبولة مدرجة هناك. يُضاف المبلغ إلى رصيدك بالدولار الأمريكي (USD).
ماذا يحدث للرصيد المتبقي بعد الزحف؟
الرصيد لا تنتهي صلاحيته. استخدمه في الزحف التالي أو لأي منتج آخر.
اشحن $50 واحصل على 142 GB من الترافيك السكني
اختر اسم مستخدم وكلمة مرور وستدخل مباشرة. رصيدك لا تنتهي صلاحيته.