AI ट्रेनिंग डेटा इकट्ठा करने के लिए प्रॉक्सी
पब्लिक वेब से डेटासेट बनाने में आमतौर पर कई भाषाओं में हफ़्तों तक क्रॉलिंग होती है। HiProxy अनलिमिटेड रेज़िडेंशियल प्लान से आप उस पूरी अवधि का खर्च पहले ही तय कर लेते हैं और 60 देशों से अनुरोध भेजते हैं।
डेटासेट क्रॉल के लिए प्रति GB बिलिंग ठीक क्यों नहीं है?
जब क्रॉल हज़ारों डोमेन पर चलता है, तो पेज का साइज़ आपके नियंत्रण में नहीं होता। प्रति GB बिल में कुछ भारी इमेज वाली साइट्स बजट को योजना से बहुत आगे ले जा सकती हैं।
अनलिमिटेड प्लान की कीमत सिर्फ़ अवधि, कनेक्शन की संख्या और बैंडविड्थ से तय होती है। इससे पहले अनुरोध से पहले ही आप तीन महीने के क्रॉल का सही खर्च लिख सकते हैं।
हर भाषा का डेटा अलग कैसे इकट्ठा करें?
कई साइट्स विज़िटर के IP के आधार पर देश का भाषा संस्करण दिखाती हैं। यूज़रनेम में देश डालें, जैसे जर्मनी के लिए -cc-de या जापान के लिए -cc-jp, अनुरोध वहीं से निकलेंगे।
हर भाषा को अपना वर्कर पूल और यूज़रनेम दें। क्रॉलर का एक ही कोडबेस रखें और सिर्फ़ यूज़रनेम बदलें, भाषा के हिसाब से डेटा अलग रहेगा।
तीन महीने के क्रॉल का खर्च क्या है?
200 कनेक्शन और 100 Mbps पर Quarter (90 दिन) प्लान $3.61 प्रति दिन है, कुल $324.90। यह एक-एक दिन ($4.75) खरीदने से 24% कम है।
बड़े क्रॉल के लिए Month (30 दिन) पर 1,000 कनेक्शन, 200 Mbps स्तर $8.78 प्रति दिन है, कुल $263.40। डैशबोर्ड में 1~365 दिन की कोई भी अवधि सेट कर सकते हैं, इसलिए आप सिर्फ़ उतने दिन खरीदते हैं जितने दिन क्रॉल चलता है।
डेटा इकट्ठा करते समय किन बातों का ध्यान रखें?
सिर्फ़ पब्लिक सामग्री इकट्ठा करें और robots.txt व साइट की शर्तों का पालन करें। ट्रेनिंग में इस्तेमाल पर लागू कॉपीराइट और गोपनीयता के नियम भी जांचें। डेटासेट में जाने से पहले गैरज़रूरी निजी डेटा हटा दें।
प्रॉक्सी में और गुंजाइश हो तब भी हर डोमेन पर अनुरोधों की सीमा रखें। जो साइट्स ठीक चलती रहें, उन्हें आप अगले डेटासेट संस्करण के लिए दोबारा क्रॉल कर सकते हैं।
AI ट्रेनिंग डेटा के लिए HiProxy कनेक्ट करें
1
पूरी क्रॉल अवधि के लिए काफ़ी बैलेंस टॉप-अप करें। एक टॉप-अप $5,000 तक हो सकता है, और $100 या ज़्यादा पर बोनस बैलेंस मिलता है।
2
अपने क्रॉल के दिनों के हिसाब से अनलिमिटेड रेज़िडेंशियल प्लान खरीदें। Quarter (90 दिन) का रोज़ का रेट सबसे कम है।
3
हर भाषा के लिए एक यूज़रनेम बनाएं, जैसे hpexample1-zone-unl-cc-fr, और हर एक को एक वर्कर पूल से जोड़ें।
4
क्रॉलर को gate.hiproxy.shop:6100 से कनेक्ट करें और खुले कनेक्शन अपने खरीदे स्तर तक सीमित रखें।
आम सवाल
क्या एक प्लान में कई देश इस्तेमाल हो सकते हैं?
हां। एक अनलिमिटेड प्लान में सभी 60 देश शामिल हैं, और आप हर अनुरोध के लिए देश यूज़रनेम में चुनते हैं।
क्या क्रॉल में स्टिकी सेशन इस्तेमाल करना चाहिए?
आमतौर पर हर अनुरोध पर नया IP लोड को ज़्यादा बराबर बांटता है। -sid सिर्फ़ उन साइट्स के लिए इस्तेमाल करें जहां कुकीज़ को कई पेजों तक साथ रहना ज़रूरी हो।
भुगतान कैसे करें?
क्रिप्टो में, भुगतान विंडो से। स्वीकार किए जाने वाले कॉइन और नेटवर्क वहीं दिए हैं। रकम आपके USD बैलेंस में आती है।
क्रॉल के बाद बचे बैलेंस का क्या होता है?
बैलेंस एक्सपायर नहीं होता। इसे अगले क्रॉल या किसी दूसरे प्रोडक्ट के लिए इस्तेमाल करें।
$50 टॉप-अप करें और 142 GB रेज़िडेंशियल ट्रैफ़िक पाएं
यूज़रनेम और पासवर्ड चुनें, बस हो गया। आपका बैलेंस कभी एक्सपायर नहीं होता।