AI ট্রেনিং ডেটা সংগ্রহের প্রক্সি
পাবলিক ওয়েব থেকে ডেটাসেট বানাতে সাধারণত কয়েক ভাষায় কয়েক সপ্তাহ ক্রল করতে হয়। HiProxy আনলিমিটেড রেসিডেনশিয়াল প্ল্যানে পুরো সময়ের খরচ আগেই ঠিক করে 60টি দেশ থেকে রিকোয়েস্ট পাঠান।
ডেটাসেট ক্রলে GB হিসেবে বিলিং কেন মানানসই নয়?
ক্রল হাজার হাজার ডোমেইনে চললে পেজের আকার নিয়ন্ত্রণ করা যায় না। GB হিসেবে বিলে ছবিতে ভরা অল্প কয়েকটি সাইটই বাজেটকে পরিকল্পনা থেকে অনেক দূরে ঠেলে দিতে পারে।
আনলিমিটেড প্ল্যানের দাম শুধু মেয়াদ, সংযোগের সংখ্যা ও ব্যান্ডউইথে ঠিক হয়। তাই প্রথম রিকোয়েস্টের আগেই তিন মাসের ক্রলের সঠিক খরচ লিখে রাখতে পারেন।
প্রতিটি ভাষা আলাদাভাবে কীভাবে সংগ্রহ করব?
অনেক সাইট ভিজিটরের IP দেখে দেশের ভাষার সংস্করণ দেখায়। ইউজারনেমে দেশ দিন, যেমন জার্মানির জন্য -cc-de বা জাপানের জন্য -cc-jp, রিকোয়েস্ট সেখান থেকে বের হবে।
প্রতিটি ভাষাকে নিজের ওয়ার্কার পুল ও ইউজারনেম দিন। ক্রলারের কোড একটিই রাখুন, শুধু ইউজারনেম বদলান, তাহলে ভাষাগুলোর ডেটা আলাদা থাকবে।
তিন মাসের ক্রলে খরচ কত?
200 সংযোগ ও 100 Mbps-এ Quarter (90 দিন) প্ল্যান দিনে $3.61, মোট $324.90। এক দিন করে কেনার ($4.75) চেয়ে এটি 24% কম।
আরও বড় ক্রলের জন্য Month-এ (30 দিন) 1,000 সংযোগ, 200 Mbps স্তর দিনে $8.78, মোট $263.40। ড্যাশবোর্ডে 1~365 দিনের যেকোনো মেয়াদও দেওয়া যায়, তাই শুধু যত দিন ক্রল চলে তত দিনই কেনেন।
ডেটা সংগ্রহের সময় কী মাথায় রাখব?
শুধু পাবলিক কনটেন্ট সংগ্রহ করুন এবং robots.txt ও সাইটের শর্ত মেনে চলুন। ট্রেনিংয়ে ব্যবহারের ক্ষেত্রে প্রযোজ্য কপিরাইট ও গোপনীয়তার নিয়মও দেখে নিন। অদরকারি ব্যক্তিগত তথ্য ডেটাসেটে ঢোকার আগেই ছেঁকে ফেলুন।
প্রক্সিতে আরও জায়গা থাকলেও প্রতিটি ডোমেইনে রিকোয়েস্টের সীমা রাখুন। যে সাইট ঠিক থাকে, ডেটাসেটের পরের সংস্করণের জন্য সেটি আবার ক্রল করতে পারবেন।
AI ট্রেনিং ডেটা-এর জন্য HiProxy সংযোগ করুন
1
পুরো ক্রলের মেয়াদের জন্য যথেষ্ট ব্যালান্স টপ আপ করুন। একবারে সর্বোচ্চ $5,000 টপ আপ করা যায়, আর $100 বা তার বেশিতে বোনাস ব্যালান্স মেলে।
2
আপনার ক্রলের দিনের সাথে মেলে এমন আনলিমিটেড রেসিডেনশিয়াল প্ল্যান কিনুন। Quarter-এ (90 দিন) দৈনিক রেট সবচেয়ে কম।
3
প্রতিটি ভাষার জন্য একটি ইউজারনেম তৈরি করুন, যেমন hpexample1-zone-unl-cc-fr, এবং প্রতিটি একটি ওয়ার্কার পুলে যুক্ত করুন।
4
ক্রলারকে gate.hiproxy.shop:6100-এ সংযোগ করুন এবং খোলা সংযোগ কেনা স্তরের মধ্যে রাখুন।
সাধারণ প্রশ্ন
একটি প্ল্যানে কি কয়েকটি দেশ ব্যবহার করা যায়?
হ্যাঁ। একটি আনলিমিটেড প্ল্যানেই 60টি দেশ পাওয়া যায়, আর প্রতিটি রিকোয়েস্টের দেশ ইউজারনেমে বেছে নেন।
ক্রলে কি স্টিকি সেশন ব্যবহার করা উচিত?
সাধারণত প্রতিটি রিকোয়েস্টে নতুন IP হলে লোড বেশি সমানভাবে ছড়ায়। শুধু যেসব সাইটে কয়েকটি পেজজুড়ে কুকি রাখতে হয়, সেখানে -sid ব্যবহার করুন।
কীভাবে পেমেন্ট করব?
পেমেন্ট উইন্ডো দিয়ে ক্রিপ্টোতে। গ্রহণযোগ্য কয়েন ও নেটওয়ার্ক সেখানে তালিকা করা আছে। টাকা আপনার USD ব্যালান্সে জমা হয়।
ক্রলের পর বাকি ব্যালান্সের কী হয়?
ব্যালান্সের মেয়াদ শেষ হয় না। পরের ক্রলে বা অন্য যেকোনো প্রোডাক্টে ব্যবহার করুন।
$30 টপ আপ করুন, পান 78 GB রেসিডেনশিয়াল ট্রাফিক
একটি ইউজারনেম ও একটি পাসওয়ার্ড বেছে নিলেই শুরু। আপনার ব্যালান্সের মেয়াদ কখনো শেষ হয় না।