ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি
একটি স্ক্র্যাপার অল্প সময়ে একই সাইটে অনেক রিকোয়েস্ট পাঠায়। HiProxy আনলিমিটেড প্ল্যান সেই প্রতিটি রিকোয়েস্ট বাসাবাড়ির সংযোগের আলাদা IP থেকে পাঠায় এবং পরিমাণ যা-ই হোক, দিন হিসেবে বিল করে।
একটি সার্ভার IP কেন ব্লক হয়?
বেশিরভাগ সাইট কোনো ঠিকানা নির্দিষ্ট সংখ্যক রিকোয়েস্ট পেরোলে তাকে ধীর করে দেয় বা ব্লক করে। একটি সার্ভার থেকে হাজার হাজার রিকোয়েস্ট পাঠানো স্ক্র্যাপার দ্রুত সেই সীমা পেরিয়ে যায়।
গেটওয়ের মাধ্যমে রিকোয়েস্টগুলো বাসার ইন্টারনেট সংযোগের অনেক IP-তে (রেসিডেনশিয়াল IP) ছড়িয়ে যায়। মোট পরিমাণ একই থাকে, কিন্তু প্রতিটি IP মোটামুটি একজন সাধারণ ভিজিটরের সমান পাঠায়।
দিনে খরচ কত, আর দাম কীসে ঠিক হয়?
সবচেয়ে ছোট স্তর (200 সংযোগ, 100 Mbps) Day প্ল্যানে $4.75। Week (7 দিন) দিনে $4.47, Month (30 দিন) $4.04 আর Quarter (90 দিন) $3.61, তাই মেয়াদ বাড়লে রেট কমে।
বাইট গোনা হয় না। ছবিতে ভরা পেজ আর ছোট API রেসপন্স একই দৈনিক দামের মধ্যে পড়ে। শুধু মেয়াদ, সংযোগের সংখ্যা ও ব্যান্ডউইথ বদলালে দাম বদলায়।
সংযোগের সংখ্যা কীভাবে বেছে নেব?
আপনার স্ক্র্যাপার এক মুহূর্তে কতগুলো রিকোয়েস্ট খোলা রাখে তা গুনুন। 150টি ওয়ার্কার থ্রেড থাকলে 200 সংযোগের স্তর মানানসই, আবার চেষ্টার জন্যও জায়গা থাকে।
কয়েকটি স্ক্র্যাপার একসাথে চালালে তাদের থ্রেড যোগ করুন। 200 পেরোলে 500 সংযোগের স্তর (200 Mbps, দিনে $7.77) বেশি মানানসই। পরের প্ল্যান কেনার সময় স্তর বদলাতে পারেন।
কী সংগ্রহ করা ঠিক আছে?
লগইন ছাড়া যে কেউ খুলতে পারে এমন পেজই সাধারণ লক্ষ্য: প্রোডাক্টের তালিকা, খবরের লেখা, পাবলিক ব্যবসার ডিরেক্টরি। শুরু করার আগে সাইটের শর্ত এবং আপনি যেখানে কাজ করেন সেখানকার আইন পড়ে নিন।
ফাঁস হওয়া লগইন তথ্য দিয়ে লগ ইন, স্প্যাম, DDoS বা সরকারি সাইটে ঢোকার জন্য ব্যবহৃত অ্যাকাউন্ট HiProxy স্থগিত করে। রিকোয়েস্টের মাঝে বিরতি রাখলে টার্গেট সাইট ঠিক থাকে এবং আপনার স্ক্র্যাপার বেশি দিন চলে।
ওয়েব স্ক্র্যাপিং-এর জন্য HiProxy সংযোগ করুন
1
শুধু ইউজারনেম ও পাসওয়ার্ড দিয়ে সাইন আপ করুন, তারপর পেমেন্ট উইন্ডোতে ক্রিপ্টোতে অন্তত $50 টপ আপ করুন।
2
আনলিমিটেড রেসিডেনশিয়াল অংশে Day, Week, Month বা Quarter বেছে নিন এবং একটি সংযোগ স্তর ঠিক করুন।
3
আপনার প্রক্সি ইউজারনেমে -zone-unl যোগ করুন, আর দেশভেদে ডেটা আলাদা হলে -cc-us-এর মতো দেশও যোগ করুন।
4
স্ক্র্যাপারে gate.hiproxy.shop দিন, পোর্ট 6100 (HTTP) বা 6200 (SOCKS5), আর প্রতিটি রিকোয়েস্টে IP বদলাবে।
সাধারণ প্রশ্ন
IP কখন বদলায়?
ইউজারনেমে -sid অপশন না থাকলে প্রতিটি রিকোয়েস্ট নতুন রেসিডেনশিয়াল IP থেকে বের হয়।
লগইনের ভেতরের কয়েকটি পেজের জন্য কি একটি IP রাখা যায়?
হ্যাঁ। -sid- আর তারপর যেকোনো সেশনের নাম যোগ করুন। একই নামের রিকোয়েস্টগুলো একটি IP ভাগ করে নেয়। কত সময় থাকবে তা -ttl- দিয়ে ঠিক করুন, সর্বোচ্চ 60 মিনিট।
আনলিমিটেডে কি সত্যিই ট্রাফিকের সীমা নেই?
ট্রাফিক মাপা হয় না। শুধু খোলা সংযোগের সংখ্যা আর গতি আপনার বেছে নেওয়া স্তর অনুযায়ী হয়।
আমার প্ল্যানে "চালু হচ্ছে" দেখাচ্ছে।
নেটওয়ার্ক চালু না করা পর্যন্ত অল্প সময় এভাবে দেখায়। কোনো অর্ডার চালু করা না গেলে তা বাতিল হয় এবং পুরো টাকা আপনার ব্যালান্সে ফেরত আসে।
$50 টপ আপ করুন, পান 142 GB রেসিডেনশিয়াল ট্রাফিক
একটি ইউজারনেম ও একটি পাসওয়ার্ড বেছে নিলেই শুরু। আপনার ব্যালান্সের মেয়াদ কখনো শেষ হয় না।