پروژه‌های Web Scraping

یک فایل اکسل شامل اسامی افراد داریم و فیلد هایی شامل داده های شخصی و کاری آنها (مانند مدرک، دانشگاه، پوزیشن ها، شرکت ها و بازه زمانی آن شغل) وجود دارد اما این فیلد ها ناقص هستند و تمامی اطلاعات در مورد این افراد وجود ندارد هدف آن است که با توجه به داده های ناقص موجود، ابتدا پروفایل شخص در لینکدین پیدا شود (دقت کنید پروفایل کامل آنها و نه پروفایل محدودی که لینکدین به افرادی که وارد سیستم نشده اند نشان میدهد) و سپس با توجه به پروفایل پیدا شده یک فایل اکسل جدید ایجاد شود و تمام اطلاعات استخراج شده در آن قرار بگیرد. مهم نیست از چه روشی استفاده شود (api های استخراج داده از لینکدین تا اتوکلیکر!) اما هیچ سرویس شخص ثالث ایرانی ای که به هر طریقی اطلاعاتی به آن ارسال شود مجاز نیست. اطلاعات وارد شده به زبان فارسی است. اطلاعات دریافتی به زبان انگلیسی باشد و نیاز به ترجمه نیست. اطلاعات وارد شده ترجیحا با هوش مصنوعی با اطلاعات لینکدین تطابق پیدا کنند. با توجه به اینکه ممکن است با نام های مشابه پروفایل های متعددی با اطلاعات و نام مشابه وجود داشته باشد. و ربات باید با توجه به اطلاعات موجود از بین این افراد فرد مورد نظر را پیدا کند. اگرچه اگر قادر به تشخیص قطعی شخص نبود میتواند اطلاعات افرادی که بین آنها شک وجود دارد را همه را وارد فایل جدید کند.

من یک ربات می خواهم جهت ساخت یک ربات برای استخراج تلفن همراه و نام از سایت مشخص حدودا 50000 شماره در آن سایت است که از طریق جستجو در صفحات مختلف سایت شماره تلفن و نام اشخاص

این پروژه در واقع قسمتی از پروژه ی اصلی است. نیاز به برنامه یا تابعی هست که یک url دریافت کرده و page source آن را تحویل دهد. url ها در واقع url محصولات موجود در ترب هست به عنوان مثال یکی از url ها ممکنه این باشه: https://torob.com/p/9fd53629-9f7e-4ae4-bea7-7117651230a8/%D9%82%D8%B1%D8%B5-%D9%87%DB%8C%D8%B1%D9%88%DB%8C%D8%AA-%D9%87%D9%84%D8%AB-%D8%A7%DB%8C%D8%AF-%D8%AA%D9%82%D9%88%DB%8C%D8%AA-%D9%88-%D8%B1%D8%B4%D8%AF-%D9%85%D9%88-30-%D8%B9%D8%AF%D8%AF%DB%8C/ تنها چالش برای انجام این پروژه عبور از ضدربات cloudflare هست که البته برای عبور نیاز به حل کپچای امنیتی نیست. زبان برنامه نویسی ترجیحا پایتون برای اطمینان از سازگاری کار شما با سایر بخش های پروژه لطفا زبان برنامه نویسی مورد استفاده، نام کتابخانه ها و تمام ابزارهایی که برای انجام این پروژه به کار میگیریند رو ذکر کنید و کمی درمورد راهکار خود توضیح بدین. قیمت پیشنهادی رو هم اعلام بفرمایید. ممنون

اطلاعات کندل های ارز های انتخابی (حداقل ۱۰ ارز و حداکثر ۱۳۰ ارز ) توسط کاربر رو بصورت ثانیه ای از طریق api یک صرافی دریافت کند و آنرابصورت candles ,High,Low,Open,Close در تایم فریم های ۱،۳،۵،۱۵،۳۰ دقیقه و ۱،۲،۴،۶،۸،۱۲ ساعته و ۱،۳ روزه ذخیره کند و‌بصورت گراف نمونه تصویر آپلود شده نمایش دهد. اطلاعات کندل ها در تایم فریم های مختلف در بازه زمانی ابتدای شروع ارز در (n هفته) پیش تر باید در دیتابیس ذخیره شود. و اطلاعات ذخیره شده در دیتابیس براحتی قابل فراخوانی موازی و همزمان باشند. نداشتن لگ و تاخیر و استپ ناگهانی به هر دلیلی لازمه انجام این پروژه هست.