19 دقیقه پیش | کد آگهی: 12387810
دستهبندی شغلی
موقعیت مکانی
تحصیلات
محل فعالیت
-
مزایا
مهارت ها و زبان ها
نوع همکاری
سایر اطلاعات
در این جایگاه مسئولیت طراحی و پیاده سازی راهکارهای جمع آوری و استخراج داده از منابع مختلف وب و شبکه های اجتماعی را بر عهده خواهید داشت تمرکز اصلی این نقش بر توسعه Scraperها و Crawlerها طراحی زیرساخت های استخراج داده و مدیریت Pipeline های داده در مقیاس بالا است
مسئولیت های کلیدی
طراحی توسعه و نگهداری Crawlerهای خودکار برای جمع آوری داده از وب سایت ها و شبکه های اجتماعی
پیاده سازی راهکارهای عبور از سیستم های Anti Bot مانند Captcha Rate Limiting IP Blocking و Browser Fingerprinting
مدیریت دوره ای فرآیندهای استخراج داده و تضمین کیفیت و صحت داده های جمع آوری شده
طراحی و پیاده سازی زیرساخت های مقیاس پذیر برای ذخیره سازی داده های استخراج شده
دانش و مهارت های مورد نیاز
تسلط عمیق بر پایتون
تسلط بر فریمورک های Web Scraping شامل Scrapy Selenium Playwright و BeautifulSoup
تسلط کامل بر مفاهیم HTTP HTTPS و مدیریت Sessionها Cookieها و Headerها
تجربه عملی در کار با پروکسی ها ابزارهای حل Captcha و مدیریت User Agent
تسلط بر پایگاه های داده رابطه ای و غیررابطه ای مانند PostgreSQL MongoDB و Elasticsearch
آشنایی با داکر برای داکرایز کردن Crawlerها و مدیریت استقرار آن ها
تجربه کار با Message Brokerهایی مانند RabbitMQ یا Kafka
آشنایی با ابزارهای مانیتورینگ و لاگینگ برای پایش سلامت Crawlerها
آشنایی با Airflow
شایستگی های فردی
توانایی حل مسئله در مواجهه با تغییرات ساختار وب سایت ها
دقت بالا در تضمین کیفیت و صحت داده ها
توانایی مستندسازی فنی و گزارش دهی دوره ای
روحیه همکاری و کار تیمی
شرایط همکاری
محل کار میدان آرژانتین
ساعات کاری شنبه تا سه شنبه 8 00 تا 17 00 چهارشنبه 8 00 تا 16 00 پنج شنبه ها تعطیل
مزایا بیمه تکمیلی SOS وام سازمانی هدایای مناسبتی
رشد فراتر از نقش ها
توسعه شما بخشی از مسیر توسعه سازمان است در رسپینا تلاش می کنیم محیطی فراهم کنیم تا در کنار ایفای نقش حرفه ای خود فرصت یادگیری مستمر توسعه توانمندی ها و اثرگذاری بیشتر را داشته باشید
اگر به دنبال فرصتی برای به کارگیری تجربه و رشد در مسیر حرفه ای خود هستید مشتاق آشنایی با شما هستیم
شرکت داده پردازی رسپینا Respina Networks
دسته بندی وب برنامه نویسی و نرم افزار
نحوه همکاری تمام وقت
نوع همکاری حضوری
مدرک تحصیلی کارشناسی
سابقه کار سه تا شش سال
حقوق توافقی
جنسیت مهم نیست
مهارت ها Elasticsearch HTTP MongoDB
شهر تهران تهران
جویا کار این آگهی را از سایت
جابینجا
استخراج نموده است و هیچ مسئولیتی در قبال این آگهی ندارد.
دقت نمایید که کارفرما حق دریافت هیچ گونه وجهی از کارجو را نداشته و این امر خلاف قانون است. در صورت مشاهده این موارد یا سایر تخلفات با کلیک روی (گزارش آگهی) ما را در ارائه خدمات بهتر یاری نمایید.
در غیر این صورت میتوانید با کلیک بر روی دکمه "درج نظر" نظر خود را در مورد این آگهی ثبت کنید.
جهت اشتراک در شبکه های اجتماعی روی کلیدهای زیر کلیک کنید
همچنین میتوانید لینک کوتاه زیر را جهت دسترسی به صفحه فوق برای اشتراک گذاری کپی کنید
کپی کردن لینک
نظرات در مورد این آگهی: درج نظر