استخدام senior data engineer

توضیحات آگهی

شرح شغل و وظایف
ما به یک باSenior Data Engineer با بیش از 5 سال سابقه کاری نیاز داریم که بتواند در طراحی توسعه و نگهداری زیرساخت داده پروژه هوشمندسازی زنجیره تامین نقش کلیدی داشته باشد و داده های مورد نیاز برای تحلیل های پیشرفته مدل های پیش بینی سیستم های هوشمند و محصولات مبتنی بر AI را فراهم کند
این نقش ترکیبی از مهندسی داده طراحی و توسعه Pipelineهای داده مدیریت معماری Data Platform و همکاری نزدیک با تیم های Data Science Backend و Product است فرد مناسب برای این موقعیت باید توانایی طراحی سیستم های داده مقیاس پذیر کار با داده های حجیم حل مسائل کیفیت داده و ایجاد فرآیندهای قابل اتکا برای جمع آوری پردازش و ارائه داده را داشته باشد
مسئولیت ها
طراحی توسعه و نگهداری Pipelineهای ETL ELT برای استخراج پردازش و انتقال داده از منابع مختلف
توسعه فرآیندهای Data Ingestion برای دریافت داده های ساختاریافته و غیرساختاریافته از منابع مختلف شامل Database API فایل ها و سرویس های خارجی
پیاده سازی فرآیندهای پردازش داده به صورت Batch و Near Real time
طراحی و توسعه معماری Data Lake Lakehouse برای مدیریت داده های حجیم پروژه
طراحی و نگهداری لایه های مختلف داده شامل Raw Processed Analytics و Feature Layer
توسعه فرآیندهای پاک سازی استانداردسازی نرمال سازی و آماده سازی داده ها
پیاده سازی مکانیزم های Data Quality Data Validation و کنترل صحت داده ها
شناسایی و رفع مشکلات مربوط به داده های ناقص تکراری ناسازگار و غیرقابل اعتماد
طراحی و بهینه سازی Data Model و Schemaهای مورد استفاده در تحلیل و پردازش داده
توسعه و بهینه سازی Queryهای SQL برای پردازش و تحلیل داده های حجیم
طراحی و پیاده سازی فرآیندهای Monitoring Logging و Alerting برای Pipelineها و Jobهای داده
پایش عملکرد فرآیندهای پردازش داده شناسایی خطاها و انجام Root Cause Analysis
همکاری نزدیک با تیم Data Science برای آماده سازی Datasetها Feature Engineering و ارائه داده مورد نیاز مدل های Machine Learning
فراهم سازی زیرساخت داده مورد نیاز برای توسعه RAG LLM و AI Agentهای سازمان
توسعه فرآیندهای خودکارسازی داده و کاهش فعالیت های دستی در چرخه پردازش اطلاعات
مستندسازی معماری داده Pipelineها فرآیندهای پردازشی و استانداردهای داده
همکاری با تیم های Product Backend و Business برای تبدیل نیازمندی های کسب وکار به راهکارهای داده ای قابل استفاده
شرایط موردنیاز
حداقل 5 سال سابقه کار مرتبط در حوزه Data Engineering
تسلط پیشرفته به SQL و توانایی نوشتن بررسی و بهینه سازی Queryهای پیچیده
تجربه عملی کار با PostgreSQL و دیتابیس های رابطه ای
تجربه طراحی و توسعه Pipelineهای ETL ELT
تسلط به Python برای پردازش داده توسعه ابزارهای Data Engineering و Automation
تجربه کار با معماری های Data Warehouse Data Lake یا Lakehouse
تجربه کار با داده های حجیم و فرآیندهای پردازش داده
توانایی طراحی Data Model و ساختارهای ذخیره سازی مناسب
تجربه کار با ابزارهای مدیریت Workflow و Orchestration مانند Airflow
تجربه کار با Docker و محیط های توسعه نرم افزاری
آشنایی با Git و فرآیندهای توسعه نرم افزار
توانایی تحلیل مشکلات داده Debug کردن Pipelineها و حل مسئله به صورت مستقل
توانایی مستندسازی و ارتباط موثر با تیم های فنی و کسب وکار
مواردی که امتیاز محسوب می شوند
تجربه کار با Apache Spark و پردازش Distributed Data
تجربه کار با Kafka و Streaming Data Pipeline
تجربه CDC و ابزارهایی مانند Debezium
تجربه کار با Data Lakehouse
تجربه کار با ClickHouse یا سایر
تجربه کار با Elasticsearch و Vector Databaseها
تجربه طراحی Data Platform در مقیاس سازمانی
تجربه کار با Data Governance Data Lineage و Metadata Management
تجربه همکاری در پروژه های AI Machine Learning و LLM based Applications
آشنایی با RAG Pipeline و معماری Agent based AI Systems
مهارت های فنی مورد نیاز
Programming Languages
Python Intermediate Advanced
SQL Advanced
Database Storage
PostgreSQL Advanced
Relational Database Design
Query Optimization
Data Modeling
Data Engineering
ETL ELT Pipeline Development
Data Ingestion
Data Cleaning Transformation
Data Quality Validation
Workflow Automation
Data Platform
Data Warehouse
Data Lake
Lakehouse Architecture
Object Storage Concepts
Tools Technologies
Apache Airflow
Docker
Git
Linux
شرکت الگونت Algonet
دسته بندی وب برنامه نویسی و نرم افزار
نحوه همکاری تمام وقت
نوع همکاری حضوری
مدرک تحصیلی کارشناسی
سابقه کار سه تا شش سال
حقوق توافقی
جنسیت مهم نیست
مهارت ها Python Databases ETL
شهر تهران تهران