به جمع ما ملحق شوید و از دنیای مهندسی داده لذت ببرید
دوره جامع مهندسی داده
Data Engineering Course
چهارمین دوره با سرفصل‌های کاملن متفاوت
تمامی سطوح
Skill Level
33 جلسه
Lessons
44 ساعت
Duration
فارسی
Language
چرا مهندسی داده؟
در سال‌های اخیر، با توجه به استفاده‌های متنوع و متعدد از داده (data) در سازمان‌های بزرگ و کوچک، و فراگیر شدن استفاده از روش‌های مختلف هوش مصنوعی در بالا بردن بهره‌وری مجموعه‌ها، نیاز مبرم به استانداردسازی زیرساخت دیتایی (اطلاعات)، بیش از قبل احساس می‌گردد. در مهندسی داده، دغدغه‌ی اصلی سر و سامان دادن به این زیرساخت‌ها و اتوماتیک نمودن خطوط (data pipeline) ورود و خروج داده می‌باشد. یک مهندس داده باید با بروزترین ابزارها در حوزه‌ی کار با داده، از اسپارک گرفته تا انواع مختلف دیتابیس‌ها آشنایی خوبی داشته باشد. بطور کلی چون عرضه در این رشته کم‌تر بوده، در حال حاضر تقاضا در آن بسیار بالاتر است و بازار کار بسیار مطلوبی دارد.
با کامل نمودن این دوره به چه اهدافی دست خواهید یافت؟
- می‌توانید برای موقعیت‌های شغلی در این زمینه درخواست (اپلای) بدهید.
- به درک بسیار عمیقی از ابزارهای موجود در دنیای کار با دیتا خواهید رسید.
- با ابزراهای مدرن و بروز در دنیای مهندسی داده آشنا خواهید شد.
نیازمندی‌ها جهت ورود به این دوره چیست؟
- داشتن یک سیستم خوب با حداقل رم 8 گیگ و پردازنده‌ی i5 به بالا.
- آشنایی با پایتون، sql و جاوا مفید است. اما تمامی مطالب از پائین‌ترین سطح بیان خواهد شد.
- زبان تدریس «فارسی» است اما اصطلاحات اصلی این حوزه بطور کامل به زبان انگلیسی بیان می‌گردد.
- آشنایی با مفاهیم اساسی در دنیای کامپیوتر بسیار مفید است. اگر دانش عمومی کامپیوتر شما پائین است، این دوره مناسب شما نیست. هر چند که اگر پشت‌کار داشته باشید، تمامی موارد را ما توضیح می‌دهیم.
نحوه‌ی برگزاری دوره به چه صورت است؟
- ویدیوهای آموزشی ضبط و به مرور زمان و منظم، در پنل کاربری شما قرار خواهند گرفت.
- در مواردی که با شرکت‌کنندگان هماهنگ خواهد شد، در گوگل میت آنلاین خواهیم شد و به بیان سوالات و ابهامات خود خواهید پرداخت. مدرس دوره، آقای دکتر فزونی نیز پاسخگویی شما هستند. دقت بفرمائید ما در این مجموعه، TA نداریم.
- یک گروه تلگرامی داریم که در آنجا عضو خواهید شد و از آن طریق می‌توانید با سایر شرکت‌کنندگان و مدرس، بطور مستقیم در ارتباط باشید.
معرفی مدرس و دوره
دکتر محمد فزونی، عضو هئیت علمی تمام وقت و دانشیار گروه ریاضی و آمار دانشگاه گنبدکاووس هستند. ایشان از سال 1393 در این مجموعه مشغول به فعالیت‌های آموزشی و پژوهشی می‌باشند و از سال 1398 با داشتن یک بنیه‌ی قوی علمی تحلیلی (ریاضی) وارد دنیای علم داده شدند و تا به امروز در فعالیت‌های مختلفی، از آموزش گرفته تا انجام پروژه‌های داخلی و خارجی مشغول به فعالیت در حوزه‌های علم داده و مهندسی داده هستند. اگر ویدیوی پائین باز نشد، از این لینک اقدام نمائید.
نکته: در ویدیو، به اشتباه تعداد جلساتِ کافکا و اسپارک 10 جلسه بیان می‌شود. اما هر کدام از این ابزارها 7 جلسه را به خود اختصاص می‌دهند. همچنین بدلیل طولانی نشدن ویدیو، تمامی سرفصلها بیان نمی‌گردد. برای دیدن لیست کامل‌تر، ادامه‌ی این صفحه را مشاهده کنید.
سرفصل‌های دوره
در این بخش، به نصب WSL در ویندوز پرداخته و سپس اصلی‌ترین دستورات این سیستم عامل را در دنیای مهندسی داده بررسی خواهیم نمود. اگر کامپیوتر شما MacOS است نیازی به این کار نخواهید داشت.
تعداد جلسات: 1 جلسه
🛑 هر جلسه بین 60 الی 90 دقیقه می‌باشد که ممکن است در قالب یک الی چند ویدیو منتشر گردد.
امروزه تمامی مجموعه‌ها در حوزه‌ی تکنولوژی در صورتی که بخواهند یک کار تیمی در حوزه‌ی نرم‌افزار و یا دیتا انجام بدهند، قطعن یک سیستم مدیریت ورژن کد را برای خود انتخاب نموده و طبق آن پیش خواهند رفت. در این کورس آموزشی ما شما را با گیت و گیت‌هاب که جزو بهترین سیستم‌های کنترل ورژن کدها می‌باشد آشنا خواهیم نمود. مفاهیم ابتدایی را بطور کامل مطرح می‌کنیم و به انجام کار عملی در این حوزه خواهیم پرداخت تا شما بطور کامل و دقیق با روند آشنا بشوید.
تعداد جلسات: 1 جلسه
در حال حاضر، بهترین زبان برنامه‌نویسی در دنیای دیتا، پایتون می‌باشد. بنابراین در این کورس تا حد ممکن به بیان مهم‌ترین نکات کار با این زبان برنامه‌نویسی خواهیم پرداخت. همچنین توجه بفرمائید که اگر بخواهید (که قطعن قصد شما همین است) مهندسی داده را بصورت حرفه‌ای دنبال کنید و با ابزارهایی مثل کافکا و اسپارک کار نمائید، طبیعتن به جاوا و قدرت فوق‌العاده‌ی عملکردی آن نیاز پیدا خواهید نمود. پس شما را با جاوا و مهم‌ترین نکات کار با آن نیز آشنا خواهیم نمود.
تعداد جلسات: 1 جلسه
آشنایی با پایگاه‌های داده، جزو مهم‌ترین دانسته‌های یک مهندس داده قلمداد می‌گردد. در سال‌های اخیر پوستگرس بعنوان یکی از پیشرفته‌ترین دیتابیس‌ها در دنیای متن‌باز، جایگاه ویژه‌ای را بین صاحبان کسب‌وکارها یافته است. از این روی، آشنایی و کار بصورت حرفه‌ای با این پایگاه داده از اهمیت بسیار زیادی برای مهندسین داده برخوردار می‌باشد. در این کورس، با ابزارهای گرافیکی و خط‌فرمان این پایگاه داده آشنا شده و در این محیط اقدام به آموزش زبان SQL خواهیم نمود. همچنین، برای کامل نمودن معلومات شرکت‌کنندگان، دوره آموزشی «دیتابیس و سی‌کو‌ال برای علم داده» نیز بصورت رایگان در اختیار شما قرار خواهد گرفت.
تعداد جلسات: 2 جلسه
در این‌روزها که حرف از معماری میکروسرویس همه‌جا هست و فراگیر شده، غیرممکن است که بدون داکر بتوانیم کاری از پیش ببریم. پس با داکر بعنوان یکی از ابزارهای اساسی در دنیای مهندسی داده کار خواهیم نمود.
تعداد جلسات: 2 جلسه
در دنیای مهندسی داده ETL یکی از کارهای روزمره و اساسی هر مهندس داده است. آپاچی ایرفلو که یکی از اساسی‌ترین ابزارهای مدیریت جریان داده است، به این افراد کمک می‌کند که دیتاپایپ‌لاین‌های مجموعه را براحتی رصد کرده و مدیریت نمایند. از این طریق، بسادگی می‌توانیم نقاطی که دارای مشکل و خطا هستند را ببینیم و در اولین فرصت ممکن به رفع مشکلات بپردازیم.
تعداد جلسات: 4 جلسه
سال‌ها بود که سیستم‌های یکپارچه از پایگاه‌های داده بعنوان محلی برای تجمیع داده‌ها و ارسال به مصرف‌کنندگان دیتا استفاده می‌کردند. اما معماری میکروسرویس این را برنمی‌تابد. در این معماری باید تولیدکنندگان و مصرف‌کنندگان داده تا حد ممکن از یکدیگر مجزا شوند. اینجا بود که آپاچی کافکا بعنوان یک مکان خاص برای دریافت و ارسال داده‌ها وارد کار شد. آپاچی کافکا در حال حاضر یکی از مهم‌ترین ابزارهای ممکن در دنیای پردازش داده‌های استریم و در لحظه است. میزان تاخیر ارسال داده‌ها در این سیستم در پایین‌ترین حد ممکن قرار دارد. از این رو، آپاچی کافکا توسط 80 درصد شرکت‌های مختلف در حوزه‌ی تکنولوژی دنیا بکار گرفته خواهد شد.
در این دوره، با دو زبان پایتون و جاوا به آموزش این ابزار اساسی خواهیم پرداخت. تمرکز خود را روی Stream API خواهیم گذاشت تا بصورت کاملن حرفه‌ای این غولِ دنیای پردازش استریم را یاد بگیریم.
تعداد جلسات: 8 جلسه
زمانی هدوپ حرف اول و آخر دنیای پردازش داده‌ها را می‌زد. مهندسین در این حوزه بالاترین دستمزد ممکن را داشتند. تا اینکه آپاچی اسپارک متولد شد و با سرعت وحشتناک خود و اینکه یک سیستم پردازش داده‌ی توزیع‌شده بود، همگان را شگفت‌زده کرد. در این کورس، سعی خواهیم نمود که علاوه بر کافکا، اسپارک را نیز در حد بسیار حرفه‌ای بشما آموزش دهیم. مشابه با کافکا، در این حوزه نیز با دو زبان پایتون و جاوا با هسته‌ی اسپارک ارتباط برقرار خواهیم نمود. با اسپارک تقریبن هر کاری که یک مهندس داده نیاز به آن دارد را می‌توانیم انجام دهیم. از کوئری‌نویسی‌ها در زبان SQL گرفته تا انجام و پیاده‌سازی الگوریتم‌های یادگیری ماشین.
تعداد جلسات: 7 جلسه
یکی از ضعف‌های آپاچی اسپارک این است که سیستمی برای مدیریت کلاستر و نودها ندارد. در دنیای مهندسی داده به کمک کوبرنتیز که یک ابزار فوق‌العاده قدرتمند است، سعی خواهیم نمود که یک یک کلاستر اسپارک را پیاده‌سازی کرده و مدیریت آنرا به کوبرنتیز بسپاریم. کوبرنتیز، در ابتدا توسط گوگل توسعه داده شد. اما مدتی بعد تبدیل گردید به یک پروژه‌ی متن‌باز. در حال حاضر این ابزار تبدیل شده است به حالت پیش‌فرض در دنیای مدیریت کانتینرها.
در این کورس ابتدا مقدمات و مفاهیم اساسی این ابزار را خواهیم آموخت. سپس، به انجام کارهای عملی ممکن که یک مهندس داده به آن معلومات و دانسته‌ها نیاز دارد، می‌پردازیم.
تعداد جلسات: 4 جلسه
دوست داری عناوین ویدیوهای منتشر شده رو بدونی؟
دانشجویان قبلی ما چه می‌گویند؟
آماده هستین؟ اینجا ثبت‌نام کنید
اگر تمایل دارید که بصورت قسطی در دوره ثبت‌نام کنید قسمت سوالات متداول را مشاهده کنید. نحوه‌ی پرداخت شرح داده شده است.
سوالات متداول
✅ بله. از طریق نرم‌افزار اسپات‌پلیر دسترسی به تمامی ویدیوها خواهید داشت. برای هر شخص یک لایسنس صادر خواهد شد.
✅ بله. مبلغ دو میلیون تومان کسر خواهد شد و مابقی را پرداخت می‌نمائید. برای این مورد با پشتیبانی ارتباط برقرار نمائید.
✅ بله. می‌توانید وجه ثبت‌نام را در سه قسط با مشخصات زیر واریز نمائید
- 1 میلیون و پانصد هزار تومان (قسط اول)
- 1 میلیون و دویست و پنجاه هزار تومان (قسط دوم، سه هفته پس از ثبت‌نام)
- 1 میلیون و پنجاه تومان (قسط آخر، 6 هفته پس از ثبت‌نام)
به منظور ثبت‌نام قسطی به این صفحه مراجعه نمائید و در بخش توضیحات مرقوم بفرمائید که وجه پرداختی جهت ثبت‌نام در چه دوره‌ای هست.
✅ در حالت کلی خیر. بهترین مدرک، مهارت‌هایی است که کسب می‌نمائید. ولی در صورت نیاز و درخواست برای شما مدرک نیز صادر خواهیم نمود.
✅ هیچ کورسی در دنیا (در دنیای تکنولوژی) بعد از اتمام شما را مستقیم به شغل و درآمد نخواهد رساند. تنها تداوم در یادگیری و شرکت در جلسات مصاحبه مسیر را برای شما باز می‌کند. پس درگیر عناوین تبلیغاتی مختلف نشوید. اما مطمئن باشید که این مهارت‌ها بسیار فراگیر بوده و نیاز به آنها در حال حاضر بسیار زیاد است. ولی در این دوره چون عمق مطالب را بیشتر نمودیم، قطعن شما توانمندی‌هایی بسیار خاص را کسب خواهید نمود که ضامن موفقیت در جلسات مصاحبه می‌باشد.
✅ اولین دوره در تابستان 1402 آغاز شد و 19 جلسه داشت. محتویات آنرا در این لینک مشاهده نمائید.
در دومین دوره، ما تلاش نمودیم که مباحث روز دنیا از جمله رایانش ابری و یا همان کلاد کامپیوتینگ را نیز به دوره اضافه نمائیم. از این رو در دوره‌ی دوم «مبانی مهندسی داده با کلاد آمازون» را راه‌اندازی کردیم.
سومین دوره نیز به دعوت دانشگاه خلیج فارس صورت گرفت و دقیقن همان محتویات اوین دوره تدریس شد. جزئیات را در این لینک مشاهده نمائید.
هنوز ابهام دارید؟
می‌خواهید با مدرس صحبت کنید؟
اگر قصد دارید که قبل از ثبت‌نام با مدرس بطور مستقیم صحبت کنید و ابهامات و سوالات خود را مطرح نمائید، به لینک زیر مراجعه کنید. وقت بگیرید (نیازی به پرداخت هزینه نیست). در قسمت توضیحات بنویسید که دلیل این ملاقات چیست. سپس آقای دکتر وقت را با شما هماهنگ خواهند نمود.
چه می‌گویند؟
برخی از نظرات فراگیران قبلی
معرفی دوره‌های آموزشی
ممکن است به این دوره‌های آموزشی علاقمند باشید
دوره آموزشی (پایتون و مهندسی داده)
مهندسی داده با پایتون و سی.کو.ال.
مهندسی داده با پایتون و سی.کو.ال.
مدرس: علی محمدی
دوره آموزشی (مهندسی داده و کلاد)
مهندسی داده با ابزارهای ابری آمازون (AWS)
مهندسی داده با ابزارهای ابری آمازون (AWS)
مدرس: دکتر محمد فزونی