Bu repo, veri mühendisliği alanında kariyer yapmak isteyenler için temel konuları içeren bir eğitim serisi sunar. Eğitim serisi, veri toplama, işleme, depolama ve analiz süreçlerini kapsar. Modern veri mühendisliği araçlarını ve yöntemlerini tanıtır.
- Ders 1a: Veri Mühendisliğine Giriş
- Veri Mühendisliği Nedir?
- Veri Mühendisliğinin Önemi
- Veri Bilimi ve Veri Mühendisliği Arasındaki Farklar
- Veri Mühendisliği Kariyer Yolu
- Ders 1b: Çalışma Ortamı Kurulumu
- Python ve Jupyter Kurulumu
- Apache Spark ve Hadoop Kurulumu
- Gerekli Kütüphanelerin Yüklenmesi (Pandas, NumPy, etc.)
- Bulut Platformlarının Tanıtımı (AWS, GCP, Azure)
- Ders 2a: Veri Kaynakları ve Veri Toplama
- Farklı Veri Kaynakları (RDBMS, NoSQL, API, Dosyalar)
- Veri Toplama Yöntemleri ve Araçları
- Web Scraping ile Veri Toplama
- API’den Veri Çekme ve JSON ile Çalışma
- Ders 2b: ETL Süreçleri ve Veri Dönüşümü
- ETL Nedir? (Extract, Transform, Load)
- Verinin Temizlenmesi ve Dönüştürülmesi
- Apache Airflow ile ETL İşlemleri
- Veri Doğrulama ve Kalite Kontrol
- Ders 3a: Veri Depolama Çözümleri
- RDBMS: SQL ve Veri Modelleri
- NoSQL: MongoDB ve Cassandra
- Veri Ambarı ve Veri Gölü Kavramları
- Bulut Depolama (AWS S3, Google BigQuery)
- Ders 3b: Veri Akışı Yönetimi
- Apache Kafka ile Gerçek Zamanlı Veri Akışı
- Spark Streaming ile Veri İşleme
- Akış ve Toplu İşleme Arasındaki Farklar
- Zaman Serisi Verisi ile Çalışma
- Ders 4a: Büyük Veri İşleme ve Apache Spark
- Büyük Veri Kavramı ve Zorlukları
- Apache Spark’ın Mimarisi
- Spark RDD, DataFrame ve Dataset
- Spark ile Büyük Veri Analizi
- Pratik Uygulama: Spark ile Büyük Veri Analizi (Kod Örnekleri)
- **Ders 4b: Hadoop Ekosistemi ve HDFS
- Hadoop Ekosistemi: Hadoop, YARN, HDFS
- HDFS ile Büyük Veri Depolama
- MapReduce ile Veri İşleme
- Pratik Uygulama: Hadoop HDFS ve MapReduce Kullanımı (Kod Örnekleri)
- Hive ve Pig ile Veri Sorgulama
- Ders 5a: Veri Analitiği ve Raporlama
- Temel Veri Analizi Yöntemleri
- SQL ile Veri Sorgulama ve Analiz
- Pratik Uygulama: BigQuery ile SQL Sorgulamaları (Kod Örnekleri)
- Veri Görselleştirme Araçları (Tableau, Power BI)
- İş Zekası ve Raporlama Teknikleri
- Ders 5b: Ders 5b: Veri Pipeline’larının Yönetimi
- Apache NiFi ile Veri Akışlarını Yönetme
- CI/CD ile Veri Pipeline’larını Otomatikleştirme
- Pratik Uygulama: Docker ve Kubernetes ile Veri Pipeline’ları (Kod Örnekleri)
- Veri Pipeline’larının İzlenmesi ve Bakımı
- Ders 6a: Uçtan Uca Proje 1 - Apache Airflow ile ETL Pipeline Geliştirme
- Ders 6b: Uçtan Uca Proje 2 - Apache Spark ve Google BigQuery ile Büyük Veri Analizi
- Ders 6c: Uçtan Uca Proje 3 - Hadoop Ekosistemi ile Veri İşleme ve Analiz