Berbeda apabila kita melakukan merging menggunakan library pandas. Pendekatan yang akan kita gunakan adalah dengan melakukan merging insert dan update pada database. Berikut beberapa cara yang akan disajikan untuk melakukan proses penggabungan antara dataset yang sebelumnya sudah ada dengan dataset yang baru masuk dengan menggunakan kondisi penggabungan yang kemudian dilakukan…

Problem pada tipe data merupakan salah satu masalah terbesar yg biasa dihadapi saat kita melakukan pemrosesan data dengan python, misalnya saja Bagaimana Memastikan bahwa setiap field atau kolom memilki tipe data tertentu. Misalnya saja kolom integer (int) tidak mengandung hal hal seperti, kutip, koma, spasi dan sebagainya. Bagaimana memastikan bahwa…

Jika dilihat dari judul pada artikel ini mungkin akan banyak yang bertanya tanya Apa itu Delta Lake ? Tentunya yang sudah paham terkait konsep Data Lake akan kembali muncul pertanyaan pertanyaan lainnya. Jadi, Apa perbedaan antara Data Lake dengan Delta Lake ? Apakah ada hubungan antara Data Lake dengan Delta…

Pertanyaan umum yang sering sekali ditanyakan oleh orang orang yang ingin bekerja di bidang Data Engineer yaitu Apa itu Data Warehouse ? Apakah perlu menggunakan teknologi cloud seperti Redshift, BigQuery, atau Synapse untuk Data Warehouse yang akan digunakan ? Dalam tulisan ini kita bisa mengasumsikan misalnya kita bekerja di salah…

Saat kita akan mengoptimalkan query pada suatu tabel yang ada pada database, sebagian besar orang orang cenderung hanya membuat indeks pada hal yang ditanyakannya saja. Biasanya pertanyaan yang sering dilontarkan seperti dibawah ini : Saya tidak begitu mengerti apa maksud dari indexing pada suatu kolom ? Saya mengerti dan paham…

Pada artikel ini saya akan membahas alasan dibalik mengapa seseorang menggunakan DBT ini. Banyak dari para data engineer yang bertanya tanya tentang DBT, misalnya. Mengapa lebih menggunakan DBT dibandingkan menjalankan query SQL di Airflow ? Mengapa perlu berpindah dari script SQL ke script DBT jika harus mempertimbangkan learning curve ? …

Saat kita memutuskan menggunakan suatu tools, kadang kita bertanya tanya terkait tools yang kita pakai ini. Biasanya pertanyaan tersebut dimulai dengan Bagaimana pendapat orang diluar sana terkait tools yang sedang kita pakai ? Apa Kelebihan dan kekurangannya ? Pertanyaannya tidak akan jauh dari pertanyaan seperti pertanyaan di atas.Dari pertanyaan pertanyaan…

Banyak seorang data engineer yang sebelumnya menggunakan batch processing bertanya tanya terkait sistem pemrosesan data secara real time. Data model apa yang paling cocok dalam mengimplementasikan pemrosesan data secara real time ? Mencari solusi yang tepat bagaimana membuat Data Warheouse untuk data real time ? Pemrosesan Data Real Time Sebelumnya kita perlu mendefinisikan apa…

Sebagai seorang yang bekerja dibidang data tentunya teknologi Spark SQL sangat penting untuk dipelajari dan dipahami. Database SQL memiliki sejuta manfaat dan keuntungan, namun memiliki kekurangan misalnya saja tidak mampu menyimpan banyak aplikasi dengan ukuran data yang besar ( big data) sehingga memerlukan tidak hanya satu teknik pemrosesan , sumber…