Keuntungan Menggunakan DBT (Data Build Tool)

Pada artikel ini saya akan membahas alasan dibalik mengapa seseorang menggunakan DBT ini. Banyak dari para data engineer yang bertanya tanya tentang DBT, misalnya.

Mengapa lebih menggunakan DBT dibandingkan menjalankan query SQL di Airflow ?

Mengapa perlu berpindah dari script SQL ke script DBT jika harus mempertimbangkan learning curve ?

Kebanyakan dari kita biasanya melakukan evaluasi sebuah tools berdasarkan fungsionalitas dan fleksibilitasnya yang diberikan oleh tools tersebut. DBT merupakan sebuah tools yang dalam mengatasi masalah Transformasi pada proses ETL, yaitu dengan bekerja pada data mentah yang ada pada Data Warehouse, meskipun hanya sedikit membantu dalam segi fungsionalitasnya jika dibandingkan dengan tools orkestrasi ETL lainnya seperti Airflow,Luigi. Namun DBT memberikan keuntungan dan secara sederhana memberikan kemudahan dalam memahami dan menjalankan proses ETL jika dibandingkan dengan tools orkestrasi lainnya terutama untuk para non-engineer.

Perkembangan teknologi yang semakin maju dan di dunia data atau big data dalam beberapa tahun terakhir ini terutama teknologi Data Warehouse menjadi sangat fleksibel ( contohnya UDF) dan powerful.Misalnya adanya fitur yang dapat memisahkan penyimpanan dan pemrosesan, proses scaling yang elastis dan kemampuan Machine Learning (Big Query ML). Hal ini mengakibatkan banyak perusahaan yang menggunakan data warehouse untuk meningkatkan performa proses transformasi data. Oleh sebab itu teknologi DBT mulai populer karena menyediakan cara yang mudah dalam melakukan proses transformasi hanya dengan menggunakan query SQL. Selain itu menyediakan pemeriksaan data quality secara asli.

Ada beberapa alasan mengapa orang orang mulai menggunakan DBT:

• Mudah dioperasikan untuk para non engineer (dapat berbagi pengetahuan terkait data antara engineer dan non-engineer)
• Model data yang sangat fleksibel (re-create data yang sangat mudah dan mudahnya proses backfills)
• Jika sebagian besar proses transformasi ada di level Data Warehoues, DBT ini akan membuat lebih mudah untuk dioperasikan.
• Adanya proses built in testing untuk data qulity
• Makro yang dapat digunakan kembali
• Learning curve yang sangat rendah ( tools dbt mudah dipahami dan dipelajari)
• Pada tahap production menjalankan DBT di lingkungan cloud atau dengan trigger pada airflow.

Kesimpulan

Jika kita sedang membuat data pipeline dimana terdapat banyak engineer dan non-engineer sebagai pemangku kepentingan saat melakukan proses transformasi data dan kita memiliki data warehouse yang powerful dalam mendukung setiap kebutuhan, DBT merupakan pilihan yang tepat karena memberikan kebebasan dari keharusan dalam mengelola dependensi, memiliki dukungan tes secara asli dan memiliki learning curve yang rendah yang memungkinkan para engineer dan non-engineer dapat berkontribusi pada tahap transformasi.