Penerapan Extraction-Transformation-Loading (ETL) Dalam Data Warehouse (Studi Kasus : Departemen Pertanian)

Abstract

Proses Extraction-Transformation-Loading (ETL) pada pembangunan data warehouse berperan melakukan ekstraksi data dari berbagai sumber, pengubahan data ke bentuk yang sesuai dengan kebutuhan dan pengisian ke storage data warehouse. Termasuk di dalam fungsi ETL terdapat proses data cleansing yang menangani redundansi, inkonsistensi dan integritas data. Proses ETL akan mengisikan data dari sumber ke integration layer yang merupakan tempat data dari data warehouse tergabung dan terintegrasi. Dari integration layer, data dapat dikelompokkan dengan lingkup yang lebih kecil dan sesuai kebutuhan dalam repository lain yang disebut data mart. Program reporting dari data warehouse akan berhubungan dengan data mart sebagai sumber datanya.Penelitian ini merupakan bagian dari Penelitian berbasis profesi pembangunan data warehouse. Secara khusus Penelitian menangani proses ETL. Pada Penelitian ini dibangun metadata bagi proses ETL yang menyimpan definisi data sumber, data arget (data warehouse), dePenelitian keterhubungan antara data sumber dan data target, serta dePenelitian transformasi data dari data sumber ke data target. Dibangun juga program ETL dengan teknologi DTS pada SQL Server 2000 yang menggunakan metadata tersebut. Diharapkan dengan adanya metadata bagi proses ETL dapat dibangun program ETL yang memiliki tingkat reusability tinggi. Kesimpulan utama yang dapat diambil dari Penelitian ini adalah penggunaan proses ETL yang dinamis (menggunakan metadata ETL) sangat diperlukan apabila berhubungan dengan sistem operasional yang masih labil dan berkemungkinan besar mengalami perubahan skema basis data. Proses ETL dinamis juga diperlukan untuk menangani kebutuhan pengguna akan laporan yang bertambah.