Data Mart, Data Warehouse, ETL, ELT, OLAP

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Dalam data warehouse, terdapat istilah data mart. Data mart adalah bentuk sederhana dari sebuah gudang data yang di kategorikan sesuai dengan kebutuhan pada objek tunggal atau area fungsional yang dibangun dan dikendalikan oleh departemen dalam sebuah organisasi, seperti sub-sub bagian dalam suatu usaha (marketing, inventory, penjualan, dll). Secara teknis dapat dikatakan bahwa data mart merupakan bagian dari data warehouse. Apabila data warehouse menyangkut keseluruhan data maka data mart merupakan sub-sub dari data warehouse. Data mart biasanya menggambar data dari beberapa sumber. Selain data warehouse, sumber bisa sistem operasional internal atau pusat data eksternal.

Dalam proses perubahan data  dikenal dengan proses ETL, yakni Extraction, Transformation, and Loading. Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut adalah penjelasan dari tiap proses.

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

1. Ekstraksi data secara otomatis dari aplikasi sumber.

2. Penyaringan atau seleksi data hasil ekstraksi.

3. Pengiriman data dari berbagai platform aplikasi ke sumber data.

4. Perubahan format layout data dari format aslinya.

5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut:

1. Memetakan data input dari skema data aslinya ke skema data warehouse.

2. Melakukan konversi tipe data atau format data.

3. Pembersihan serta pembuangan duplikasi dan kesalahan data.

4. Penghitungan nilai-nilai derivat atau mula-mula.

5. Penghitungan nilai-nilai agregat atau rangkuman.

6. Pemerikasaan integritas referensi data.

7. Pengisian nilai-nilai kosong dengan nilai default.

8. Penggabungan data.

Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL scriptsecara periodik. (Brigida Arie Minartiningtyas : ETL (Extraction, Transformation, Loading))

ELT (Extraction, Loading, Transformation) tidak jauh berbeda dengan ETL, hanya saja prosesnya tergantung dengan komputasi  database.  Pada ETL proses transformasi dibebankan ke utilitas di luar database sistem. Ini terutama jika database lebih kuat di storage tapi lemah di komputasinya. Sedangkan ELT maka proses transformasi dibebankan ke utilitas di dalam database sistem. Ini terutama jika memiliki mesin database yang komputasinya cukup kuat.

Kemudian setelah data diubah dan disimpan, maka proses berikutnya adalah proses pengolahan yang dilakukan oleh OLAP server. Dalam proses ini, data di proses sedemikian rupa sehingga akhirnya menghasilkan output berupa Informasi, Reporting, Query serta Data Mining yang nantinya dapat digunakan user sebagai expert system (sistem pakar), business intelligence, smart economic, big data, dll.

Untuk mempermudah dan mempertahankan ke-reliable-an sistem maka proses komputasi biasanya menggunakan teknologi Cloud Computing atau Big Data serta proses analisis yang juga dapat di lakukan di Cloud, ini termasuk layanan Cloud yang di sebut AaaS (Analytical as a Service).

Daftar Pustaka:

[1] Brigida Arie Minartiningtyas. 2014. ETL (Extraction, Transformation, Loading). http://informatika.web.id/etl-extraction-transformation-loading.htm . 11 Oct 2015

[2] Suroso, Aji, d.k.k.  2013. Data Mart.  https://adorable3b.wordpress.com/2013/01/27/data-mart/  . 14 Oct 2015

Data Warehouse dan Big Data

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Big Data
Sumber:http://www.fusionss.com/images/inner/big-data.png

Big data adalah sebuah teknologi yang digunakan untuk menyimpan, mengolah, dan menganalisis data dalam bentuk yang beragam, dalam jumlah yang besar, dan pertambahan datanya cepat, serta melakukan komputasi jumlah besar dalam waktu yang relatif singkat. Big data juga dapat berarti data dalam jumlah besar yang sudah di-cluster, di-defrag, dan kemudian digudangkan. 

Big data dan data warehouse memiliki peran penting dalam skenario pengolahan database besar. Data warehouse sendiri merupakan proses analisa dari penyimpanan data. Maksud dari analisa di sini adalah proses mengubah data mentah yang disimpan menjadi sebuah informasi yang dapat digunakan. Selain data warehouse terdapat juga data mining yang digunakan untuk menemukan informasi-informasi penting yang dapat membantu sebuah perusahaan dalam menentukan prospek kedepannya. Sedangkan Big data sendiri memiliki peran komputasi dalam skenario ini, kumpulan database skala besar (biasanya terabytes ke atas) agar dapat diolah dan dikelola secara maksimal.

Dalam data warehouse dan big data dapat menggunakan tool Oracle Database 12c. Yakni versi database oracle yang dapat memeberikan komputasi awan dan pengolahan data besar. Dalam proses processing-nya menggunakan komputasi tingkat tinggi yakni Apache Hadoop. Apache Hadoop merupakan framework  yang digunakan dalam proses pengolahan data skala besar dan dapat diperoleh dengan mudah. Kemudian peran pemrosesan data dilakukan OLAP dan proses transaksi dilakukan oleh OLTP (keduanya merupakan bagian data warehouse) kedua proses ini dapat dikatakan sebagai proses ETL (Extraction, Transformation, and Loading). Proses ini adalah proses yang harus dilakukan sebelum data dimuat ke dalam data warehouse yang terbagi menjadi ekstraksi (pengambilan) data dari berbagai sumber data, transformasi data mentah menjadi data yang sesuai dengan kaidah bisnis yang berlaku, serta pemuatan data ke dalam data warehouse itu sendiri. 

Proses komputasi data besar, sangat sulit dilakukan bahkan untuk sebuah super komputer sekalipun, namun hal ini akan sangat mudah apabila dilakukan oleh banyak komputer secara pararel meskipun dengan spekulasi komputer biasa. Disinilah peran Cloud Computing diperlukan, mengingat Cloud Computing merupakan teknologi pembagian sumber daya secara bersama-sama dan sesuai kebutuhan yang berbeda dengan teknologi sebelum-sebelumnya. Cloud computing menyediakan 3 model layanan yakni IaaS (Infrastructure as a Service), PaaS (Platform as a Service), dan SaaS (Software as a Service). Dalam kasus Oracle Database 12c, database dapat langsung di kirim ke Cloud menjadikannya DBaaS (Database as a Service). 

Daftar Pustaka

[1] Eka Pratama, I Putu Agus. Smart City Beserta Dengan Cloud Computing Dan Teknologi Teknologi Pendukung Lainnya. Informatika, Bandung. 2014.

[2] Bayu Permadi, Rahadiyan. 2014. Apa itu Big Data?. https://openbigdata.wordpress.com/2014/08/25/apa-itu-big-data/  .11 Oct 2015

[3] Minartiningtyas, Brigida Arie. 2012. ETL (Extraction, Transformation, Loading. http://informatika.web.id/etl-extraction-transformation-loading.htm  .11 Oct 2015

[4] Putra, Eko. 2013. Mengenal Database Oracle 12c. http://ilmudatabase.blogspot.com/2013/07/mengenal-database-oracle-12c.html#ixzz3oJA2CrsG  . 11 Oct 2015