Studi Kasus

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Berikut merupakan studi kasus pengaplikasian Data Warehouse yang dilakukan di Desa Gembalan di Kabupaten Klungkung, dengan judul "PENERAPAN DATA WAREHOUSE DENGAN KONSEP SMART ECONOMIC DALAM BISNIS BUDIDAYA IKAN LELE DI DESA GEMBALAN KABUPATEN KLUNGKUNG DENGAN TEKNOLOGI CLOUD COMPUTING DENGAN MODEL LAYANAN SAAS DAN IAAS". Berikut link-nya:

https://drive.google.com/file/d/0B8od-Vsp1tEUWUc2ekFZUFhtVWs/view?usp=sharing

Data Mart, Data Warehouse, ETL, ELT, OLAP

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Dalam data warehouse, terdapat istilah data mart. Data mart adalah bentuk sederhana dari sebuah gudang data yang di kategorikan sesuai dengan kebutuhan pada objek tunggal atau area fungsional yang dibangun dan dikendalikan oleh departemen dalam sebuah organisasi, seperti sub-sub bagian dalam suatu usaha (marketing, inventory, penjualan, dll). Secara teknis dapat dikatakan bahwa data mart merupakan bagian dari data warehouse. Apabila data warehouse menyangkut keseluruhan data maka data mart merupakan sub-sub dari data warehouse. Data mart biasanya menggambar data dari beberapa sumber. Selain data warehouse, sumber bisa sistem operasional internal atau pusat data eksternal.

Dalam proses perubahan data  dikenal dengan proses ETL, yakni Extraction, Transformation, and Loading. Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut adalah penjelasan dari tiap proses.

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

1. Ekstraksi data secara otomatis dari aplikasi sumber.

2. Penyaringan atau seleksi data hasil ekstraksi.

3. Pengiriman data dari berbagai platform aplikasi ke sumber data.

4. Perubahan format layout data dari format aslinya.

5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut:

1. Memetakan data input dari skema data aslinya ke skema data warehouse.

2. Melakukan konversi tipe data atau format data.

3. Pembersihan serta pembuangan duplikasi dan kesalahan data.

4. Penghitungan nilai-nilai derivat atau mula-mula.

5. Penghitungan nilai-nilai agregat atau rangkuman.

6. Pemerikasaan integritas referensi data.

7. Pengisian nilai-nilai kosong dengan nilai default.

8. Penggabungan data.

Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL scriptsecara periodik. (Brigida Arie Minartiningtyas : ETL (Extraction, Transformation, Loading))

ELT (Extraction, Loading, Transformation) tidak jauh berbeda dengan ETL, hanya saja prosesnya tergantung dengan komputasi  database.  Pada ETL proses transformasi dibebankan ke utilitas di luar database sistem. Ini terutama jika database lebih kuat di storage tapi lemah di komputasinya. Sedangkan ELT maka proses transformasi dibebankan ke utilitas di dalam database sistem. Ini terutama jika memiliki mesin database yang komputasinya cukup kuat.

Kemudian setelah data diubah dan disimpan, maka proses berikutnya adalah proses pengolahan yang dilakukan oleh OLAP server. Dalam proses ini, data di proses sedemikian rupa sehingga akhirnya menghasilkan output berupa Informasi, Reporting, Query serta Data Mining yang nantinya dapat digunakan user sebagai expert system (sistem pakar), business intelligence, smart economic, big data, dll.

Untuk mempermudah dan mempertahankan ke-reliable-an sistem maka proses komputasi biasanya menggunakan teknologi Cloud Computing atau Big Data serta proses analisis yang juga dapat di lakukan di Cloud, ini termasuk layanan Cloud yang di sebut AaaS (Analytical as a Service).

Daftar Pustaka:

[1] Brigida Arie Minartiningtyas. 2014. ETL (Extraction, Transformation, Loading). http://informatika.web.id/etl-extraction-transformation-loading.htm . 11 Oct 2015

[2] Suroso, Aji, d.k.k.  2013. Data Mart.  https://adorable3b.wordpress.com/2013/01/27/data-mart/  . 14 Oct 2015

Data Warehouse dan Big Data

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Big Data
Sumber:http://www.fusionss.com/images/inner/big-data.png

Big data adalah sebuah teknologi yang digunakan untuk menyimpan, mengolah, dan menganalisis data dalam bentuk yang beragam, dalam jumlah yang besar, dan pertambahan datanya cepat, serta melakukan komputasi jumlah besar dalam waktu yang relatif singkat. Big data juga dapat berarti data dalam jumlah besar yang sudah di-cluster, di-defrag, dan kemudian digudangkan. 

Big data dan data warehouse memiliki peran penting dalam skenario pengolahan database besar. Data warehouse sendiri merupakan proses analisa dari penyimpanan data. Maksud dari analisa di sini adalah proses mengubah data mentah yang disimpan menjadi sebuah informasi yang dapat digunakan. Selain data warehouse terdapat juga data mining yang digunakan untuk menemukan informasi-informasi penting yang dapat membantu sebuah perusahaan dalam menentukan prospek kedepannya. Sedangkan Big data sendiri memiliki peran komputasi dalam skenario ini, kumpulan database skala besar (biasanya terabytes ke atas) agar dapat diolah dan dikelola secara maksimal.

Dalam data warehouse dan big data dapat menggunakan tool Oracle Database 12c. Yakni versi database oracle yang dapat memeberikan komputasi awan dan pengolahan data besar. Dalam proses processing-nya menggunakan komputasi tingkat tinggi yakni Apache Hadoop. Apache Hadoop merupakan framework  yang digunakan dalam proses pengolahan data skala besar dan dapat diperoleh dengan mudah. Kemudian peran pemrosesan data dilakukan OLAP dan proses transaksi dilakukan oleh OLTP (keduanya merupakan bagian data warehouse) kedua proses ini dapat dikatakan sebagai proses ETL (Extraction, Transformation, and Loading). Proses ini adalah proses yang harus dilakukan sebelum data dimuat ke dalam data warehouse yang terbagi menjadi ekstraksi (pengambilan) data dari berbagai sumber data, transformasi data mentah menjadi data yang sesuai dengan kaidah bisnis yang berlaku, serta pemuatan data ke dalam data warehouse itu sendiri. 

Proses komputasi data besar, sangat sulit dilakukan bahkan untuk sebuah super komputer sekalipun, namun hal ini akan sangat mudah apabila dilakukan oleh banyak komputer secara pararel meskipun dengan spekulasi komputer biasa. Disinilah peran Cloud Computing diperlukan, mengingat Cloud Computing merupakan teknologi pembagian sumber daya secara bersama-sama dan sesuai kebutuhan yang berbeda dengan teknologi sebelum-sebelumnya. Cloud computing menyediakan 3 model layanan yakni IaaS (Infrastructure as a Service), PaaS (Platform as a Service), dan SaaS (Software as a Service). Dalam kasus Oracle Database 12c, database dapat langsung di kirim ke Cloud menjadikannya DBaaS (Database as a Service). 

Daftar Pustaka

[1] Eka Pratama, I Putu Agus. Smart City Beserta Dengan Cloud Computing Dan Teknologi Teknologi Pendukung Lainnya. Informatika, Bandung. 2014.

[2] Bayu Permadi, Rahadiyan. 2014. Apa itu Big Data?. https://openbigdata.wordpress.com/2014/08/25/apa-itu-big-data/  .11 Oct 2015

[3] Minartiningtyas, Brigida Arie. 2012. ETL (Extraction, Transformation, Loading. http://informatika.web.id/etl-extraction-transformation-loading.htm  .11 Oct 2015

[4] Putra, Eko. 2013. Mengenal Database Oracle 12c. http://ilmudatabase.blogspot.com/2013/07/mengenal-database-oracle-12c.html#ixzz3oJA2CrsG  . 11 Oct 2015

Data Warehouse Dan Business Intelligence

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Peranan Data Warehouse dalam suatu aktifitas perusahaan atau instansi apapun itu jelas sangat penting. Selain sebagai media penyimpanan data, Data Warehouse juga berperan penting dalam berhasil atau tidaknya suatu usaha. Keberhasilan tersebut tidak hanya karena peranan dari SDM saja, namun juga dari sistem yang digunakan dalam membantu pengambilan keputusan itu sendiri. Dalam kasus ini yaitu BI atau Business Intelligence. 

Business Intelligence adalah tool atau teknik yang men-transform atau merubah data bisnis dengan tujuan membantu pengambilan suatu keputusan. Peranan BI sangat penting dalam menentukan keputusan dan strategi yang tepat dalam pasar. BI (Business Intelligence) berbeda dengan AI (Artificial Intelligence). AI (Artificial Intelligence) merupakan suatu bentuk kecerdasan buatan yang diciptakan untuk meniru suatu kepintaran ilmiah yang biasanya dimasukkan dalam mesin komputer guna meyelesaikan suatu masalah. Jika dilihat dari definisinya, perbedaan antara AI dan BI terlihat jelas yakni BI merupakan kecerdasan yang dibuat untuk membantu mengambil keputusan, dengan kata lain informasi apapun yang diberikan oleh sistem merupakan informasi mentah yang akan dipertimbangkan dalam menentukan strategi berikutnya. Sedangkkan AI (dalam hal ini kegunaannya sebagai sistem pakar atau expert system) merupakan kecerdasan yang dibuat menjadi penentu dari keputusan itu sendiri, artinya informasi yang diberikan bersifat mutlak dan harus dilakukan oleh pengguna sistem. Dengan kata lain BI membantu pengguna mengambil keputusan, sedangkan AI merupakan penentu atau pembuat dari keputusan.

Dalam suatu sistem, umumnya Data Warehouse, Business Intelligence, OLAP (Online Analytical Processing), Data Mining, dan Open Data sering digunakan dalam setiap pengolahan data bervolume besar untuk menjadi suatu informasi yang dibutuhkan oleh pengguna. Mereka memiliki peranan masing-masing dalam pengolahan suatu data agar menjadi suatu informasi yang berguna bagi pengguna. Data Warehouse sebagai analisa data, analisa di sini merupakan pengelompokan atau pemilahan data agar data tersebut mudah untuk digunakan lebih lanjut. Kemudian OLAP dan Data Mining, kedua bagian ini sama-sama sebagai tempat pemrosesan data yang utama, di bagian ini data akan diproses dan dianalisis kemudian akan ditemukan beberapa informasi yang dapat digunakan sebagai pengambilan suatu keputusan. Seluruh informasi tersebutlah yang akan ditampilkan dalam Bussiness Intelligence sehingga dapat ditentukan kebijakan atau strategi apa yang akan dijalankan kedepannya. Open data sendiri jarang digunakan karena biasanya hanya digunakan dalam suatu instansi bukan bisnis karena sifatnya yang terbuka dan bebas untuk disebar luaskan namun harus mencantumkan sumber datanya.

Dalam Data Warehouse terdapat tiga jenis arsitektur yakni arsitektur Central, Federated, dan Tiered. Arsitektur Central seperti namanya, client dan sumber data langsung disimpan dalam sebuah Data Warehouse tanpa adanya Database perantara antara client dengan Data Warehouse. Sementara arsitektur Federated adalah kebalikan dari Central, yakni dimana antara client dan Data Warehouse terdapat Database dari setiap client yang nantinya akan disimpan ke sebuah Data Warehouse. Sedangkan arsitektur Tiered, seperti definisinya yaitu terikat, arsitektur ini terikat pada sebuah client yang menjadi acuan utama dalam integrasi data, client inilah yang menjadi pusat dan akan berakhir di suatu Data Warehouse. Untuk lebih jelasnya lihat gambar:

Arsitektur Data Warehouse

Daftar Pustaka

[1] Wikipedia (Indonesia). Kecerdasan Buatan. https://id.wikipedia.org/wiki/Kecerdasan_buatan . 24 Sept 2015

[2] Rencana IT. FAQ Data Mining. 2013. https://rencanait.wordpress.com/2010/03/05/faq-data-mining/ . 24 Sept 2015

Data Warehouse, OLAP, dan OLTP

Oleh

Ida Bagus Brama Barnawa/1304505079

Jurusan Teknologi Informasi Fakultas Teknik Univeristas Udayana

Data Warehouse

Dosen Pengampu

I Putu Agus Eka Pratama S.T., M.T.

Konsep Data Warehouse

Sumber: http://savis.vn/wp-content/uploads/2014/08/data-warehouse.jpg

OLAP dan OLTP memiliki kaitan yang erat dengan Data warehouse. Sebelum memahami apa itu OLAP dan OLTP maka perlu memahami terlebih dahulu mengenai Data warehouse, dan berikut merupakan beberapa pendapat para ahli mengenai Data warehouse:

• Menurut W.H. Inmon dan Richard D.H., adalah Data warehousing adalah koleksi data yang mempunyai sifat berorientasi subjek, erintegrasi, time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management.
• Menurut Vidette Poe, adalah data warehousing merupakan basisdata yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.
• Menurut Paul Lane, adalah data warehousing merupakan basisdata relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya. Data warehousing memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan organisasi menggabung/konsolidasi data dari berbagai macam sumber.

Dari definisi-definisi para ahli tadi, yang dapat disimpulkan data warehouse adalah basis data yang saling berhubungan dan dapat diambil suatu data yang dapat diolah menjadi informasi, serta bersifat orientasi subjek, terintegrasi, time variant, tidak berubah yang juga dapat digunakan untuk membantu pengambil keputusan. (Dewangga Pramananda : Konsep Data warehouse Serta Pengertian OLAP dan OLTP).

OLAP vs OLTP

Sumber: http://datawarehouse4u.info/images/olap_vs_oltp.jpg 

OLAP (Online Analytical Processing)

Online Analytical Processing atau Proses Analisis Online merupakan suatu perangkat lunak yang digunakan untuk memproses dan menganalisis suatu data multidimensi bervolume besar yang bertujuan untuk mengatasi keterbatasan basis data relasional sehingga dapat memperoleh suatu informasi yang dibutuhkan pengguna dari berbagai perspektif. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

Desain database dalam OLAP adalah database yang denormalisasi. De-normalized dengan sedikit tabel dan menggunakan star/showflake schemas. OLAP menggunakan dimensional mode. Perancangan dan penerapan dimensional model dilakukan pada data warehouse untuk di ambil dan dianalisis oleh OLAP. Dimensional model merupakan permodelan data yang terdiri dari tabel dimensi dan tabel fact yang relasianya dapat di gambarkan pada star scema, tabel fact merupakan tabel utama dalam dimensional model yang berisi pengukuran nilai angka dari bisnis yang disimpan. Tabel dimensi merupakan tabel perlengkapan dari tabel fact yang berisi penjelasan tekstuan dari bisnis. Keuntungan dari dimensional model ialah memisahkan rancangan logika tabel dengan tipe query yang di gunakan pengguna. keuntungan lainya pengguna dimensional model ialah kemudahan pengawasan terhadap penambahan data kemudian penambahan kolom dan rancangan baru serta menagani pergantian kebutuhan bisnis. 

OLAP sendiri merupakan bagian dari Business Intelligencey yang berguna untuk menyediakan laporan analisis, seperti penjualan, marketing, BPM (Business Process Management), budgeting, forecasting, keuangan dan sebagainya. (Adi Wira : Perbedaan OLTP dengan OLAP)

OLTP (Online Transaction Processing)

Online Transaction Processing atau Proses Transaksi Online adalah suatu aplikasi yang digunakan untuk memanipulasi data (insert, delete, update) dalam suatu transaksi. Biasanya OLTP digunakan pada perusahaan-perusahaan atau lembaga lain untuk memanipulasi data mereka guna menjalankan tugas sehari-hari. Hal ini berarti data tersebut bersifat asli dan akan terus di-update (baik itu ditambah, dihapus, maupun dirubah). Biasanya kapasitas space yang digunakan untuk menyimpan data relatif kecil. Mengingat query yang digunakan cukup sederhana, hal ini membuat kecepatan prosesnya relatif cepat.  Salah satu keunggulan dari OLTP yang lain adalah data tersebut dapat disimpan ke dalam beberapa platform sehingga memungkinkan berbagai aplikasi untuk memanipulasi data tersebut.

Desain database dalam OLTP bersifat Entity Relational atau database-nya dinormalisasi dulu sebelum digunakan. Database untuk mendukung OLTP adalah database yang normal. OLTP mengunakan data model ER untuk melihat transaksi sebagai proses model yang tunggal dan sinormalisaionel untuk menjaga integritas data. Karena sudah dinormalisasikan, maka data tersebut jadi lebih mudah di ambil dan dianalisis.  Rancangan OLTP mengharuskan perancangan logika tabel dan tipe query secara bersama-sama agar tabel tersebut dapat terakses dengan cepat.

DAFTAR PUSTAKA:

[1] Resti. 2013. Perbedaan OLAP dan OLTP. http://tehnikinformatia.blogspot.com/2013/07/perbedaan-olap-dan-oltp.html . 12 Sept 2015

[2] Wira, Adi. 2008. Perbedaan OLTP Dengan OLAP. https://adiwira058.wordpress.com/2008/12/09/perbedaan-oltp-dengan-olap/ . 11 Sept 2015

[3] Pramananda, Dewangga.  2014. Konsep Datawarehouse Serta Pengertian OLAP dan OLTP. http://dundungismyblog.blogspot.com/2014/09/data-warehouse-oltp-dan-olap-simak.html . 11 Sept 2015

[4]Putri, Alifianti. 2014. Data Warehouse, OLTP dan OLAP, Fact dan Dimension Table.

 http://datawarehouse12.blogspot.com/2014/12/data-warehouse-oltp-dan-olap-fact-dan.html . 11 Sept 2015