admin@haafa.my.id

Perkembangan Teknologi Big Data Dan Manfaatnya


Perkembangan Teknologi Big Data Dan Manfaatnya

Perkembangan Teknologi Big Data Dan Manfaatnya

Perkembangan Teknologi Big Data Dan Manfaatnya

Perkembangan teknologi big data dan manfaatnya . Industri 4.0 berkembang pesat beberapa teknologi, antara lain data science , artificial intelligence (AI), Internet of Thought (IoT), dan big data . Keempat teknologi tersebut saling berhubungan.

Data science mengembangkan pesan karena didukung tidak hanya oleh metode statistik tetapi juga oleh metode berbasis AI. Metode berbasis AI berkembang pesat dan semakin akurat karena didukung oleh ketersediaan data dalam jumlah besar (sering disebut sebagai corpora ).

Kekayaan data disebabkan oleh penggunaan IoT di masyarakat kita. Kemampuan untuk menerima, menyimpan, dan memproses data yang kaya ini menjadi mungkin berkat adanya teknologi big data .

Midup edisi kali ini membahas tentang teknologi big data yang merupakan salah satu teknologi kunci di era Industri 4.0. Diskusi dimulai dengan menjawab beberapa pertanyaan tentang big data, kemudian teknologi big data dan ekosistemnya. Diskusi diakhiri dengan pengenalan laboratorium big data dalam kurikulum Teknik Informatika UNPAR. Yuk ikuti uraian berikut ini.

Masalah data besar

Apa itu data besar? Dari berbagai pertimbangan yang dikumpulkan dalam penelitian (De Mauro et al., 2016), big data didefinisikan sebagai aset informasi yang dicirikan oleh karakteristik 3v, yaitu: volume besar, kecepatan dan keragaman , yang memerlukan metode dan teknologi tertentu untuk mengolahnya dalam pengetahuan ( pengetahuan penting dalam pengambilan keputusan.

Aset informasi penting karena data dianggap bernilai tinggi bagi organisasi, seperti halnya aset lainnya (mesin, bahan, orang, modal, dan metode) dan dapat dinilai (dinilai dalam istilah moneter).

Mengapa fenomena big data berkembang pesat?

Konsep hierarki data-informasi-pengetahuan-kebijaksanaan (DIKW) (Rowley, 2007), atau sering disebut sebagai hierarki kebijaksanaan, memberikan alasan yang masuk akal mengapa fenomena big data begitu maju. Dengan besarnya potensi data yang ada saat ini dan di masa yang akan datang, terdapat juga potensi besar untuk mentransformasikan informasi yang ada menjadi pengetahuan sehingga dapat mengoptimalkan pengambilan keputusan ( wisdom ).

Oleh karena itu, jika big data dapat ditangani dengan baik, akan sangat bermanfaat bagi organisasi, terutama jika menjadi lebih bijak dalam mengambil keputusan data ( data ) sehingga fleksibel dalam mengambil keputusan di lingkungan yang berubah dengan cepat.

Data besar memiliki karakteristik volume yang tinggi , dari terabyte hingga zetabytes . Hal ini berimplikasi pada kapasitas penyimpanan dan pemrosesan data yang tidak dapat diproses oleh teknologi dan teknik informasi konvensional modern. Metode dan teknik penyimpanan yang digunakan saat ini mengarah pada pemrosesan paralel dalam lingkungan sistem terdistribusi, baik dalam hal media penyimpanan maupun pemrosesan.

kecepatan big data mengubah cara pandang pemrosesan data batch menjadi pemrosesan dinamis. Dengan demikian, data tidak lagi dilihat secara statis, tetapi dinamis sebagai arus . Selain sebagai aliran data , big data juga dikaitkan dengan pemindahan data dalam jumlah besar (moving large amount ), seperti data spasial, gambar, dan lainnya.

Data besar berasal dari berbagai peristiwa. Semua aktivitas kami, yang menggunakan komputer, gadget, sensor, dan peralatan lain (IoT), menghasilkan data besar . Selain berbagai sumber, dari segi struktur juga berbeda, mulai dari yang terstruktur, seperti: data transaksi (pasar uang, e-commerce, dll), semi terstruktur atau tidak terstruktur, seperti: gambar, teks opini di jejaring sosial dan halaman web di Internet. Untuk alasan ini, teknik dan teknologi diperlukan untuk mengintegrasikan data besar dari sumber yang berbeda dan dari format yang berbeda ini.

Apa masalah utama dari data besar?

Masalah utama dengan data besar dikenal sebagai fenomena aliran data , sebuah fenomena di mana tingkat pertumbuhan data lebih tinggi dari tingkat kemampuan organisasi untuk memproses dan menganalisis data. Oleh karena itu, saat memproses dan menganalisis data, kita membutuhkan lebih banyak teknologi non-tradisional.

Kita membutuhkan teknologi yang dapat mengimbangi peningkatan pertumbuhan data dari waktu ke waktu dan peningkatan penggunaan teknologi informasi dan komunikasi.

Teknologi data besar

data besar adalah teknologi khusus yang dirancang untuk memecahkan masalah data besar . Penyimpanan terdistribusi dan teknik pemrosesan digunakan untuk memecahkan masalah volume dalam teknologi data besar .

Masalah kecepatan diselesaikan dengan aliran dan pemrosesan terdistribusi. Sedangkan masalah keragaman diselesaikan melalui metode integrasi data dan penyimpanan data tidak terstruktur ( saat menulis ). Struktur ditentukan dalam proses pembacaan data ( saat membaca ).

Teknologi big data yang banyak digunakan saat ini adalah teknologi Hadoop. Hadoop awalnya dikembangkan oleh Google (Ghemawat et al., 2003), kemudian menjadi proyek Apache independen. Prinsip dasar teknologi Hadoop adalah penyimpanan terdistribusi dan pemrosesan komputer komoditas jaringan (sering disebut sebagai cluster ).

Inti dari teknologi Hadoop adalah Hadoop Distributed File System (HDFS) for Distributed Data Storage dan Map Reduce untuk Distributed Data Processing, yang dilakukan pada komputer ( cluster node ) tempat data disimpan. Untuk menyelesaikan berbagai masalah komputasi, Hadoop didukung oleh berbagai teknologi, yang secara bersama-sama sering disebut sebagai ekosistem Hadoop ( ekosistem Hadoop ).

Laboratorium Big Data dalam Kurikulum Ilmu Komputer UNPAR

Untuk mendukung kegiatan perkuliahan, disertasi, dan penelitian di bidang ilmu data , kurikulum Teknik Informatika dilengkapi dengan laboratorium data yang besar. Laboratorium ini menyediakan fasilitas komputasi dengan prosesor 80-core, memori 320 GB (gigabytes ) dan memori 32 TB ( terabytes ).

Fasilitas-fasilitas tersebut secara fisik direpresentasikan dalam bentuk komputer (PC) berperforma tinggi yang terhubung dalam suatu jaringan yang membentuk suatu kompleks komputasi terpadu ( cluster ). Selain itu, ekosistem Hadoop sudah terpasang dan siap digunakan, misalnya: HDFS untuk sistem penyimpanan skala besar, Yarn / Map Reduce untuk pemrosesan skala besar dan Spark untuk pemrosesan paralel, yang membutuhkan memori skala besar.

Disediakan juga software HBase untuk pengolahan database dan Hive untuk data warehousing dan multidimensional query, yang dilengkapi dengan software lain untuk pengisian data (crawling ) , transfer data antar sistem dan analisis. Perangkat lunak server web Apache, PHP dan MySQL juga disediakan untuk menerbitkan dan menganalisis antarmuka hasil.

Dengan demikian, Laboratorium Big Data merupakan fasilitas penting yang mendukung pengembangan program ilmu data dalam kurikulum ilmu komputer pada khususnya dan UNPAR pada umumnya. Menjadi wadah bagi dosen dan mahasiswa untuk mengembangkan kompetensi di bidang data science .