Peran Pekerjaan: Insinyur Data

Insinyur data sangat diminati saat ini, tetapi terlalu banyak eksekutif dan lainnya memiliki pertanyaan besar tentang apa yang dilakukan para profesional ini.

Ada kebingungan yang signifikan di sekitar perbedaan antara insinyur perangkat lunak dan insinyur data, bersama dengan pertanyaan tentang bagaimana ilmuwan data dan insinyur data bekerja bersama. Faktor semua jenis proyek big data baru, termasuk pembelajaran mesin dan alat wawasan bisnis ke dalam campuran, dan Anda memiliki beberapa kebingungan yang signifikan tentang peran seorang insinyur data dan apa pekerjaan sehari-hari mereka mungkin terdiri dari. 

Peran Pemurnian Data 

Secara umum, insinyur data bertanggung jawab untuk bekerja dengan sistem data dan memperbaiki data agar sesuai dengan sistem tersebut, di mana seorang ilmuwan data memiliki peran yang sedikit berbeda dalam bekerja secara langsung dengan membersihkan dan mengatur kumpulan data besar.

Baca juga : Katalog Data dan Pembelajaran Mesin

Jika ada satu cara mudah untuk membedakan antara apa yang biasanya dilakukan oleh para ilmuwan data, dan apa yang biasanya dilakukan oleh para insinyur data, Anda dapat mengatakan bahwa ilmuwan data akan melihat data melalui lensa komprehensif sementara insinyur data akan melihat data melalui mata. dari database atau sistem pemrosesan data besar.

"Insinyur data ... mengkhususkan diri dalam menerjemahkan karya para ilmuwan data menjadi solusi perangkat lunak yang digerakkan keras untuk bisnis," kata Nima Negahban, CTO dan pendiri Kinetica, menjelaskan mengapa insinyur data akan banyak diminati di tahun-tahun mendatang. “Ini melibatkan pembuatan pengembangan AI yang mendalam , pengujian, devops , dan proses audit yang memungkinkan perusahaan untuk menggabungkan AI dan jalur pipa data pada skala di seluruh perusahaan. Pekerjaan menciptakan solusi perangkat keras dan data-driven itu adalah bagian utama dari apa yang menjadi perhatian para insinyur data di perusahaan modern. ”

Penggambaran itu - gagasan bahwa insinyur data bekerja secara langsung dengan sistem data besar , adalah cara kunci untuk memahami apa yang ditawarkan insinyur data kepada pemberi kerja.

Insinyur Data dan Lansekap Mengubah Data Besar

Sebagai pengelola sistem data besar dan pengaturan basis data, insinyur data akan sering memiliki pengetahuan dalam teknologi spesifik seperti Apache Hadoop .

Tetapi mereka juga akan cenderung tahu banyak tentang bagaimana sistem pemrosesan data besar ini telah berevolusi dan pesaing mana yang mendapatkan popularitas di dunia perusahaan saat ini.

Hanya beberapa tahun yang lalu, Apache Hadoop adalah standar emas untuk pemrosesan data besar. Insinyur data mengikat Hadoop ke alat-alat seperti YARN dan MapReduce dan menghasilkan sistem penanganan data yang terstruktur dan berkelompok.

Sekarang, Hadoop tampaknya kalah dari jenis sistem lainnya.

Dalam sebuah artikel beberapa bulan yang lalu di The New Stack yang berjudul “Will Kubernetes Sink the Hadoop Ship ?,” penulis Yaron Haviv mencatat bahwa pesaing Cloudera dan Hortonworks sekarang telah bergabung, dan bahwa alat-alat Apache baru seperti Spark mendorong Hadoop menuju semacam usang .

Selain itu, vendor cloud memiliki sistem pemrosesan data besar mereka sendiri, yang mungkin juga menarik bagi alur kerja insinyur data.

Gerakan ketiga dan sangat besar adalah menuju virtualisasi wadah . Dalam pengaturan wadah, berbagai wadah data berbagi sistem operasi inti dan menghadirkan permukaan serangan tipis, sekaligus memaksimalkan efisiensi di seluruh platform. Teknologi kontainer seperti Kubernetes telah mengambil alih banyak proyek yang dulu berjalan di Hadoop, dan sebelumnya, pada server basis data relasional sederhana .

“Salah satu keuntungan terbesar Kubernetes adalah portabilitasnya,” tulis Haviv, “memungkinkan pengguna untuk membangun cluster yang menjangkau beberapa cloud atau didistribusikan di seluruh lokasi. Portabilitas juga memfasilitasi pengembangan atau pengujian layanan mikro di cloud dan penyebaran di satu atau banyak lokasi tepi secara otomatis. "

Baca juga : Menimbang Pro dan Kontra Big Data

Insinyur Data: Menyempurnakan Data

Insinyur data juga memiliki peran kunci yang terkait dengan pengambilan data mentah dan membuatnya terstruktur. Para ilmuwan data dapat melakukan hal ini juga; namun, sekali lagi, insinyur data biasanya akan melihat pemurnian data mentah dan memfilternya ke dalam sistem basis data tertentu. Kalian dapat menganggap mereka sebagai "operator sistem" atau "pemilik sistem" dalam proses penyempurnaan data - mereka sering memikirkan pembersihan data dalam konteks lingkungan tertentu.

Di DataScienceGrulusanPrograms.com , sumber daya pengantar informatif menyoroti bagian dari sifat rekayasa data:

Insinyur data fokus pada aplikasi dan pemanenan data besar. Peran mereka tidak termasuk banyak analisis atau desain eksperimental. Sebaliknya, mereka berada di tempat karet bertemu dengan jalan ... menciptakan antarmuka dan mekanisme untuk aliran dan akses informasi.

Menyimpan Data

Perusahaan juga memiliki banyak pilihan dalam cara menyimpan data. Insinyur data mungkin bertanggung jawab untuk menilai jenis-jenis pilihan ini. Misalnya, mungkin lebih bermanfaat untuk menggunakan layanan penyimpanan vendor dari Amazon atau vendor lain. Model penyimpanan objek S3 dari Amazon menyediakan cara-cara baru untuk menangani informasi yang tersimpan yang berinovasi pada susunan redundant tradisional dari sistem disk independen (RAID) yang menjadi norma beberapa tahun yang lalu.

Insinyur Data sebagai Matchmaker

Seperti jenis peran lainnya, insinyur data juga memiliki peran untuk dimainkan dalam struktur organisasi, dan dalam mencoba memajukan bisnis dengan memastikan bahwa sasaran dan sasaran cocok dengan struktur yang ada.

Beberapa di antaranya memerlukan pencarian dari eksekutif atau pemangku kepentingan lainnya. Beberapa di antaranya mengharuskan memastikan bahwa middleware terhubung ke repositori data , atau bahwa sistem data besar dapat melakukan keajaibannya tanpa terbebani oleh kemacetan. Semua ini sering berada dalam lingkup insinyur data yang akan memindahkan data yang disempurnakan dan dikuratori melalui sistem IT spesifik dan model database dengan cara yang memfasilitasi tujuan bisnis inti.

Baca juga : Bagaimana pengaruh iklim terhadap Infrastruktur Data

Semua ini menunjukkan bagaimana para insinyur data sangat "penjaga gudang data" - ketika masalah berpotongan sifat data besar dan sistem yang memanfaatkan atau menyimpannya, mereka sering berada di depan dan pusat dalam respons bagan organisasi. Pikirkan tentang bagaimana insinyur data cocok dengan dunia bisnis saat ini, dan besok.