Data Preparation dan Data Visualization

  •  Data Preparation

Data preparation adalah proses mempersiapkan data mentah menjadi format yang sesuai untuk analisis dan pemodelan. Langkah-langkah dalam data preparation meliputi:

  1. Data Collection: Mengumpulkan data dari berbagai sumber.
  2. Data Cleaning: Menghilangkan atau memperbaiki data yang hilang, duplikat, atau tidak konsisten.
  3. Data Transformation: Mengubah data ke format yang diinginkan, seperti normalisasi, encoding, atau scaling.
  4. Data Integration: Menggabungkan data dari berbagai sumber.
  5. Data Reduction: Mengurangi volume data dengan teknik seperti seleksi fitur atau penghapusan sampel.
Contoh Data Preparation:
Sebulum melakukan preparation data, kita terlebih dahulu mengimport library yang sekiranya nanti akan digunakan. Berikut library yang digunakan:

Pertama-tama, dilakukan impor library yang diperlukan yaitu 'pandas' sebagai 'pd' dan 'numpy' sebagai 'np'.


Kemudian data dibaca dari URL CSV menggunakan 'pd.read_csv(url)' dan disimpan dalam variabel 'data'.


Menampilkan beberapa baris pertama dari data yang telah dibaca menggunakan pandas. Baris kode 'print(data.head())' ini mengambil lima baris pertama dari DataFrame 'data' dan mencetaknya ke layar. Ini berguna untuk mendapatkan gambaran awal tentang struktur dan isi dari data yang telah dibaca.

Untuk memeriksa apakah terdapat nilai yang hilang dalam data, digunakan 'data.isnull().sum(),' yang menghitung jumlah nilai null dalam setiap kolom.


Kemudian baris yang mengandung nilai yang hilang dihapus menggunakan 'data.dropna()', dan hasilnya disimpan dalam 'data_cleaned'.

Selanjutnya, dilakukan encoding pada kolom 'species' menjadi data numerik. Ini dilakukan dengan mengubah kolom tersebut menjadi kategori menggunakan .astype('category') dan kemudian mengubahnya menjadi kode numerik menggunakan .cat.codes.

Tahap terakhir data dinormalisasi menggunakan MinMaxScaler dari sklearn.preprocessing. Normalisasi dilakukan pada kolom 'sepal_length', 'sepal_width', 'petal_length', dan 'petal_width'. Kemudian data yang telah di-normalisasi dicetak menggunakan print(data_cleaned.head()) untuk melihat beberapa baris pertama dari data yang telah diproses.

  • Data Visualization
Data visualization adalah proses menyajikan data dalam bentuk grafis seperti grafik, diagram, atau peta sehingga lebih mudah dipahami dan dianalisis. Alat yang sering digunakan untuk visualisasi data dalam Python adalah Matplotlib dan Seaborn.

Contoh Data Visualization:
Sebulum melakukan visualizatio data, kita terlebih dahulu mengimport library yang sekiranya nanti akan digunakan. Berikut library yang digunakan:


Pertama-tama, dilakukan impor library yang diperlukan yaitu 'pandas' sebagai 'pd' untuk manipulasi data. Kemudian matplotlib.pyplot digunakan untuk membuat plot dan visualisasi data dan seaborn digunakan untuk membuat visualisasi data yang lebih menarik dan mudah dibaca.

Selanjutnya menggunakan sns.load_dataset('iris') untuk memuat dataset iris yang merupakan salah satu dataset yang tersedia di seaborn. Dataset ini berisi data mengenai tiga spesies bunga iris beserta beberapa fitur seperti panjang dan lebar sepal dan petal.

Untuk melihat beberapa baris data iris.head() digunakan untuk menampilkan lima baris pertama dari dataset untuk memastikan bahwa data telah dimuat dengan benar.


Kemudian menghitung berapa jumlah spesies pada data bunga iris menggunakan iris['species'].value_counts() dan menghitung jumlah kemunculan masing-masing spesies dalam dataset dan menyimpannya dalam variabel species_count.


Selanjutnya membuat diagram batang menggunakan plt.figure(figsize=(4, 3)) membuat kanvas untuk plot dengan ukuran 4x3 inci. Dan species_count.plot(kind='bar', color=['blue', 'green', 'red']) untuk membuat diagram batang berdasarkan jumlah spesies. Setiap batang diwarnai dengan warna biru, hijau, dan merah.

Kemudian menambahkan judul dan label menggunkan kode plt.title('Distribusi Spesies Iris') menambahkan judul pada diagram batang. Lalu plt.xlabel('Spesies') digunkakan untuk menambahkan label pada sumbu x. dan plt.ylabel('Jumlah') menambahkan label pada sumbu y.


Menampilkan diagram batang yang bertujuan untuk memvisualisasikan distribusi jumlah spesies bunga iris dalam dataset dengan menggunakan diagram batang.






Komentar

Posting Komentar

Postingan populer dari blog ini

QUIZ DATA MINING 1107

Nama     : Siti  Alia Azhaar Kelas     : IF21D Nim        : 21416255201107  1. Integrasi dan Pembersihan Data. Cari IPS setiap semester permahasiswa. ini bisa memudahkan untuk normalisasi data Gabungkan IPS permahasiswa dengan dataset yang lainya ("ms_lulusan") berdasarkan NIM. Tambahkan hasil dari durasi studi masing-masing mahasiswa Lakukan pembersihan data, termasuk mengidentifikasi dan mengatasi nilai yang hilang atau tidak konsisten dalam data. Hilangkan mahasiswa pindahan. Standardisasi format tanggal dan jenis kelamin untuk analisis lebih lanjut. 2. Analisis Cari pola atau tren yang paling mempengaruhi dengan lulusan tepat waktu atau lama masa studi, misal : Analisis apakah ada hubungan antara nilai rata-rata mata kuliah atau IPS dengan lulusan tepat waktu.  Analisis apakah ada korelasi positif antara predikat kelulusan 'Pujian' dengan lulusan tepat waktu Analisis untuk melihat apakah durasi studi lebih pendek berkorelasi dengan predikat kelulusan yang lebih ba
Baca selengkapnya

Supervised Learning (Prediksi) & Algoritma

Gambar
Supervised learning untuk tugas prediksi sering merujuk pada regresi, di mana tujuan model adalah memprediksi nilai kontinu berdasarkan input yang diberikan. Model dibangun menggunakan data yang sudah diberi label, di mana setiap sampel data memiliki fitur (input) dan nilai target (output) yang diketahui. Berikut adalah penjelasan mengenai supervised learning untuk tugas prediksi dan beberapa algoritma yang umum digunakan: Supervised Learning (Prediksi) Supervised learning untuk prediksi adalah metode di mana model dilatih untuk memprediksi nilai keluaran kontinu berdasarkan input data. Data yang digunakan untuk melatih model terdiri dari pasangan input-output. Tujuan model adalah untuk mempelajari hubungan antara input dan output sehingga dapat memprediksi output untuk data baru yang belum pernah dilihat sebelumnya. Algoritma untuk Prediksi Berikut adalah 30 algoritma yang sering digunakan dalam supervised learning untuk tugas prediksi: Linear Regression : Algoritma dasar untuk memode
Baca selengkapnya

Supervised Learning (Klasifikasi) & Algoritma

Gambar
 SUPERVISED LEARNING Supervised learning adalah salah satu metode dalam machine learning di mana model dilatih menggunakan data yang sudah diberi label. Data latih terdiri dari input (fitur) dan output (label atau target) yang benar. Tujuan dari supervised learning adalah untuk membuat model yang dapat memprediksi label yang benar untuk data baru yang belum pernah dilihat sebelumnya. Salah satu tugas utama dalam supervised learning adalah klasifikasi, di mana tujuan model adalah untuk mengklasifikasikan data input ke dalam kategori yang telah ditentukan. Berikut adalah penjelasan singkat mengenai beberapa algoritma yang termasuk dalam supervised learning untuk tugas klasifikasi, serta beberapa algoritma terkenal: Linear Regression : Meskipun lebih sering digunakan untuk regresi, linear regression juga bisa digunakan untuk klasifikasi dengan threshold tertentu. Logistic Regression : Digunakan untuk klasifikasi biner, logistic regression memodelkan probabilitas dari kelas yang mungkin.
Baca selengkapnya