DATA MINING

  •  PROSES DAN TAHAPAN DALAM DATA  MINING

  1. Pengumpulan Data : Tahap ini mencakup pengumpulan data dari berbagai sumber yang berkaitan dengan masalah yang akan dianalisis. Sumber data dapat meliputi database internal perusahaan, data historis, data pelanggan, data transaksi, sensor, atau data eksternal seperti media sosial. Penting untuk memilih data yang mencakup variabel yang relevan dan mencerminkan aspek yang ingin dipelajari.
  2. Pembersihan Data : Setelah data dikumpulkan, langkah berikutnya adalah membersihkan data dari kesalahan, duplikasi, atau nilai yang hilang. Proses ini mencakup identifikasi dan penanganan nilai yang hilang, penghapusan entri duplikat, penanganan outlier, serta koreksi kesalahan atau ketidakakuratan dalam data. Pembersihan data yang efektif sangat penting untuk memastikan kualitas data yang baik sebelum analisis dilakukan.
  3. Integrasi Data : Jika data berasal dari berbagai sumber yang berbeda, tahap ini melibatkan penggabungan data tersebut menjadi satu set data yang utuh. Proses ini dapat melibatkan penggabungan data berdasarkan kunci utama atau atribut unik, atau menggunakan metode lain yang sesuai. Integrasi data memungkinkan analisis yang lebih menyeluruh dan komprehensif.
  4. Transformasi Data : Tahap ini melibatkan transformasi data ke dalam format yang sesuai untuk analisis lebih lanjut. Ini bisa mencakup normalisasi data untuk menghilangkan bias skala, pengkodean variabel kategorikal ke dalam format yang cocok untuk analisis, pemilihan dan penyesuaian fitur, atau transformasi lain yang diperlukan. Tujuan dari tahap ini adalah mempersiapkan data agar dapat dianalisis dengan algoritma dan metode data mining yang sesuai.
  5. Data Mining : Tahap inti dari proses data mining ini melibatkan penerapan berbagai teknik dan algoritma pada data yang telah dipersiapkan. Teknik-teknik ini mencakup eksplorasi data, pengelompokan (clustering), klasifikasi, regresi, asosiasi, dan lainnya. Tujuan dari tahap ini adalah untuk mengidentifikasi pola, hubungan, atau wawasan tersembunyi dalam data yang dapat digunakan untuk analisis atau pengambilan keputusan yang lebih baik.
  6. Evaluasi dan Interpretasi Hasil : Setelah proses mining selesai, hasilnya dievaluasi dan diinterpretasikan. Evaluasi bertujuan untuk mengukur kualitas model atau temuan yang diperoleh dari data mining, menggunakan metrik yang sesuai seperti akurasi, presisi, recall, atau metrik lain yang relevan sesuai dengan jenis analisis yang dilakukan. Hasil tersebut kemudian diinterpretasikan untuk mendapatkan wawasan yang bermakna dan informasi yang dapat diterapkan dalam konteks bisnis atau tujuan analisis yang telah ditentukan.

  • CRISP-DM (Cross-Industry Standard Process for Data Mining)


CRISP-DM, SEMMA, dan konsep CCC adalah kerangka kerja dan pendekatan penting dalam bidang data mining dan ilmu komputer. Berikut adalah penjelasan terperinci untuk masing-masing :

CRISP-DM (Cross-Industry Standard Process for Data Mining): CRISP-DM adalah metodologi yang paling umum digunakan untuk proyek data mining, analitik, dan ilmu data. Berikut adalah tahapan-tahapan dalam CRISP-DM :
  1. Pemahaman Bisnis (Business Understanding): Proses ini melibatkan pemahaman terhadap tujuan bisnis dan masalah yang ingin diselesaikan melalui penggunaan data mining. Ini mencakup mendefinisikan tujuan proyek, kebutuhan bisnis, dan kriteria keberhasilan yang relevan.
  2. Pemahaman Data (Data Understanding): Pada tahap ini, terlibat dalam pengumpulan data yang relevan untuk proyek, serta pemahaman terhadap karakteristik, kualitas, dan kesesuaian data tersebut dengan tujuan bisnis. Analisis awal data juga dilakukan pada tahap ini.
  3. Persiapan Data (Data Preparation): Pada tahap ini, persiapan data dilakukan untuk analisis dengan melakukan pembersihan data, integrasi data dari berbagai sumber, pemilihan atribut atau fitur yang relevan, serta transformasi data sesuai dengan kebutuhan analisis.
  4. Modeling: Tahap ini terlibat dalam pembangunan model prediktif atau deskriptif menggunakan berbagai teknik data mining, seperti klasifikasi, regresi, pengelompokan, atau asosiasi. Berbagai model diuji dan dievaluasi untuk memilih yang paling sesuai dengan tujuan proyek.
  5. Evaluasi: Model yang dibangun dievaluasi secara kritis untuk memastikan kualitas dan kinerjanya sesuai dengan kriteria keberhasilan proyek. Evaluasi ini dapat melibatkan pengujian model menggunakan data yang belum terlihat sebelumnya, serta analisis hasil dan interpretasi.
  6. Penggalian Pengetahuan (Knowledge Discovery): Pada tahap ini, terlibat dalam interpretasi dan penyajian temuan yang ditemukan selama proses data mining. Hasilnya disampaikan kepada pemangku kepentingan bisnis dan dapat digunakan untuk menginformasikan pengambilan keputusan atau mengimplementasikan solusi.
  7. Implementasi: Tahap terakhir melibatkan implementasi solusi berdasarkan temuan dan rekomendasi dari proses data mining ke dalam lingkungan operasional. Ini dapat melibatkan pengembangan aplikasi atau sistem yang memanfaatkan model atau hasil data mining.
  • SEMMA (Sample, Explore, Modify, Model, Assess): SEMMA adalah kerangka kerja yang dikembangkan oleh SAS Institute, lebih berfokus pada pengembangan model analisis prediktif.
  1. Sample: Dalam metodologi SEMMA, tahap pertama adalah pengambilan sampel dari populasi data yang lebih besar. Sampel ini merupakan subset representatif dari data yang akan digunakan untuk analisis lebih lanjut. Tujuan dari tahap ini adalah untuk mengurangi kompleksitas data dan memfasilitasi proses analisis.
  2. Explore: Setelah memperoleh sampel data, langkah eksplorasi dilakukan untuk memahami karakteristik data tersebut. Tahap ini melibatkan penggunaan teknik visualisasi dan analisis deskriptif guna mengidentifikasi pola, tren, anomali, serta hubungan antara variabel-variabel dalam data.
  3. Modify: Pada tahap ini, data diubah atau disiapkan untuk analisis lanjutan. Perubahan ini dapat mencakup pembersihan data (misalnya, menangani data yang hilang atau tidak valid), transformasi data (seperti normalisasi atau standarisasi), atau penggabungan variabel (seperti agregasi atau pengelompokan).
  4. Model:Tahap ini mencakup pengembangan model statistik atau matematis untuk menganalisis data dan mengekstrak pola yang relevan. Model yang dibuat dapat berupa model prediktif yang memproyeksikan nilai target berdasarkan variabel prediktor, atau model deskriptif yang bertujuan memahami hubungan antar variabel dalam data.
  5. Assess: Tahap akhir adalah evaluasi model yang telah dikembangkan. Ini melibatkan pengujian model menggunakan data independen untuk menilai kinerja dan akurasi prediksinya. Hasil evaluasi ini digunakan untuk menentukan apakah model tersebut memenuhi tujuan analisis dan dapat diandalkan untuk pengambilan keputusan.
  • CCC (Computational, Cognitive, and Communication)
Konsep "CCC" (Computational, Cognitive, and Communication) sering diterapkan dalam pengembangan teknologi dan studi ilmu komputer, khususnya terkait interaksi manusia dengan teknologi. Berikut adalah penjelasan singkat untuk setiap elemen CCC :
  1. Computational: Elemen ini mencakup aspek komputasi yang melibatkan pemrosesan data dan algoritma untuk menyelesaikan masalah dan mendukung fungsi teknologi.
  2. Cognitive: Bagian ini berfokus pada aspek kognitif, yaitu bagaimana manusia berpikir, belajar, dan berinteraksi dengan teknologi. Ini termasuk pemahaman tentang persepsi, memori, dan pengambilan keputusan.
  3. Communication: Elemen ini melibatkan komunikasi, yaitu bagaimana teknologi dan manusia saling bertukar informasi. Ini mencakup antarmuka pengguna, bahasa alami, dan interaksi multimodal.
Konsep CCC membantu menjembatani kesenjangan antara teknologi dan pengguna, memastikan bahwa teknologi yang dikembangkan efektif, mudah digunakan, dan bermanfaat bagi manusia.


Komentar

Posting Komentar

Postingan populer dari blog ini

QUIZ DATA MINING 1107

Nama     : Siti  Alia Azhaar Kelas     : IF21D Nim        : 21416255201107  1. Integrasi dan Pembersihan Data. Cari IPS setiap semester permahasiswa. ini bisa memudahkan untuk normalisasi data Gabungkan IPS permahasiswa dengan dataset yang lainya ("ms_lulusan") berdasarkan NIM. Tambahkan hasil dari durasi studi masing-masing mahasiswa Lakukan pembersihan data, termasuk mengidentifikasi dan mengatasi nilai yang hilang atau tidak konsisten dalam data. Hilangkan mahasiswa pindahan. Standardisasi format tanggal dan jenis kelamin untuk analisis lebih lanjut. 2. Analisis Cari pola atau tren yang paling mempengaruhi dengan lulusan tepat waktu atau lama masa studi, misal : Analisis apakah ada hubungan antara nilai rata-rata mata kuliah atau IPS dengan lulusan tepat waktu.  Analisis apakah ada korelasi positif antara predikat kelulusan 'Pujian' dengan lulusan tepat waktu Analisis untuk melihat apakah durasi studi lebih pendek berkorelasi dengan predikat kelulusan yang lebih ba
Baca selengkapnya

Supervised Learning (Prediksi) & Algoritma

Gambar
Supervised learning untuk tugas prediksi sering merujuk pada regresi, di mana tujuan model adalah memprediksi nilai kontinu berdasarkan input yang diberikan. Model dibangun menggunakan data yang sudah diberi label, di mana setiap sampel data memiliki fitur (input) dan nilai target (output) yang diketahui. Berikut adalah penjelasan mengenai supervised learning untuk tugas prediksi dan beberapa algoritma yang umum digunakan: Supervised Learning (Prediksi) Supervised learning untuk prediksi adalah metode di mana model dilatih untuk memprediksi nilai keluaran kontinu berdasarkan input data. Data yang digunakan untuk melatih model terdiri dari pasangan input-output. Tujuan model adalah untuk mempelajari hubungan antara input dan output sehingga dapat memprediksi output untuk data baru yang belum pernah dilihat sebelumnya. Algoritma untuk Prediksi Berikut adalah 30 algoritma yang sering digunakan dalam supervised learning untuk tugas prediksi: Linear Regression : Algoritma dasar untuk memode
Baca selengkapnya

Supervised Learning (Klasifikasi) & Algoritma

Gambar
 SUPERVISED LEARNING Supervised learning adalah salah satu metode dalam machine learning di mana model dilatih menggunakan data yang sudah diberi label. Data latih terdiri dari input (fitur) dan output (label atau target) yang benar. Tujuan dari supervised learning adalah untuk membuat model yang dapat memprediksi label yang benar untuk data baru yang belum pernah dilihat sebelumnya. Salah satu tugas utama dalam supervised learning adalah klasifikasi, di mana tujuan model adalah untuk mengklasifikasikan data input ke dalam kategori yang telah ditentukan. Berikut adalah penjelasan singkat mengenai beberapa algoritma yang termasuk dalam supervised learning untuk tugas klasifikasi, serta beberapa algoritma terkenal: Linear Regression : Meskipun lebih sering digunakan untuk regresi, linear regression juga bisa digunakan untuk klasifikasi dengan threshold tertentu. Logistic Regression : Digunakan untuk klasifikasi biner, logistic regression memodelkan probabilitas dari kelas yang mungkin.
Baca selengkapnya