Python & Data Menengah

Cara Membaca Dataset dan Menyiapkannya untuk Model AI

Tahapan membersihkan dan menyiapkan data mentah agar siap dipakai melatih model — dengan contoh kode yang bisa langsung dipraktikkan.

N
Naya KiranaAI & Data Educator, TheFireDigital
·
01 Februari 2026 6 menit baca Direview tim redaksi
Menyiapkan dataset untuk melatih model AI
Daftar Isi Artikel
  1. Mengenal Struktur Dataset
  2. Langkah Menyiapkan Dataset untuk Model AI
  3. Contoh Kode Sederhana
  4. Kesalahan Umum Saat Menyiapkan Dataset
  5. Kesimpulan

Di artikel Pandas dan NumPy, kita sudah membersihkan data dari duplikat dan nilai kosong. Kali ini kita lanjutkan satu langkah lebih jauh: menyiapkan dataset itu sampai benar-benar siap dipakai melatih model AI — bukan sekadar rapi, tapi juga terstruktur dengan cara yang bisa "dimengerti" model.

Mengenal Struktur Dataset

Sebelum masuk ke langkah teknis, penting memahami tiga istilah dasar dalam sebuah dataset:

  • Baris (rows) — tiap baris mewakili satu contoh data, misalnya satu transaksi atau satu pelanggan
  • Fitur (features) — kolom-kolom yang jadi "input" bagi model, misalnya harga, usia, atau kategori produk
  • Label/target — kolom yang ingin diprediksi model, misalnya "apakah pelanggan akan membeli lagi" (ya/tidak)

Langkah Menyiapkan Dataset untuk Model AI

  1. 1
    Pahami dulu apa yang ingin diprediksi

    Tentukan kolom target/label sebelum mulai — semua langkah berikutnya akan mengikuti keputusan ini.

  2. 2
    Pisahkan fitur dan label

    Bagi dataset menjadi dua bagian: kolom-kolom fitur (input) dan kolom label (output) yang ingin diprediksi.

  3. 3
    Tangani data yang hilang

    Putuskan apakah baris dengan data kosong akan dihapus, atau diisi dengan nilai perkiraan (rata-rata, median, dsb).

  4. 4
    Ubah data kategori jadi angka

    Model AI hanya memahami angka, jadi data teks seperti "Jakarta", "Bandung" perlu diubah jadi representasi numerik lewat proses encoding.

  5. 5
    Samakan skala angka

    Kolom dengan rentang angka jauh berbeda (misalnya usia 0-100 dan harga jutaan rupiah) perlu disamakan skalanya supaya model tidak bias ke angka yang lebih besar.

  6. 6
    Bagi data jadi data latih dan data uji

    Sisakan sebagian data (biasanya 20%) khusus untuk menguji performa model setelah dilatih, supaya evaluasinya adil.

Contoh Kode Sederhana

Berikut contoh menerapkan beberapa langkah di atas memakai Pandas dan scikit-learn:

from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # Pisahkan fitur dan label X = data.drop('target', axis=1) y = data['target'] # Bagi data latih dan data uji X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # Samakan skala angka scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test)

Kode ini memisahkan fitur dan label, membagi 80% data untuk latihan dan 20% untuk pengujian, lalu menyamakan skala angka di kolom fitur — tiga langkah penting yang hampir selalu muncul di proyek machine learning.

Kesalahan Umum Saat Menyiapkan Dataset

  • Data leakage — informasi dari data uji "bocor" ke proses pelatihan, membuat performa model terlihat bagus padahal sebenarnya menyesatkan
  • Data tidak seimbang (imbalanced) — misalnya 95% data berlabel "tidak" dan cuma 5% "ya", membuat model cenderung bias ke kelas mayoritas
  • Lupa menyamakan skala angka — kolom dengan rentang angka jauh berbeda bisa membuat model salah menilai fitur mana yang lebih penting
  • Membuang terlalu banyak data saat menangani nilai kosong — kadang lebih baik mengisi nilai kosong dengan perkiraan daripada menghapus baris sekaligus

Aturan emasData uji tidak boleh "dilihat" model dalam bentuk apa pun sebelum evaluasi akhir — termasuk saat proses scaling atau encoding, yang harus dipelajari dari data latih saja lalu diterapkan ke data uji.

Kesimpulan

Menyiapkan dataset dengan benar sering dianggap remeh, padahal inilah yang paling menentukan seberapa baik model AI bisa belajar. Enam langkah di atas — dari memahami struktur data sampai membagi data latih dan uji — adalah fondasi yang akan terus kamu pakai di hampir semua proyek machine learning. Langkah selanjutnya: mengenal konsep vector database, salah satu topik yang makin penting di era AI generatif.

NK
Ditulis oleh Naya Kirana AI & Data Educator, TheFireDigital

Fokus menyederhanakan konsep machine learning dan data science agar mudah dipahami pemula. Artikel ini direview oleh tim redaksi sebelum tayang.

Pertanyaan Seputar Menyiapkan Dataset

Beberapa hal yang paling sering ditanyakan soal persiapan data untuk model AI.

Data latih dipakai model untuk belajar pola, sementara data uji disisihkan khusus untuk menguji seberapa baik model bekerja pada data yang belum pernah dilihat sebelumnya.

Karena model AI secara internal hanya bisa memproses angka, bukan teks. Encoding mengubah kategori seperti nama kota menjadi representasi numerik yang bisa dipahami model.

Umumnya 20-30% dari total data, meski proporsi ini bisa disesuaikan tergantung jumlah total data yang tersedia dan kebutuhan proyek.

Data leakage terjadi ketika informasi dari data uji secara tidak sengaja "bocor" ke proses pelatihan, membuat performa model terlihat bagus di pengujian awal tapi menyesatkan.

Lanjutkan ke artikel Vector Database Itu Apa? untuk memahami cara data disimpan agar AI bisa menjawab dengan konteks yang akurat.

Lanjutkan Membaca

Mengenal Pandas dan NumPy untuk olah data
Python & Data

Mengenal Pandas dan NumPy untuk Olah Data Sebelum Masuk AI
Instalasi Python dan library AI pertama
Python & Data

Instalasi Python dan Library AI Pertamamu, Langkah demi Langkah
Perbedaan AI machine learning dan deep learning
Fondasi AI

Apa Itu AI, Machine Learning, dan Deep Learning? Ini Bedanya