Tutorial Machine Learning untuk Pemula: Apa Itu Dasar-Dasar ML

⚡ Ringkasan Cerdas

Pembelajaran Mesin adalah sekumpulan algoritma komputer yang berkembang berdasarkan contoh, bukan dikodekan secara eksplisit, menggabungkan data dengan alat statistik untuk memprediksi hasil yang dapat diubah orang menjadi keputusan yang dapat ditindaklanjuti.

  • 🔘 Aturan dipelajari, bukan ditulis: Pemrograman tradisional membuat setiap aturan secara manual, sedangkan model menurunkan aturan dari pasangan input dan output.
  • ☑️ Dua tahap: Pembelajaran menemukan pola dan merangkumnya ke dalam sebuah model; inferensi menerapkan model tersebut pada data yang belum pernah dilihat sebelumnya.
  • ✅ Dua kelompok besar: Pembelajaran terawasi membutuhkan keluaran yang diberi label, sedangkan pembelajaran tak terawasi menemukan struktur tanpa memerlukannya.
  • 🧪 Pemilihan algoritma mengikuti tujuan: Regresi memprediksi nilai kontinu, klasifikasi memberikan label, dan pengelompokan (clustering) mengelompokkan catatan yang serupa.
  • ️ Data adalah batasan sebenarnya: Data yang terlalu sedikit, atau data tanpa variasi, menghasilkan model yang tidak dapat digeneralisasikan.
  • ⚙️ Di mana hal itu menguntungkan: Deteksi penipuan di sektor perbankan, deteksi gambar di sektor kesehatan, peramalan permintaan di seluruh rantai pasokan.

Tutorial Pembelajaran Mesin untuk Pemula: Dasar-Dasar ML

Apa itu Pembelajaran Mesin?

Pembelajaran mesin adalah sistem algoritma komputer yang dapat belajar dari contoh melalui peningkatan diri, tanpa dikodekan secara eksplisit oleh seorang programmer. Pembelajaran mesin adalah bagian dari kecerdasan buatan yang menggabungkan data dengan alat statistik untuk memprediksi hasil yang dapat digunakan untuk menghasilkan wawasan yang dapat ditindaklanjuti.

Terobosan ini muncul dari gagasan bahwa mesin dapat belajar dari data (yaitu, contoh) dengan sendirinya untuk menghasilkan hasil yang akurat. Pembelajaran mesin sangat terkait dengan data mining dan pemodelan prediktif Bayesian. Mesin menerima data sebagai masukan dan menggunakan algoritma untuk merumuskan jawaban.

Tugas umum dalam pembelajaran mesin adalah memberikan rekomendasi. Bagi mereka yang memiliki Netflix Akun tersebut, semua rekomendasi film atau serial didasarkan pada data historis pengguna. Perusahaan teknologi menggunakan belajar tanpa pengawasan untuk meningkatkan pengalaman pengguna dengan mempersonalisasi rekomendasi.

Pembelajaran mesin juga digunakan untuk berbagai tugas seperti deteksi penipuan, pemeliharaan prediktif, optimasi portofolio, dan otomatisasi tugas.

Pembelajaran Mesin vs. Pemrograman Tradisional

Pemrograman tradisional berbeda secara signifikan dari pembelajaran mesin. Dalam pemrograman tradisional, seorang programmer membuat kode semua aturan dengan berkonsultasi dengan seorang ahli di industri tempat perangkat lunak tersebut dikembangkan. Setiap aturan didasarkan pada landasan logis; mesin menghasilkan output dengan mengikuti pernyataan logis tersebut. Ketika sistem menjadi kompleks, lebih banyak aturan perlu ditulis, dan hal itu dapat dengan cepat menjadi tidak berkelanjutan untuk dipelihara. Diagram di bawah ini menunjukkan alur tersebut, di mana data dan aturan yang ditulis tangan masuk dan jawaban keluar.

Alur pemrograman tradisional: data ditambah aturan yang dikodekan secara manual menghasilkan output.
Pemrograman Tradisional

Pembelajaran mesin dirancang untuk mengatasi masalah ini. Mesin mempelajari bagaimana data input dan output berkorelasi, dan mesin tersebut menulis aturannya sendiri. Pemrogram tidak perlu menulis aturan baru setiap kali ada data baru. Algoritma beradaptasi sebagai respons terhadap data dan pengalaman baru untuk meningkatkan efektivitas dari waktu ke waktu. Diagram kedua membalikkan diagram pertama: data dan jawaban yang diketahui masuk, dan aturan keluar.

Alur pembelajaran mesin: data ditambah jawaban yang diketahui menghasilkan aturan.

Pembelajaran mesin

Bagaimana Cara Kerja Pembelajaran Mesin?

Dengan adanya kontras tersebut, pertanyaan selanjutnya adalah apa yang sebenarnya terjadi di dalam langkah pembelajaran.

Pembelajaran mesin adalah otak tempat semua pembelajaran berlangsung. Cara mesin belajar mirip dengan cara manusia belajar. Manusia belajar dari pengalaman: semakin banyak yang kita ketahui, semakin mudah kita memprediksi. Secara analogi, ketika kita menghadapi situasi yang tidak dikenal, kemungkinan keberhasilannya lebih rendah daripada dalam situasi yang dikenal. Mesin dilatih dengan cara yang sama. Untuk membuat prediksi yang akurat, mesin melihat sebuah contoh. Ketika kita memberikan contoh yang serupa kepada mesin, ia dapat mengetahui hasilnya. Namun, seperti manusia, jika diberi contoh yang belum pernah dilihat sebelumnya, mesin akan kesulitan memprediksi.

Tujuan inti dari pembelajaran mesin adalah pembelajaran dan inferensi. Pertama-tama, mesin belajar melalui penemuan pola, dan penemuan itu dimungkinkan oleh data. Salah satu bagian penting dari pekerjaan ilmuwan data adalah memilih dengan cermat data mana yang akan diberikan kepada mesin. Daftar atribut yang digunakan untuk memecahkan suatu masalah disebut vektor fiturAnda dapat menganggap vektor fitur sebagai himpunan bagian dari data yang digunakan untuk mengatasi suatu masalah.

Mesin tersebut menggunakan algoritma untuk menyederhanakan realitas dan mengubah penemuan ini menjadi sebuah model. Oleh karena itu, tahap pembelajaran digunakan untuk mendeskripsikan data dan meringkasnya menjadi sebuah model, seperti yang diilustrasikan di bawah ini.

Tahap pembelajaran: data pelatihan melewati algoritma untuk membangun model.

Sebagai contoh, mesin tersebut mencoba memahami hubungan antara upah seseorang dan kemungkinan pergi ke restoran mewah. Ternyata mesin tersebut menemukan hubungan positif antara upah dan pergi ke restoran kelas atas: inilah modelnya.

Menyimpulkan

Setelah model dibangun, dimungkinkan untuk menguji seberapa kuat model tersebut pada data yang belum pernah dilihat sebelumnya. Data baru diubah menjadi vektor fitur, diproses melalui model, dan memberikan prediksi. Inilah bagian berharga dari pembelajaran mesin. Tidak perlu memperbarui aturan atau melatih model lagi — Anda dapat menggunakan model yang telah dilatih sebelumnya untuk membuat kesimpulan pada data baru, persis seperti yang ditunjukkan diagram di bawah ini.

Tahap inferensi: data baru melewati model yang telah dilatih untuk memberikan prediksi.

Siklus hidup program pembelajaran mesin cukup sederhana dan dapat diringkas dalam poin-poin berikut:

  1. Tentukan pertanyaan
  2. Mengumpulkan data
  3. Visualisasikan data
  4. Algoritma kereta
  5. Uji algoritma
  6. Kumpulkan umpan balik
  7. Sempurnakan algoritmanya
  8. Ulangi langkah 4 hingga 7 sampai hasilnya memuaskan.
  9. Gunakan model untuk membuat prediksi

Setelah algoritma menjadi mahir dalam menarik kesimpulan yang tepat, ia menerapkan pengetahuan itu ke kumpulan data baru.

Pembelajaran mesin Algorithms dan Dimana Digunakan?

Bagan di bawah ini mengelompokkan algoritma yang paling umum berdasarkan jenis tugas yang mereka selesaikan.

Algoritma pembelajaran mesin dikelompokkan menjadi tugas terawasi dan tidak terawasi.

Pembelajaran mesin Algorithms

Pembelajaran mesin dapat dikelompokkan menjadi dua tugas pembelajaran utama: diawasi ke tidak diawasiDua kelompok lainnya berada di antara dan di luar keduanya — pembelajaran semi-supervised, yang menggabungkan kumpulan data berlabel kecil dengan kumpulan data tak berlabel yang besar, dan penguatan pembelajaran, di mana agen belajar dari imbalan daripada dari jawaban yang diberi label.

Pembelajaran terawasi

Algoritma menggunakan data pelatihan dan umpan balik dari manusia untuk mempelajari hubungan antara input yang diberikan dan output yang diberikan. Misalnya, seorang praktisi dapat menggunakan biaya pemasaran dan prakiraan cuaca sebagai data input untuk memprediksi penjualan kaleng.

Anda dapat menggunakan pembelajaran yang diawasi Ketika data output sudah diketahui, algoritma kemudian akan melakukan prediksi pada data baru.

Ada dua kategori pembelajaran terbimbing:

  • Tugas klasifikasi
  • Tugas regresi

Klasifikasi

Bayangkan Anda ingin memprediksi jenis kelamin pelanggan untuk sebuah iklan. Anda akan mulai dengan mengumpulkan data tentang tinggi badan, berat badan, pekerjaan, gaji, isi keranjang belanja, dan sebagainya dari basis data pelanggan Anda. Anda mengetahui jenis kelamin setiap pelanggan Anda, dan hanya bisa laki-laki atau perempuan. Tujuan dari pengklasifikasi adalah untuk menetapkan probabilitas menjadi laki-laki atau perempuan (yaitu, label) berdasarkan informasi yang telah Anda kumpulkan (yaitu, fitur). Ketika model telah mempelajari cara mengenali laki-laki atau perempuan, Anda dapat menggunakan data baru untuk membuat prediksi. Misalnya, Anda baru saja menerima informasi baru dari pelanggan yang tidak dikenal, dan Anda ingin mengetahui apakah pelanggan tersebut laki-laki atau perempuan. Jika pengklasifikasi memprediksi laki-laki = 70%, itu berarti algoritma tersebut 70% yakin bahwa pelanggan ini adalah laki-laki, dan 30% yakin bahwa pelanggan tersebut adalah perempuan.

Label dapat memiliki dua kelas atau lebih. Contoh pembelajaran mesin di atas hanya memiliki dua kelas, tetapi jika pengklasifikasi perlu memprediksi objek, ia mungkin memiliki puluhan kelas (misalnya, gelas, meja, sepatu — setiap objek mewakili sebuah kelas).

Regresi

Ketika output berupa nilai kontinu, tugas tersebut adalah regresi. Misalnya, seorang analis keuangan mungkin perlu memprediksi nilai saham berdasarkan berbagai fitur seperti ekuitas, kinerja saham sebelumnya, dan indeks ekonomi makro. Sistem akan dilatih untuk memperkirakan harga saham dengan kesalahan serendah mungkin.

Tabel di bawah ini mencantumkan algoritma supervised learning yang paling sering Anda temui, beserta tugas yang sesuai untuk masing-masing algoritma.

Algoritma Deskripsi Tipe
Regresi linier Menemukan cara untuk menghubungkan setiap fitur dengan keluaran untuk membantu memprediksi nilai masa depan. Regresi
Regresi logistik Perluasan regresi linier yang digunakan untuk tugas klasifikasi. Variabel outputnya biner (misalnya, hanya hitam atau putih) dan bukan kontinu (misalnya, daftar warna potensial yang tak terbatas). Klasifikasi
Pohon keputusan Model klasifikasi atau regresi yang sangat mudah diinterpretasikan yang membagi nilai fitur data menjadi cabang-cabang pada simpul keputusan (misalnya, jika fitur adalah sebuah warna, setiap warna yang mungkin menjadi cabang baru) hingga keluaran keputusan akhir dibuat Regresi
Klasifikasi
Bayes Naif Metode Bayesian merupakan metode klasifikasi yang menggunakan teorema Bayesian. Teorema ini memperbarui pengetahuan sebelumnya tentang suatu peristiwa dengan probabilitas independen dari setiap fitur yang dapat mempengaruhi peristiwa tersebut. Regresi
Klasifikasi
Mesin dukungan vektor Support Vector Machine, atau SVM, biasanya digunakan untuk tugas klasifikasi. Algoritma SVM menemukan hyperplane yang secara optimal membagi kelas-kelas tersebut. Algoritma ini paling baik digunakan dengan solver non-linear. Regresi (tidak terlalu umum)
Klasifikasi
Hutan acak Algoritma ini dibangun berdasarkan pohon keputusan untuk meningkatkan akurasi secara drastis. Random forest menghasilkan banyak pohon keputusan sederhana dan menggunakan metode 'pemungutan suara mayoritas' untuk menentukan label mana yang akan dikembalikan. Untuk tugas klasifikasi, prediksi akhir adalah yang memiliki suara terbanyak; untuk tugas regresi, prediksi rata-rata dari semua pohon adalah prediksi akhir. Regresi
Klasifikasi
AdaBoost Teknik klasifikasi atau regresi yang menggunakan banyak model untuk menghasilkan keputusan tetapi menimbangnya berdasarkan keakuratannya dalam memprediksi hasilnya Regresi
Klasifikasi
Pohon yang meningkatkan gradien Gradient-boosting trees adalah teknik klasifikasi/regresi terkini. Teknik ini berfokus pada kesalahan yang dilakukan oleh pohon-pohon sebelumnya dan mencoba untuk memperbaikinya. Regresi
Klasifikasi

Pembelajaran tanpa pengawasan

Dalam pembelajaran tanpa pengawasan (unsupervised learning), sebuah algoritma mengeksplorasi data masukan tanpa diberikan variabel keluaran eksplisit (misalnya, mengeksplorasi data demografis pelanggan untuk mengidentifikasi pola).

Anda dapat menggunakannya ketika Anda tidak tahu cara mengklasifikasikan data dan Anda ingin algoritma tersebut menemukan pola dan mengelompokkan data untuk Anda. Algoritma unsupervised utama dirangkum di bawah ini.

Nama Algoritma Deskripsi Tipe
Pengelompokan K-means Menempatkan data ke dalam beberapa kelompok (k) yang masing-masing berisi data dengan karakteristik serupa (ditentukan oleh model, bukan ditentukan terlebih dahulu oleh manusia) Clustering
model campuran Gaussian Generalisasi pengelompokan k-means yang memberikan lebih banyak fleksibilitas dalam ukuran dan bentuk kelompok (cluster) Clustering
Pengelompokan hierarkis Memisahkan klaster di sepanjang pohon hierarki untuk membentuk sistem klasifikasi. Dapat digunakan untuk mengelompokkan pelanggan kartu loyalitas. Clustering
Sistem pemberi rekomendasi Membantu menentukan data yang relevan untuk membuat rekomendasi. Clustering
PCA/t-SNE Sebagian besar digunakan untuk mengurangi dimensi data. Algoritme mengurangi jumlah fitur menjadi 3 atau 4 vektor dengan varian tertinggi. Pengurangan Dimensi

Cara Memilih Algoritma Pembelajaran Mesin

Terdapat banyak sekali algoritma pembelajaran mesin, dan pemilihan algoritma didorong oleh tujuan, bukan oleh tren.

Dalam contoh pembelajaran mesin di bawah ini, tugasnya adalah memprediksi jenis bunga di antara tiga varietas. Prediksi didasarkan pada panjang dan lebar kelopak. Gambar tersebut menggambarkan hasil dari sepuluh algoritma yang berbeda. Gambar di kiri atas adalah dataset itu sendiri, dengan data yang diklasifikasikan ke dalam tiga kategori: merah, biru muda, dan biru tua. Beberapa kelompokpingPerbedaan terlihat jelas. Misalnya, pada gambar kedua, semua yang berada di kiri atas termasuk dalam kategori merah, bagian tengah berisi campuran ketidakpastian dan biru muda, sedangkan bagian bawah termasuk dalam kategori gelap. Gambar-gambar lainnya menunjukkan bagaimana algoritma yang berbeda mencoba mengklasifikasikan data yang sama.

Sepuluh algoritma dibandingkan pada dataset bunga tiga kelas yang sama.

Setelah kandidat terpilih, kualitasnya dinilai berdasarkan data yang belum pernah dilihat sebelumnya, biasanya dengan menggunakan matriks kebingungan serta angka akurasi, presisi, dan recall yang diperoleh darinya.

Tantangan dan Keterbatasan Pembelajaran Mesin

Tantangan utama pembelajaran mesin adalah kurangnya data, atau kurangnya keragaman dalam dataset. Mesin tidak dapat belajar jika tidak ada data yang tersedia. Dataset yang kurang beragam juga menyulitkan mesin, karena mesin membutuhkan heterogenitas untuk mempelajari wawasan yang bermakna. Jarang sekali algoritma dapat mencapai hasil yang optimal tanpa adanya keragaman data.tracInformasi tersebut tidak akurat ketika tidak ada atau hanya sedikit variasi. Aturan umum yang sering digunakan adalah memiliki setidaknya 20 pengamatan per kelompok untuk membantu mesin belajar; di bawah jumlah tersebut, evaluasi dan prediksi akan terganggu.

Volume data bukanlah satu-satunya batasan. Model yang dilatih berdasarkan catatan historis yang bias akan mereproduksi bias tersebut, model yang kompleks sulit dijelaskan kepada regulator atau pelanggan, dan setiap model akan mengalami penurunan kualitas seiring perubahan dunia tempat model tersebut dilatih.

Penerapan Pembelajaran Mesin

Teknik-teknik di atas sudah diterapkan dalam produksi di sebagian besar industri. Contoh-contoh di bawah ini beralih dari bantuan umum ke sektor-sektor spesifik.

Augmentasi: Pembelajaran mesin membantu manusia dalam tugas sehari-hari, baik secara pribadi maupun komersial, tanpa memiliki kendali penuh atas hasilnya. Pembelajaran mesin semacam ini digunakan dalam berbagai cara, seperti asisten virtual, analisis data, dan solusi perangkat lunak. Tujuan utamanya adalah untuk mengurangi kesalahan yang disebabkan oleh bias manusia.

Otomasi: Pembelajaran mesin bekerja sepenuhnya secara otonom di bidang apa pun tanpa memerlukan campur tangan manusia. Misalnya, robot melakukan langkah-langkah proses penting di pabrik manufaktur.

Industri keuangan: Pembelajaran mesin semakin populer di industri keuangan. Bank terutama menggunakan ML untuk menemukan pola dalam data, tetapi juga untuk mencegah penipuan.

Organisasi pemerintah: Pemerintah menggunakan ML untuk mengelola keamanan dan utilitas publik. Ambil contoh Tiongkok dan program pengenalan wajah berskala besar mereka, di mana aplikasi kecerdasan buatan digunakan untuk mengidentifikasi pejalan kaki yang menyeberang sembarangan.

Industri kesehatan: Sektor kesehatan merupakan salah satu industri pertama yang menggunakan pembelajaran mesin, dimulai dengan deteksi gambar.

Pemasaran: Penggunaan AI secara luas di bidang pemasaran dimungkinkan berkat akses data yang melimpah. Sebelum era data massal, para peneliti mengembangkan alat matematika canggih seperti analisis Bayesian untuk memperkirakan nilai seorang pelanggan. Dengan pesatnya perkembangan data, departemen pemasaran mengandalkan AI untuk mengoptimalkan hubungan pelanggan dan kampanye pemasaran.

Contoh Penerapan Pembelajaran Mesin dalam Rantai Pasokan

Pembelajaran mesin memberikan hasil yang kuat untuk pengenalan pola visual, membuka banyak potensi aplikasi dalam inspeksi fisik dan pemeliharaan di seluruh jaringan rantai pasokan.

Pembelajaran tanpa pengawasan dapat dengan cepat mencari pola yang serupa dalam kumpulan data yang beragam. Selanjutnya, mesin dapat melakukan inspeksi kualitas di seluruh pusat logistik dan menandai pengiriman yang rusak dan aus.

Misalnya, IBMPlatform Watson dapat menentukan kapalping kerusakan kontainer. Watson menggabungkan data visual dan berbasis sistem untuk track, melaporkan, dan memberikan rekomendasi secara real time.

Di masa lalu, manajer stok sangat bergantung pada metode manual untuk mengevaluasi dan memperkirakan persediaan. Ketika big data dan pembelajaran mesin digabungkan, teknik peramalan yang lebih baik menjadi mungkin, dengan peningkatan yang dilaporkan sebesar 20 hingga 30 persen dibandingkan alat peramalan tradisional. Dalam hal penjualan, itu berarti peningkatan sebesar 2 hingga 3 persen berkat potensi pengurangan biaya persediaan.

Contoh Pembelajaran Mesin dalam Google Mobil

Semua orang tahu Google Mobil ini dilapisi laser di atapnya, yang memberi tahu posisinya relatif terhadap area sekitarnya. Di bagian depan terdapat radar yang memberi tahu mobil tentang kecepatan dan pergerakan semua mobil di sekitarnya. Mobil ini menggunakan semua data tersebut untuk menentukan tidak hanya cara mengemudikan mobil, tetapi juga untuk memprediksi apa yang akan dilakukan pengemudi di sekitarnya. Yang mengesankan adalah mobil ini memproses hampir satu gigabyte data per detik.

Sensor mobil otonom memberi masukan pada model pembelajaran mesin secara real-time.

Mengapa Pembelajaran Mesin Penting?

Pembelajaran mesin adalah alat terbaik sejauh ini untuk menganalisis, memahami, dan mengidentifikasi pola dalam data. Salah satu gagasan utama di balik pembelajaran mesin adalah bahwa komputer dapat dilatih untuk mengotomatiskan tugas-tugas yang akan melelahkan atau mustahil dilakukan oleh manusia. Perbedaan yang jelas dari analisis tradisional adalah bahwa pembelajaran mesin dapat membuat keputusan dengan intervensi manusia yang minimal.

Ambil contoh berikut: seorang agen ritel dapat memperkirakan harga sebuah rumah berdasarkan pengalaman pribadi dan pengetahuannya tentang pasar.

Mesin dapat dilatih untuk menerjemahkan pengetahuan ahli tersebut menjadi fitur-fitur. Fitur-fitur tersebut mencakup semua karakteristik rumah, lingkungan sekitar, lingkungan ekonomi, dan sebagainya yang menyebabkan perbedaan harga. Bagi sang ahli, mungkin dibutuhkan waktu bertahun-tahun untuk menguasai seni memperkirakan harga rumah, dan keahlian tersebut meningkat setelah setiap penjualan.

Bagi mesin, dibutuhkan jutaan titik data (yaitu, contoh) untuk menguasai seni ini. Pada awal pembelajarannya, mesin membuat kesalahan, seperti halnya seorang tenaga penjualan junior. Setelah mesin melihat cukup banyak contoh, ia memiliki cukup pengetahuan untuk membuat perkiraannya, dan melakukannya dengan akurasi tinggi. Mesin juga mampu memperbaiki kesalahannya saat penjualan baru datang.

Sebagian besar perusahaan besar telah memahami nilai pembelajaran mesin dan pentingnya menyimpan data. McKinsey Global Institute memperkirakan nilai tahunan semua teknik analitik sebesar $9.5 triliun hingga $15.4 triliun, dan mengaitkan sekitar 40 persen dari jumlah tersebut — sekitar $3.5 triliun hingga $5.8 triliun per tahun — dengan teknik AI canggih berdasarkan jaringan saraf dalam, seperti yang diuraikan dalam laporannya. Catatan dari Garis Depan AI penelitian.

Jika aturan diketahui tetapi tidak tepat, bukan tidak ada sama sekali, pendekatan berbasis aturan seperti logika fuzzy Bisa jadi lebih cocok daripada model yang dipelajari, sehingga kedua teknik ini sering dibandingkan sebelum proyek dimulai.

Pertanyaan Umum Demo Slot

Pembelajaran semi-supervised melatih data pada kumpulan data kecil yang diberi label ditambah kumpulan data besar yang tidak diberi label, yang sangat membantu ketika pemberian label itu mahal. Pembelajaran penguatan Tidak memiliki label sama sekali: agen bertindak, menerima imbalan atau hukuman, dan menyesuaikan kebijakannya selama banyak percobaan.

Keduanya saling terkait. Kecerdasan buatan adalah tujuan terluas dari kecerdasan mirip mesin, pembelajaran mesin adalah bagian yang belajar dari data, dan belajar mendalam adalah subbidang pembelajaran mesin yang dibangun di atas jaringan saraf multi-lapisan.

Overfitting terjadi ketika sebuah model menghafal kumpulan data pelatihan, termasuk noise-nya, dan kemudian gagal pada data baru. Solusinya meliputi: validasi silang, model yang lebih sederhana, regularisasi, dan penghentian dini.ping dan contoh pelatihan lainnya adalah pertahanan yang biasa dilakukan.

Suatu model selalu mendapatkan skor bagus pada baris data yang digunakan untuk menyesuaikannya, jadi skor tersebut tidak membuktikan apa pun. Menyimpan satu set data uji—dan seringkali satu set data validasi terpisah untuk penyempurnaan—adalah satu-satunya perkiraan kinerja yang jujur ​​pada data yang belum pernah dilihat model tersebut.

Pemahaman dasar tentang statistik dan probabilitas, aljabar linear pada tingkat vektor dan matriks, serta satu bahasa pemrograman skrip sangat penting. Penanganan data praktis lebih penting daripada matematika tingkat lanjut di awal, jadi membersihkan dan menjelajahi kumpulan data nyata adalah latihan pertama yang terbaik.

Python memimpin, dengan scikit-learn untuk model klasik dan TensorFlow atau PyTorch untuk jaringan saraf. R tetap unggul untuk pemodelan dan visualisasi statistik, sementara SQL tak terhindarkan untuk mengambil data pelatihan itu sendiri.

Model prediktif menghasilkan label atau angka untuk input tertentu. Model generatif mempelajari distribusi data dan menghasilkan sampel baru darinya — teks, gambar, atau kode. Keduanya dilatih menggunakan data, tetapi hanya satu yang dievaluasi berdasarkan akurasi saja.

Kopilot GitHub Menyusun draf teks standar dengan cepat: memuat dataset, membaginya, menyesuaikan estimator, dan memplot hasilnya. RevTinjau setiap saran, karena alur kerja yang tampak masuk akal pun masih dapat membocorkan data uji ke dalam data pelatihan dan meningkatkan skor secara tidak wajar.

Ringkaslah postingan ini dengan: