Berkenalan dengan Explainable AI (XAI)

Dalam konteks machine learning (ML) dan artificial intelligence (AI), explainability dan interpretability sering digunakan secara bergantian. Sehingga, kita sering menemukan artikel dengan judul “Explainable AI” (XAI) maupun “Interpretable ML” yg membahas topik yang sama. Apa itu XAI? Mengapa XAI penting untuk masa depan?
Artikel ini bermaksud mengenalkan intuisi sederhana XAI kepada target pembaca: mahasiswa IT maupun kedokteran, praktisi/professional di bidang data science, tenaga kesehatan/dokter, dan siswa SMA/SMK atau siapapun yang tertarik mengexplorasi dan bermain dengan XAI. Sehingga, sengaja penulis tidak menuliskan rumus matematika maupun penjelasan yang terlalu detail teknis.
Untuk pembaca yang ingin tahu lebih lanjut mengenai XAI secara detail, bisa melihat buku “Interpretable ML” [1] terjemahan dalam bahasa Indonesia sudah kami susun di https://www.its.ac.id/it/id/interpretable-machine-learning/ atau buku “Memahami Artificial Intelligence dan Penerapannya”, penerbit: PT. ITS Tekno Sains.

Motivasi Belajar XAI

Dalam konteks XAI, ada dua kata kunci penting: “interpretability” dan “explainability”. Interpretabilitas adalah sejauh mana manusia dapat memahami penyebab keputusan. Semakin baik interpretabilitas model AI/ML, semakin mudah bagi seseorang untuk memahami mengapa keputusan atau prediksi tertentu telah dibuat. Suatu model dapat diinterpretasikan lebih baik daripada model lain jika keputusannya lebih mudah dipahami manusia daripada keputusan dari model lain.
Kemudian, apa yang dimaksud dengan “explanation” (penjelasan)? Penjelasan adalah jawaban atas pertanyaan mengapa. Mengapa pengobatan itu tidak berhasil menyembuhkan pasien? Mengapa pinjaman hutang saya ditolak bank?

Motivasi #1: Right to explanation

AI penting untuk masa depan, perlukah XAI untuk meningkatkan kualitas sistem AI? YA! Karena penjelasan adalah hak semua manusia! Baca lebih lanjut: https://en.wikipedia.org/wiki/Right_to_explanation

Motivasi #2: Kepatuhan terhadap peraturan

Pernah dengar berita tentang Undang-Undang PDP (Perlindungan Data Pribadi) yang belum lama ini sering dibahas di berita, setelah kasus kebocoran data BPJS? Kalau di Indonesia, peraturan mengenai PDP masih dalam tahap pembahasan; di luar negeri, sudah banyak muncul peraturan PDP yang mewajibkan semua sistem AI untuk mengimplementasikan explainability. Jadi, mau tidak mau XAI harus di implementasikan untuk bisa patuh terhadap peraturan yang berlaku; jika tidak, denda besar ancamannya.
Sebagai contoh: penilaian kredit di Amerika Serikat. Saat ini sistem IT di perbankan sudah mulai menggunakan AI untuk membuat berbagai macam sistem otomasi, termasuk dalam membuat keputusan approval permohonan kredit/hutang dari nasabah. Berdasarkan Equal Credit Opportunity Act, kreditur (bank) diharuskan memberi tahu nasabah yang ditolak permohonan kredit/hutangnya dengan alasan spesifik untuk perinciannya.
Contoh lain: di Uni Eropa. Peraturan Perlindungan Data Umum (General Data Protection Regulation: GDPR) memandatkan secara hukum hak atas penjelasan, yang dinyatakan dalam Recital 71: “[subjek data memiliki hak … untuk mendapatkan penjelasan tentang keputusan yang dicapai”. ” … seperti penolakan otomatis atas aplikasi kredit online atau praktik rekrutmen elektronik tanpa campur tangan manusia.”
Kesimpulannya, penjelasan dalam AI dan ML adalah sangat penting. Terlebih lagi, dengan adanya konsekuensi hukum yang mewajibkan kita untuk mengimplementasikan XAI. Investasi belajar XAI sangat strategis untuk masa depan AI di Indonesia. Mari kita semangat belajar XAI!

Kapan Kita Tidak Membutuhkan XAI?

Beberapa kasus pada implementasi AI/ML mungkin tidak memerlukan penjelasan, karena digunakan di lingkungan berisiko rendah, artinya kesalahan tidak akan memiliki konsekuensi serius. Sebagai contoh, pada sistem rekomendasi film. AI akan menampilkan beberapa judul film yang mungkin akan menarik minat anda, berdasarkan history judul film yang pernah anda tonton sebelumnya.
Kebutuhan akan interpretabilitas dan explainability muncul ketika sistem AI dipakai untuk masalah atau tugas tertentu yang beresiko tinggi, sehingga tidak cukup hanya mendapatkan output keputusan prediksi/klasifikasi, tetapi juga perlu penjelasan untuk meyakinkan pengguna bahwa AI (1: Model Explainability) bekerja dengan cara yang benar dan (2: Decision Explainability) telah membuat keputusan yang tepat.

XAI= Membuat Model AI/ML dan Keputusannya Dapat Dipahami oleh Manusia

Model Explainability

Idiom “jangan membeli kucing dalam karung” ini hampir ada di semua bahasa, sebagai contoh Bahasa Inggris: “Cat in the sack” atau “Pig in a poke”. Ada banyak pendekatan yang bisa digunakan untuk membuat model implementasi AI, misal menggunakan algoritma ML sederhana yang cara kerjanya mudah dipahami pengguna sehingga BUKAN jenis “kucing dalam karung”, melainkan jenis white box (kotak transparan). Sayangnya, algoritma ML yang canggih (seperti Deep Learning) mungkin bisa masuk kedalam kategori “kucing dalam karung” karena seperti black box (kotak hitam) dimana kita sulit untuk melihat isi jeroan untuk memastikan cara kerja sistem AI tersebut apakah benar atau salah.
Pengguna sistem AI tidak akan mudah percaya dengan sistem AI yang tidak bisa dipahami cara kerjanya apakah benar atau tidak, alias “kucing dalam karung”. XAI membahas tentang cara supaya model AI dapat dipahami pengguna cara kerjanya, sehingga penguna percaya untuk menggunakan sistem AI tersebut. Menarik bukan?

Decision Explainability

AI adalah teknologi yang sangat keren, dan kita sudah melihat banyak contoh implementasi AI termasuk untuk di dunia medis, misalkan mengotomasi diagnosa penyakit. Tetapi sistem AI saat ini biasanya tidak menjelaskan output keputusannya (sebagai contoh: AI membuat diagnosa bahwa pasien si Fulan terkena kanker, tanpa memberikan penjelasan kenapa bisa hasil diagnosa adalah penyakit kanker bukan masuk angin atau penyakit yang lain?). Terlebih lagi, jika kita tidak mengerti mengapa mereka membuat keputusan seperti itu, dapatkah kita benar-benar mempercayai keputusan tersebut? Hal ini mungkin menjadi penyebab kenapa dokter sulit menerima otomasi diagnosis penyakit oleh sistem AI.
Anda mungkin akrab dengan mata uang kripto, yang akhir-akhir ini semakin populer sebagai sarana investasi trading. Contoh ilustrasi berikutnya adalah pada sistem AI untuk prediksi mata uang kripto, misalkan prediksi dari sebuah sistem AI adalah: “hari ini harga Bitcoin akan turun!” Tidakkah Anda merasa perlu mendengar penjelasan lebih lanjut dari sistem AI tersebut, sebelum Anda menjual Bitcoin Anda? Tidakkah Anda juga merasa perlu memahami mengapa AI memutuskan bahwa hari ini harga Bitcoin akan turun (memahami kenapa AI membuat keputusan tersebut), sebelum Anda menjual Bitcoin Anda?
XAI bertujuan untuk membuat perilaku dan output keputusan sistem AI dapat dipahami oleh manusia. Semakin baik interpretabilitas/explainability model AI/ML, semakin mudah bagi seseorang untuk memahami mengapa keputusan atau prediksi tertentu telah dibuat. Menarik bukan?

Pentingnya XAI

Pertanyaan: Jika model AI/ML sudah berperforma baik (akurasi tinggi), mengapa kita tidak: memercayai model tersebut sepenuhnya dan mengabaikan mengapa model tersebut membuat keputusan tertentu?

Pentingnya Memahami Cara Kerja/Perilaku Model.

Sebagai contoh: Deteksi edge case (kasus tepi) untuk keamanan dan keselamatan. Bayangkan sebuah mobil self-driving secara otomatis mendeteksi pengendara sepeda berdasarkan sistem AI berbasis algoritma Deep Learning. Anda ingin 100% yakin bahwa abstraksi yang telah dipelajari sistem AI bebas dari kesalahan, karena menabrak pengendara sepeda adalah hal yang sangat buruk.
Dari penjelasan XAI, mungkin akan terungkap bahwa fitur yang paling penting dipelajari oleh sistem AI Deep Learning adalah untuk mengenali dua roda sepeda, dan penjelasan ini membantu Anda memikirkan tentang kasus tepi seperti sepeda dengan tas samping yang menutupi sebagian roda. Dengan mengetahui hal ini, maka pengguna mobil seharusnya tidak mengaktifkan fitur self-driving ketika banyak pengendara sepeda dengan tas samping di jalanan. Coba bayangkan apa yang akan terjadi, jika tidak ada XAI yang membantu kita untuk memahami perilaku model.

Pentingnya Memahami Mengapa Output = Keputusan Itu, Bukan yang Lain.

Sebagai contoh: Mendeteksi bias dalam keputusan persetujuan kredit oleh sistem AI. Model AI yang berbasis pada algoritma ML supervised learning (pemelajaran terarah) membutuhkan input data pelatihan untuk training melatih model (misalkan: data history persetujuan pengajuan kredit nasabah beberapa tahun terakhir). Kabar buruknya adalah, AI akan mengambil bias dari data pelatihan, dimana hal ini dapat membuat sistem AI Anda menjadi rasis.
Karena sistem AI dilatih dengan data historis (di masa lalu kelompok minoritas jarang mendapatkan approval untuk pengajuan kredit/hutang), maka output keputusan sistem AI untuk persetujuan otomatis atau penolakan aplikasi kredit bisa jadi rasis dan mendiskriminasi minoritas. Tujuannya adalah untuk memberikan pinjaman hanya (1) kepada orang-orang yang pada akhirnya akan melunasinya (pemberian pinjaman dengan risiko rendah), tetapi juga berkewajiban (2) untuk tidak melakukan diskriminasi atas dasar demografi tertentu (cara yang sesuai). Dua tujuan ini mungkin tidak tercakup oleh algoritma ML supervised learning untuk model AI. XAI dapat membantu kita untuk memahami kenapa keputusan itu yang menjadi output, untuk memastikan bahwa tidak ada bias/rasis pada sistem AI kita.

Beberapa Konsep dalam XAI

– Transparansi Algoritma: Bagaimana algoritma membuat model AI? Algoritma ML sederhana (misal: model linier) memiliki transparansi tinggi (kotak transparan), dimana perilaku model dapat dipelajari dan dipahami dengan baik. Sebaliknya, algoritma ML supervised learning yang komplex (misal: Deep Learning) cara kerja bagian dalam nya sulit untuk dapat dipahami dengan baik.
– Penjelasan Global: Bagaimana model yang sudah terlatih membuat prediksi? Bagaimana bagian dari model mempengaruhi output keputusan/prediksi?
– Penjelasan Lokal: Mengapa model membuat prediksi tunggal tertentu?

Model AI dengan Transparansi Tinggi (White Box)

Dengan beberapa algoritme ML sederhana (seperti Regresi Linier atau Regresi Logistik), model yang terlatih secara intuitif mudah diinterpretasikan cara kerjanya atau cara pengambilan keputusannya. Regresi logistik digunakan untuk prediksi probabilitas kejadian suatu peristiwa dengan mencocokkan data pada fungsi logit kurva logistik. Misalnya, probabilitas bahwa orang yang menderita serangan jantung pada waktu tertentu dapat diprediksi dari informasi usia, jenis kelamin, dan indeks massa tubuh. Berikut ini kita lihat contoh menafsirkan model Regresi Logistik untuk memprediksi kanker serviks berdasarkan beberapa faktor risiko. Gambar 1 menunjukkan plot weight (bobot) dari model Regresi Logistik yang sudah melewati proses pelatihan. Dapatkah kita dengan mudah memahami cara kerja pengambilan keputusannya?

Gambar 1. Contoh bobot dari model Regresi Logistik untuk prediksi kanker serviks.*

Peningkatan jumlah penyakit menular seksual yang didiagnosis (penyakit menular seksual, atau sexually transmitted disease: STD) mengubah (meningkatkan) kemungkinan kanker vs tidak ada kanker dengan faktor 2,27, ketika semua fitur lainnya tetap sama. Untuk wanita yang menggunakan kontrasepsi hormonal, kemungkinan untuk kanker vs tidak ada kanker dengan faktor 0,89 lebih rendah, dibandingkan dengan wanita tanpa kontrasepsi hormonal, ketika semua fitur lainnya tetap sama. Dari contoh ini, kita melihat bahwa mudah untuk memahami cara kerja pengambilan keputusan untuk sistem AI yang menggunakan algoritma sederhana (transparansi tinggi).

Metode XAI Model-Agnostik untuk Model AI Kompleks (Kotak Hitam)

Pada bab sebelumnya, kita melihat contoh bahwa mudah memahami perilaku model sederhana (dengan melakukan analisa bobot). Masalah muncul ketika kita menggunakan metode yang cukup kompleks, seperti Deep Learning, dimana struktur jaringan sangat kompleks dan terdiri dari banyak layer, sehingga hampir tidak mungkin untuk memahami cara kerja model dengan hanya melakukan analisa bobot seperti bab sebelumnya. Untuk memecahkan masalah ini, XAI hadir dengan pendekatan memisahkan penjelasan dari model AI/ML, dengan Model-Agnostik (tidak tergantung pada model). Dengan metode XAI Model-Agnostik, fleksibilitas menjadi sangat tinggi. Metode interpretasi/penjelasan dapat bekerja dengan model AI/ML dengan algoritme apa pun, seperti Random Forest maupun Deep Learning.
Seperti apa penjelasan yang bisa kita munculkan, setelah mengimplementasikan XAI pendekatan model-agnostik? Di bab ini, kita akan melihat contoh output penjelasan dari beberapa metode XAI yang populer dan sudah banyak di implementasikan:
• Partial Dependence Plot (PDP) [2]
• Individual Conditional Expectation (ICE) [3]
• Feature Interaction [4]
• Local interpretable model-agnostic explanations (LIME) [5]
• Scoped Rules (Anchors) [6]
• SHAP (SHapley Additive exPlanations) [7]

Partial Dependence Plot (PDP)

Gambar 2. Contoh PDP untuk prediksi kanker serviks.*

Partial Dependence Plot (PDP) menunjukkan efek marginal satu atau dua fitur pada hasil prediksi model pembelajaran mesin. Gambar 2 menunjukkan PDP probabilitas kanker dan interaksi usia dan jumlah kehamilan. Plot menunjukkan peningkatan kemungkinan kanker pada usia 45 tahun ke atas. Untuk usia di bawah 25, wanita yang memiliki 1 atau 2 kehamilan memiliki risiko kanker yang diprediksi lebih rendah, dibandingkan dengan wanita yang memiliki 0 atau lebih dari 2 kehamilan.

Individual Conditional Expectation (ICE)

Gambar 3. Contoh ICE untuk prediksi kanker serviks.*

Individual Conditional Expectation (ICE) menunjukkan bagaimana prediksi instans berubah saat fitur berubah. Gambar 3 menunjukkan kemungkinan kanker, ketika usia berubah: Bagi kebanyakan wanita, ada peningkatan kemungkinan kanker yang diprediksi dengan bertambahnya usia. Untuk beberapa wanita dengan kemungkinan kanker yang diprediksi di atas 0,4, prediksi tersebut tidak banyak berubah pada usia yang lebih tinggi.

Feature Interaction

Gambar 4. Contoh Feature Interaction pada prediksi kanker serviks.*

Ketika fitur berinteraksi satu sama lain, efek dari satu fitur tergantung pada nilai fitur lainnya. Seperti yang ditunjukkan pada Gambar 4, tahun penggunaan kontrasepsi hormonal memiliki efek interaksi relatif tertinggi dengan semua fitur lainnya. Ada interaksi yang kuat antara jumlah kehamilan dan usia.

Local interpretable model-agnostic explanations (LIME)

Gambar 5. Kiri: Gambar semangkuk roti. Tengah dan kanan: Penjelasan LIME untuk 2 kelas teratas (bagel, strawberry) untuk klasifikasi gambar.*

Penjelasan model-agnostik lokal yang dapat diinterpretasikan (LIME) digunakan untuk menjelaskan prediksi individu dari model pembelajaran mesin kotak hitam. Pada Gambar 5, kita melihat contoh aplikasi AI untuk klasifikasi gambar. Gambar yang digunakan menunjukkan beberapa roti yang dipanggang dalam mangkuk. Karena kami dapat memiliki beberapa prediksi label per gambar (diurutkan berdasarkan probabilitas), kami dapat menjelaskan label teratas. Prediksi teratas adalah “Bagel” dengan probabilitas 77%, diikuti oleh “Strawberry” dengan probabilitas 4%. Gambar berikut menunjukkan untuk “Bagel” dan “Strawberry” penjelasan LIME. Penjelasan dapat ditampilkan langsung pada sampel gambar. Hijau berarti bagian gambar ini meningkatkan kemungkinan label dan merah berarti penurunan.
Dengan contoh ini, kita bisa melihat bahwa selain untuk data tabular (angka dalam tabel), LIME juga dapat digunakan untuk gambar. Bayangkan, aplikasi AI untuk medis yang mengolah data image (seperti X-Rays untuk pasien Covid, dll) dapat dimunculkan penjelasan dengan menggunakan LIME sehingga dokter dan pasien bisa mudah memahami kenapa klasifikasi sistem AI memutuskan bahwa pasien si Fulan positif atau negatif Covid. Potensi implementasi XAI yang luar biasa bukan?

Scoped Rules (Anchors)

Gambar 6. Contoh implementasi Anchors untuk menjelaskan prediksi keselamatan penumpang kapal Titanic.*

Scoped Rules (Anchors) menjelaskan prediksi individu dari setiap model klasifikasi kotak hitam dengan menemukan aturan keputusan yang “menjangkar” prediksi secara memadai. Gambar 6 menunjukkan contoh penjelasan hasil prediksi: apakah penumpang selamat atau tidak dari bencana Titanic. Satu contoh sample dan prediksi model nya, kemudian penjelasan jangkar yang sesuai ditampilkan dalam bentuk logika IF-Then-Else yang mudah dipahami.

SHAP (SHapley Additive exPlanations)

Gambar 7. Contoh Shapley values pada prediksi kanker serviks.*

Shapley Values, sebuah metode dari Game Theory (teori permainan) koalisi, memberi tahu kita cara mendistribusikan “pembayaran” secara adil di antara fitur-fitur. Sebagai contoh di Gambar 7, dengan prediksi 0,57, probabilitas kanker wanita ini 0,54 di atas prediksi rata-rata 0,03. Jumlah PMS (STD) yang terdiagnosis meningkatkan kemungkinan paling besar. Jumlah kontribusi menghasilkan perbedaan antara prediksi aktual dan rata-rata (0,54).

Gambar 8. Contoh SHAP pada prediksi kanker serviks.*

SHAP (SHapley Additive exPlanations) menjelaskan prediksi individu berdasarkan nilai Shapley permainan yang optimal secara teoritis. Pada contoh SHAP explanation force plots di Gambar 8, wanita pertama memiliki prediksi risiko rendah sebesar 0,06. Efek peningkatan risiko seperti PMS diimbangi dengan penurunan efek seperti usia. Wanita kedua memiliki prediksi risiko tinggi sebesar 0,71. Usia 51 dan 34 tahun merokok meningkatkan risiko kanker yang diprediksinya.
Anda dapat memvisualisasikan atribusi fitur seperti nilai Shapley sebagai force (“kekuatan”). Setiap nilai fitur adalah kekuatan yang meningkatkan atau menurunkan prediksi. Prediksi dimulai dari baseline. Garis dasar untuk nilai Shapley adalah rata-rata dari semua prediksi. Dalam plot, setiap nilai Shapley adalah panah yang mendorong untuk meningkatkan (nilai positif) atau menurunkan (nilai negatif) prediksi. Kekuatan-kekuatan ini menyeimbangkan satu sama lain pada prediksi aktual dari instance data.

Kesimpulan

Artikel ini membahas Explainable AI (XAI), topik yang relative baru muncul di dunia AI dan ML. Kepopuleran XAI di luar negeri meningkat dengan cepat, seiring dengan berlakunya berbagai regulasi baru terkait privacy atau perlindungan data pribadi (PDP), seperti GDPR di Eropa. Penulis memprediksi bahwa Undang-Undang PDP yang akan berlaku di Indonesia bisa menjadi katalis yang mempercepat adopsi XAI untuk praktisi dan peneliti di Indonesia.
Tulisan ini bertujuan untuk menggelitik minat dan rasa kaingin-tahuan pembaca untuk mempelajari XAI lebih lanjut. Sengaja ditulis dengan bahasa yang ringan, supaya mudah dipahami oleh pelajar SMA dan masyarakat umum yang awam dengan dunia AI/ML. Pembaca yang ingin mendalami XAI bisa membaca buku terjemahan dan materi yang sudah penulis siapkan di https://www.its.ac.id/it/id/interpretable-machine-learning/ atau membeli buku yang kami tulis berjudul “Memahami Artificial Intelligence dan Penerapannya”, penerbit: PT. ITS Tekno Sains.
Peluang menjadi praktisi/professional dengan spesialisasi XAI masih terbuka sangat lebar, karena pakar XAI di Indonesia mungkin belum banyak. Peluang untuk penelitian dan riset XAI juga sangat besar, karena masih banyak research question dan tantangan yang perlu diselesaikan oleh peneliti AI dan ML. Departemen Teknologi Informasi, Fakultas Electics ITS menjadi pilihan yang tepat untuk menimba ilmu untuk menguasai bidang AI/ML dan juga XAI.
Tidak ada gading yang tidak retak, penulis menyadari bahwa tulisan ini pastilah banyak kesalahan, dan pastilah banyak hal yang bisa diperbaiki dan ditingkatkan. Mohon berkenan menyampaikan kritik saran kepada penulis melalui email: hatma [at] is. its. ac. id
Jangan lupa pakai masker, social distancing, rajin cuci tangan/suci hama, dan jaga prokes. Salam sehat!!!

*Sumber: https://www.its.ac.id/it/id/interpretable-machine-learning/

Referensi

[1] C. Molnar, Interpretable machine learning. Lulu. com, 2020.
[2] J. H. Friedman, “Greedy function approximation: a gradient boosting machine,” Annals of statistics, pp. 1189–1232, 2001.
[3] A. Goldstein, A. Kapelner, J. Bleich, and E. Pitkin, “Peeking Inside the Black Box: Visualizing Statistical Learning With Plots of Individual Conditional Expectation,” Journal of Computational and Graphical Statistics, vol. 24, no. 1, pp. 44–65, Jan. 2015, doi: 10.1080/10618600.2014.907095.
[4] J. H. Friedman and B. E. Popescu, “Predictive learning via rule ensembles,” The Annals of Applied Statistics, vol. 2, no. 3, pp. 916–954, 2008.
[5] M. T. Ribeiro, S. Singh, and C. Guestrin, “‘Why Should I Trust You?’: Explaining the Predictions of Any Classifier,” in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York, NY, USA, Aug. 2016, pp. 1135–1144. doi: 10.1145/2939672.2939778.
[6] M. T. Ribeiro, S. Singh, and C. Guestrin, “Anchors: High-precision model-agnostic explanations,” in Proceedings of the AAAI Conference on Artificial Intelligence, 2018, pp. 1527–1535.
[7] S. M. Lundberg and S.-I. Lee, “A Unified Approach to Interpreting Model Predictions,” in Advances in Neural Information Processing Systems, 2017, vol. 30, pp. 4765–4774.