[BDD 2025 - Artificial Intelligence] Beyond 'It Works': A Case Study on Real-World AI Risk. (Rendra Toro)

[BDD 2025 - Artificial Intelligence] Beyond 'It Works': A Case Study on Real-World AI Risk. (Rendra Toro)

• 1.
  BDD Beyond ‘It Works’: ACase Study on Real-world AI Risk Rendra Toro | SVP Industry Solution Aplikanusa Lintasarta, PT.
• 2.
  Rendra Toro Work Experiences: ●SVP Industry Solution - Aplikanusa Lintasarta, PT. ● CEO - Lintas Media Danawa, PT. (subsidiary of Aplikanusa Lintasarta, PT.) ● CTO - OLX Indonesia Education: ● STMIK SWADHARMA Bachelor of Computer Science ● University of Indonesia Diploma Mechanical Engineering
• 3.
  The “It Works” Fallacy
• 4.
  Risiko AI "Beyond"Akurasi Bias & Fairness Model Anda "bekerja" tapi rasis, seksis, atau merugikan satu kelompok. (Contoh: AI rekrutmen) Data Drift Model Anda "bekerja" hari ini, tapi dunia berubah (misal: pandemi) dan data live tidak lagi sama dengan data training. Security & Adversarial Attacks Model Anda "bekerja" untuk input normal, tapi hancur oleh input yang dibuat khusus (Contoh: stiker di rambu lalu lintas mengelabui mobil). Reliability & Edge Cases Model Anda "bekerja" untuk 99% kasus, tapi gagal total di 1% kasus edge case yang kritis.
• 5.
  Project Smart-Moderation
• 6.
  The Case Study: "ProjectSmart-Moderation" Tujuan Sebuah platform e-commerce produk kreatif. Banyak review produk palsu (spam) dan review yang mengandung SARA/ujaran kebencian. Masalah Buat model AI (klasifikasi teks) untuk secara otomatis memoderasi sebuah platform e-commerce produk kreatif view yang masuk. Solusi Akurasi 95% dalam membedakan "Spam", "Hate Speech", dan "Aman". Metrik Sukses
• 7.
  The Case Study: The"It Works!" Moment
• 8.
  The Case Study: The"Real-World" Hits False Positive Review dari seller di daerah (misal: "Produknya mantul, recommended seller pokoke!") ditandai sebagai "Spam" karena bahasanya tidak standar. False Negative Spammer pintar. Mereka pakai typo halus, leetspeak, atau emoji. (Contoh: "B3l1 d! s!n! l3b!h mur@h"). Modelnya lolos. Bias Modelnya terlalu agresif. Review yang secara emosional "marah" (tapi valid, misal: "SAYA KECEWA BARANGNYA RUSAK!") sering ditandai sebagai "Hate Speech".
• 9.
  The Autopsy: What WentWrong? Risiko 3: Poor Problem Definition ● Kita menyamakan "marah" dengan "hate speech". ● Di dunia nyata, review negatif yang valid adalah data krusial untuk bisnis, bukan sesuatu yang harus disensor. ● Data training kita dilabeli oleh tim internal di Jakarta. ● Mereka tidak paham bahasa gaul/slang daerah. ● Hasil: AI-nya menjadi "Jakarta-sentris" dan bias terhadap bahasa non-standar. Risiko 1: Data Bias (Sampling Bias) ● Kita berlatih untuk melawan spam yang jelas. ● Kita tidak berlatih untuk melawan spammer yang tahu mereka sedang dilawan AI (mereka beradaptasi dengan leetspeak). Risiko 2: "Low-tech" Adversarial Attack
• 10.
  The Fix: From "Automation" to"Augmentation" Perbaikan Segera (Triage) Matikan filter otomatis. Ubah menjadi "sistem rekomendasi" untuk moderator manusia (Human-in-the-Loop). Perbaikan Data (Data) Meluncurkan program "Active Learning". Moderator manusia mengoreksi flag dari AI, dan data koreksi ini langsung dimasukkan kembali sebagai data training baru. Perbaikan Model (Rethink) ● Model tidak lagi binary (lolos/tidak). ● Model memberikan skor (0-100) untuk "Spam", "Hate Speech", "Marah". ● Aturan baru: Skor > 95% (blok otomatis). Skor 70-95% (masuk ke antrian moderator manusia).
• 11.
  A Framework for "ThinkingBeyond" Definisikan "Gagal" dengan Jelas "Gagal" bukan hanya akurasi rendah. "Gagal" adalah "membuat seller jujur frustasi" atau "meloloskan spammer". Data Adalah Cerminan Dunia (Yang Bias) Selalu tanya: "Siapa yang tidak ada di data ini?" ("Who is missing?"). Rencanakan "Human-in-the-Loop" (HITL) Jangan replace manusia. Supercharge mereka. Gunakan AI sebagai asisten. Monitor Outcomes, Bukan Metrics Jangan cuma monitor akurasi. Monitor business outcome (Contoh: "Jumlah komplain seller naik?" atau "Konversi penjualan turun?").
• 12.
  Data Validation Contoh : GreatExpectations Untuk mengecek data live sebelum masuk ke model. Model Monitoring Contoh : ● Prometheus/Grafana untuk infrastruktur ● Evidently AI/WhyLogs untuk data drift Your Toolkit for Real-World AI Fairness & Bias Audit Google's What-If Tool, Fairlearn Contoh : "Defense in Depth" Jangan pernah percaya pada satu model AI saja.
• 13.
  p-less Sampling: ARobust Hyperparameter-Free Approach for LLM Decoding http://bit.ly/4ppo3HE
• 14.
  Thank You rendra_toro rendra.toro rdatm rendratoro Get intouch nurendrantoro@lintasarta.co.id rdatm