Kecerdasan buatan tidak mengikuti logika kemajuan ilmiah
Kami telah menulis berkali-kali di MT tentang peneliti dan profesional yang menyatakan sistem pembelajaran mesin sebagai "kotak hitam" (1) bahkan bagi mereka yang membangunnya. Hal ini membuat sulit untuk mengevaluasi hasil dan menggunakan kembali algoritma yang muncul.
Jaringan saraf - teknik yang memberi kita bot pengonversi cerdas dan generator teks cerdik yang bahkan dapat membuat puisi - tetap menjadi misteri yang tidak dapat dipahami oleh pengamat luar.
Mereka menjadi lebih besar dan lebih kompleks, menangani kumpulan data yang sangat besar, dan menggunakan array komputasi yang sangat besar. Hal ini membuat replikasi dan analisis model yang diperoleh mahal dan terkadang tidak mungkin dilakukan oleh peneliti lain, kecuali untuk pusat besar dengan anggaran besar.
Banyak ilmuwan sangat menyadari masalah ini. Diantaranya adalah Joel Pino (2), ketua NeurIPS, konferensi utama tentang reproduktifitas. Para ahli di bawah kepemimpinannya ingin membuat "daftar periksa reproduktifitas".
Idenya, kata Pino, adalah untuk mendorong para peneliti untuk menawarkan peta jalan kepada orang lain sehingga mereka dapat membuat ulang dan menggunakan pekerjaan yang sudah dilakukan. Anda dapat mengagumi kefasihan generator teks baru atau ketangkasan manusia super dari robot video game, tetapi bahkan para ahli terbaik pun tidak tahu bagaimana keajaiban ini bekerja. Oleh karena itu, reproduksi model AI penting tidak hanya untuk mengidentifikasi tujuan dan arahan baru untuk penelitian, tetapi juga sebagai panduan praktis untuk digunakan.
Yang lain mencoba memecahkan masalah ini. Peneliti Google menawarkan "kartu model" untuk menjelaskan secara rinci bagaimana sistem diuji, termasuk hasil yang mengarah ke bug potensial. Para peneliti di Institut Allen untuk Kecerdasan Buatan (AI2) telah menerbitkan sebuah makalah yang bertujuan untuk memperluas daftar periksa reproduktifitas Pinot ke langkah-langkah lain dalam proses eksperimental. “Tunjukkan karyamu,” desak mereka.
Terkadang informasi dasar hilang karena proyek penelitian dimiliki, terutama oleh laboratorium yang bekerja untuk perusahaan. Lebih sering, bagaimanapun, itu adalah tanda ketidakmampuan untuk menggambarkan metode penelitian yang berubah dan semakin kompleks. Jaringan saraf adalah area yang sangat kompleks. Untuk mendapatkan hasil terbaik, penyetelan halus ribuan "kenop dan tombol" sering kali diperlukan, yang oleh sebagian orang disebut sebagai "ilmu hitam". Pilihan model yang optimal sering dikaitkan dengan sejumlah besar eksperimen. Sihir menjadi sangat mahal.
Misalnya, ketika Facebook mencoba meniru pekerjaan AlphaGo, sebuah sistem yang dikembangkan oleh DeepMind Alphabet, tugas itu terbukti sangat sulit. Persyaratan komputasi yang besar, jutaan percobaan pada ribuan perangkat selama beberapa hari, dikombinasikan dengan kurangnya kode, membuat sistem "sangat sulit, jika bukan tidak mungkin, untuk membuat ulang, menguji, meningkatkan, dan memperluas," menurut karyawan Facebook.
Masalahnya tampaknya khusus. Namun, jika kita berpikir lebih jauh, fenomena masalah dengan reproduktifitas hasil dan fungsi antara satu tim peneliti dan yang lain merusak semua logika berfungsinya ilmu pengetahuan dan proses penelitian yang kita kenal. Sebagai aturan, hasil penelitian sebelumnya dapat digunakan sebagai dasar untuk penelitian lebih lanjut yang merangsang perkembangan pengetahuan, teknologi, dan kemajuan umum.
