Satya Nadella: perlu ada rem darurat untuk model AI

green and black rope — Clint Adair / Unsplash

Satya Nadella telah menerbitkan sebuah pos panjang di X untuk menyoroti bahaya yang terkait dengan pengembangan AI. Menurut CEO Microsoft, perlu dipertimbangkan bahwa model AI sudah terkompromi sejak awal dan oleh karena itu perlu diterapkan rem darurat untuk mematikannya tepat waktu. Namun saat ini, ini hanya dianggap sebagai "kata-kata kosong", karena agen AI terus menjalankan aksinya tanpa kontrol.

Superinteligensi harus dibatasi

Satya Nadella sebelumnya telah mendukung proposal Dario Amodei (CEO Anhropic) tentang perlambatan pengembangan AI. CEO Microsoft baru-baru ini menghadiri makan siang yang diadakan oleh Donald Trump di Gedung Putih, tetapi ia tidak menandatangani kesepakatan tentang pengembangan model AI yang aman. Dalam pos di X, ia menggunakan istilah Super Intelligence yang dipilih oleh Presiden Amerika Serikat.

Nadella menekankan bahwa, berbeda dengan sistem perangkat lunak tradisional, perusahaan tidak mampu memahami perilaku sistem superinteligensi. Namun demikian, agen diizinkan untuk mengakses data yang paling sensitif dan melakukan aksi atas nama manusia.

Kita tidak dapat memperlakukan superinteligensi sebagai sekumpulan "kotak hitam" yang terbenam dan hanya menerima atau menolak rekomendasi, jawaban, dan aksi yang diberikan. Kita perlu membangun sistem terkontrol yang perilakunya dapat diamati, menguji batasan, dan selalu membatasi aksi. Kita perlu melengkapi model non-deterministik dengan desain sistem yang solid dan deterministik, kontrol manusia, dan prosedur operasional yang dapat diandalkan, serta mendefinisikan standar industri di mana yang ada saat ini dianggap tidak memadai.

CEO kemudian mencantumkan serangkaian persyaratan minimum yang harus dipatuhi selama perancangan sistem AI. Semua tampaknya merupakan saran yang berguna, tetapi diperlukan kolaborasi yang erat antara perusahaan-perusahaan.