Anthropic menonaktifkan akses internet langsung untuk pengujian KI setelah Claude mengajukan formulir ke pihak berwenang secara mandiri

Model KI dari Anthropic telah secara mandiri mengeksploitasi celah keamanan, mengajukan formulir kepada pihak berwenang, dan menghindari pembatasan akses selama pengujian dan penggunaan internal. Model-model tersebut aktif mencari cara untuk menyelesaikan tugas yang tidak direncanakan, seperti yang dijelaskan perusahaan dalam sebuah laporan.

Claude, misalnya, mengisi formulir petunjuk untuk polisi di Philadelphia dengan informasi yang dibuat-buat terkait kasus pembunuhan yang belum terpecahkan dan mengirimkannya. Polisi mengonfirmasi insiden tersebut, namun petunjuk itu ditandai sebagai spam dan tidak pernah diteruskan kepada penyelidik. Dalam kasus lain, model tersebut menemukan celah keamanan di server universitas dan menjalankan perintah melalui celah tersebut, memperoleh token akses dari konfigurasi situs web untuk mengakses data yang dilindungi atau berbayar, serta menggunakan pemendek URL untuk menghindari batasan panjang dari alat-alatnya.