Apa itu keamanan AI agenik?

Sistem AI tradisional dirancang untuk melakukan tugas tertentu yang telah ditentukan berdasarkan input atau data historis. Upaya keamanan biasanya fokus pada perlindungan model, pengamanan data pelatihan, dan validasi output selama operasi. Langkah-langkah ini membantu organisasi menjaga integritas dan keandalan dalam cakupan yang ditentukan.

Kemampuan otonomi dan pengambilan keputusan dari AI agenik membawa tantangan yang tidak dapat diatasi oleh pendekatan tradisional. Perbedaan utama meliputi:

• Perilaku sistem: Sistem AI tradisional merespons perintah atau input, sementara sistem AI agenik secara aktif merencanakan dan menjalankan tugas. Karena agen dapat mengambil tindakan secara independen, keputusan mereka dapat berdampak langsung pada operasional.
• Pengambilan keputusan: AI tradisional biasanya mengikuti output logika atau model yang telah ditentukan sebelumnya. AI agenik mengadaptasi keputusan berdasarkan konteks dan hasil perantara, sehingga perilakunya tidak selalu dapat diprediksi dan meningkatkan kebutuhan untuk pemantauan berkelanjutan dan pagar pembatas.
• Lingkup aktivitas: AI tradisional sering beroperasi dalam satu aplikasi atau alur kerja. AI agenik dapat menjangkau beberapa sistem, alat, dan sumber data, sehingga meningkatkan potensi dampak dari kesalahan atau penyusupan.
• Penggunaan alat: AI tradisional umumnya bergantung pada integrasi yang telah ditentukan sebelumnya. AI agenik dapat secara dinamis memanggil API, alat, dan layanan, sehingga menciptakan titik masuk tambahan bagi penyalahgunaan atau serangan.
• Identitas dan akses: AI tradisional dapat berjalan di bawah identitas layanan bersama atau implisit. Sistem AI agenik biasanya memerlukan identitas yang berbeda dan izin yang telah ditentukan, sehingga penting untuk menetapkan tata kelola identitas dan akses dengan hak istimewa minimum.
• Permukaan serangan: Keamanan AI tradisional berfokus utamanya pada perlindungan input model dan data pelatihan. AI agenik memperluas permukaan serangan hingga mencakup alat, alur kerja, memori, dan sistem yang terhubung, sehingga meningkatkan paparan terhadap penyalahgunaan dan penyusupan.

Organisasi yang menggunakan proses terstruktur lebih mungkin mengidentifikasi, memahami, dan mengelola risiko yang mungkin dihadapi sistem. Saat memodelkan ancaman dalam sistem AI agenik, penting untuk tidak hanya mencakup aplikasi, infrastruktur, dan aliran data, tetapi juga menyertakan:

Tujuan dan perilaku agen

Identifikasi potensi tindakan yang tidak diinginkan dengan mendefinisikan rancangan tindakan agen, termasuk:

• Tujuan apa yang dapat dicapai.
• Cara agen merencanakan dan menjalankan tugas.
• Tingkat otonomi yang dimilikinya.

Identitas dan akses

Akses yang terlalu luas meningkatkan risiko penyusupan atau penyalahgunaan. Saat menyiapkan identitas, evaluasi:

• Sistem dan data yang dapat diakses agen.
• Apakah izin mengikuti prinsip hak istimewa minimum.
• Cara agen mengautentikasi ke layanan lain.

Alat dan integrasi

Sistem agenik mengandalkan alat eksternal untuk menyelesaikan tujuan, yang dapat memperluas permukaan serangan. Untuk melindungi lingkungan Anda, definisikan:

• API, plugin, dan database yang dapat dihubungi agen.
• Apakah input dan output alat divalidasi.
• Cara tindakan diotorisasi dan dibatasi.

Input dan sumber data

Agen terus mengambil informasi dari orang dan sistem eksternal. Untuk mengurangi risiko input yang tidak tepercaya, lihat:

• Paparan terhadap injeksi perintah atau input berbahaya.
• Peracunan atau manipulasi data.
• Batas kepercayaan antara data internal dan eksternal.

Memori dan status

Banyak agen menyimpan konteks seiring waktu, yang dapat memperkuat dampak serangan. Untuk mengurangi risiko ini, pertimbangkan:

• Data apa yang disimpan dalam memori.
• Apakah informasi sensitif dijaga atau diungkap.
• Cara memori dapat diubah atau dirusak.

Penyelesaian tugas dan tindakan

Untuk membantu mencegah risiko teknis menjadi risiko operasional, evaluasi:

• Tindakan apa yang dapat dilakukan agen tanpa persetujuan dari manusia.
• Pengamanan yang akan membantu membatasi operasi berisiko tinggi.
• Skenario yang dapat menyebabkan kaskade tindakan di seluruh sistem.

Pemantauan dan respons

Karena perilaku bersifat dinamis, visibilitas adalah kuncinya. Pemantauan yang dapat membantu Anda mendeteksi atau berisi masalah secara real time mencakup:

• Mencatat log keputusan dan tindakan.
• Mendeteksi anomali atau pelanggaran kebijakan.
• Membuat kemampuan untuk menjeda, menimpa, atau menonaktifkan agen.

Mengatasi risiko di awal proses desain dan penyebaran dapat membantu Anda menjaga kepercayaan dan integritas operasional. Saat Anda membuat model ancaman terhadap sistem AI agenik, Anda mungkin akan mengidentifikasi risiko di seluruh kategori yang mencakup:

Risiko otonomi

Karena agen membuat keputusan sendiri, agen mungkin mengambil tindakan yang tidak sepenuhnya Anda antisipasi. Satu kesalahan tunggal dapat memicu rangkaian langkah otomatis di seluruh sistem terhubung, yang menyebabkan perubahan yang tidak diinginkan, masalah data, atau gangguan operasional. Otonomi juga membuat perilaku lebih sulit diprediksi. Karena agen beradaptasi dengan input dan kondisi baru, akan lebih sulit untuk menguji setiap skenario atau mengandalkan aturan tetap.

Risiko keamanan

Koneksi ke API, sistem identitas, dan alat eksternal meningkatkan paparan. Jika penyerang dapat memanfaatkan integrasi ini, mereka dapat mengeskalasi akses atau menyamar sebagai sistem tepercaya, yang mengakibatkan potensi kehilangan data atau masalah operasional.

Risiko keamanan dan tata kelola

Sifat otonom autentikasi AI menjadikan pengawasan sangat penting. Tanpa tata kelola yang kuat, akan sulit untuk melacak peristiwa yang terjadi, memahami alasan agen membuat keputusan, atau menentukan siapa yang bertanggung jawab.

Risiko rantai pasokan dan model

AI agenik sering mengandalkan model, pustaka, dan alat pihak ketiga, yang masing-masing menambah lapisan risiko baru. Jika salah satu komponen ini disusupi, komponen tersebut dapat memengaruhi seluruh sistem. Misalnya, penyerang dapat menggunakan pembaruan berbahaya ke API pihak ketiga untuk memanipulasi perilaku agen.

Pertimbangan etis

Tanpa kontrol yang tepat, agen mungkin menghasilkan hasil bias atau menangani data dengan cara yang bertentangan dengan privasi atau ekspektasi peraturan. Standar yang jelas membantu organisasi menegakkan keadilan, transparansi, dan kepatuhan.

Anda dapat membantu menjadikan sistem AI Anda aman, andal, dan selaras dengan tujuan bisnis dengan berfokus pada beberapa area inti. Pilar ini memungkinkan Anda untuk mempertahankan kontrol atas perilaku, akses, dan interaksi dengan sistem lain, sehingga agen Anda dapat membuat keputusan dan melakukan tugas dengan minim risiko.

Manajemen identitas dan akses

Untuk menjaga akuntabilitas dan keterlacakan, perlakukan sistem AI agenik Anda sebagai identitas kelas satu dan sertakan ke dalam kerangka kerja tata kelola identitas yang ada. Tetapkan kredensial unik ke setiap agen, terapkan akses hak istimewa minimum, dan terapkan mekanisme autentikasi yang kuat.

Pagar pembatas dan pemberlakuan kebijakan

Anda dapat mengatur batas eksplisit untuk perilaku agen melalui kontrol berbasis kebijakan. Pagar pembatas harus membatasi alat mana yang dapat diakses agen, tindakan apa yang dapat diambil, dan kondisi yang berlaku. Penerapan kebijakan real time akan membantu Anda mencegah tindakan yang tidak sah atau tidak aman.

Observabilitas dan pemantauan

Observabilitas memberikan visibilitas terhadap perilaku, keputusan, akses data, dan penggunaan alat oleh agen. Hal ini memungkinkan organisasi mendeteksi anomali, menyelidiki risiko, dan menerapkan tata kelola sehingga agen beroperasi dengan aman, transparan, dan sejalan dengan kebijakan. Pemantauan berkelanjutan sangat penting untuk mendeteksi anomali dalam perilaku agen. Terapkan analitik yang melacak tindakan, keputusan, dan penggunaan alat agen.

Perlindungan data

Agen sering menangani data sensitif saat menjalankan tugas. Untuk mengurangi risiko kebocoran, terapkan enkripsi ke data saat transit dan tidak aktif, terapkan praktik minimalisasi data yang ketat, dan pantau akses data yang tidak sah.

Keamanan model dan rantai pasokan

Keamanan rantai pasokan perangkat lunak Anda berperan penting dalam keamanan AI agenik. Penting untuk memvalidasi bahwa model, API, dan alat pihak ketiga dapat dipercaya dan berperilaku sesuai yang diharapkan. Untuk komponen eksternal apa pun, verifikasikan bukti melalui praktik seperti penandatanganan kode, validasi paket, dan sumber distribusi tepercaya.

Tata kelola dan pengawasan manusia

Terakhir, untuk menyelaraskan AI agenik Anda dengan prinsip AI yang bertanggung jawab dan persyaratan kepatuhan regulasi, putuskan tindakan yang diizinkan, siapa yang bertanggung jawab, dan cara Anda akan memberlakukan keputusan.

Mengamankan AI agenik memerlukan pendekatan proaktif berlapis yang mengatasi tantangan teknis dan tata kelola. Beberapa praktik terbaik dapat membantu Anda membangun dan menskalakan sistem yang memenuhi tujuan bisnis sekaligus mengelola risiko.

Mulai dengan tugas yang sempit dan terlingkup dengan jelas

Mulai dengan menyebarkan AI agenik di lingkungan terkontrol dengan fungsionalitas terbatas. Menetapkan agen ke tugas berisiko rendah dan jelas akan membantu Anda meminimalkan dampak jika terjadi kesalahan.

Gunakan lingkungan dalam sandbox untuk tindakan agen

Untuk mengurangi risiko terhadap lingkungan produksi dan data sensitif, isolasi operasi agen di lingkungan sandbox atau virtualisasi. Terapkan kontrol klasifikasi data, seperti label sensitivitas, untuk memastikan agen hanya berinteraksi dengan data yang disetujui berdasarkan klasifikasi dan sensitivitas.

Terapkan pagar pembatas berlapis

Mungkin sulit untuk memantau dan mengontrol sistem dinamis, tetapi Anda dapat membatasi perilaku agen dengan menentukan alat yang dapat diakses, tindakan yang dapat dilakukan, dan kondisi yang berlaku. Tetapkan identitas yang berbeda ke agen dan terapkan kontrol akses berbasis peran untuk mengatur data dan sistem yang dapat diakses agen. Untuk kontrol maksimum, gabungkan kebijakan statis dengan pemeriksaan runtime dinamis.

Uji injeksi perintah dan jailbreak secara terus-menerus

Karena AI agenik dapat bertindak secara otonom dan merangkai beberapa tindakan bersamaan, terdapat risiko penyerang akan memanipulasi salah satu inputnya untuk membuat agen berperilaku secara tidak aman atau tidak diinginkan. Lakukan latihan red teaming dan pengujian lawan secara rutin untuk menangkap kelemahan sebelum penyerang melakukannya.

Tetapkan jalur eskalasi dan alur kerja tata kelola

Buat prosedur eskalasi yang jelas untuk tindakan berisiko tinggi. Untuk operasi sensitif, seperti transaksi keuangan atau perubahan konfigurasi sistem, terapkan titik pemeriksaan human-in-the-loop.

Selaraskan dengan prinsip AI yang bertanggung jawab

Buat agen yang mematuhi standar etika, panduan keadilan, dan persyaratan peraturan dengan menggabungkan pengujian bias, tinjauan kemudahan penjelasan, dan validasi kepatuhan. Undang-undang privasi AI dan data terus berkembang, jadi sebaiknya evaluasi ulang secara berkala seberapa baik sistem Anda tetap mematuhinya.

Tidak semua kasus penggunaan AI agenik memiliki risiko yang sama. Memahami perbedaan antara skenario berisiko rendah dan berisiko tinggi dapat membantu Anda memprioritaskan tempat memulai dan kontrol yang akan diterapkan. Dua kasus penggunaan keamanan AI agenik umum membantu menjelaskan perbedaannya:

Triase dukungan pelanggan (berisiko rendah)

Dalam skenario ini, sistem AI agenik membantu tim dukungan pelanggan dengan mengategorikan tiket masuk, menyarankan respons, dan meneruskan masalah ke departemen yang tepat.

• Mengapa ini berisiko rendah:
  • Agen beroperasi dalam lingkungan yang terkontrol.
  • Tindakan terbatas pada klasifikasi tiket dan saran respons.
  • Tidak ada akses langsung ke sistem keuangan atau operasional sensitif.
• Pertimbangan keamanan:
  • Terapkan pagar pembatas untuk mencegah agen mengeskalasi tiket tanpa persetujuan.
  • Pantau upaya injeksi perintah yang dapat memanipulasi perutean tiket.

Otomatisasi transaksi keuangan (berisiko tinggi)

Di sini, sistem AI agenik berwenang untuk memulai dan menyetujui transaksi keuangan berdasarkan aturan bisnis yang telah ditentukan sebelumnya.

• Mengapa ini berisiko tinggi:
  • Agen memiliki akses langsung ke sistem keuangan dan data sensitif.
  • Terdapat potensi penipuan skala besar atau gangguan operasional jika disusupi.
• Pertimbangan keamanan:
  • Terapkan manajemen akses dan identitas yang ketat untuk agen.
  • Terapkan persetujuan human-in-the-loop untuk transaksi bernilai tinggi.
  • Pantau terus pola transaksi yang janggal.

Sebelum menyebarkan atau menskalakan sistem AI agenik, luangkan waktu untuk memeriksa kembali kesiapan organisasi Anda di beberapa area utama:

• Kematangan tata kelola. Apakah jalur eskalasi dan alur kerja persetujuan sudah tersedia?
• Kontrol identitas. Apakah agen diperlakukan sebagai identitas unik dengan akses hak istimewa minimum?
• Kemampuan pemantauan. Apakah organisasi dapat mendeteksi dan merespons perilaku agen yang tidak wajar secara real time?
• Toleransi risiko. Apakah bisnis memahami dan menerima potensi dampak dari otonomi agen dalam kasus penggunaan yang dipilih?

Dengan memulai skenario berisiko rendah dan secara bertahap memperkenalkan AI agenik ke alur kerja yang lebih kompleks, organisasi Anda dapat membangun kepercayaan diri sekaligus menjaga keamanan dan kepatuhan.

Mengamankan AI agenik adalah bagian inti dari mengadopsi sistem otonom secara bertanggung jawab. Karena sistem ini mengambil lebih banyak pengambilan keputusan dan terhubung di seluruh lingkungan, sistem ini memperkenalkan risiko yang tidak dapat ditangani pendekatan keamanan tradisional. Tata kelola identitas, penerapan kebijakan yang jelas, dan pemantauan berkelanjutan berperan untuk menjaga sistem tetap selaras dengan niat bisnis dan persyaratan kepatuhan. Dengan mengambil pendekatan proaktif, Anda akan membantu menjaga kepercayaan, mengurangi paparan terhadap ancaman yang muncul, dan menjaga perilaku otonom dalam batasan yang ditentukan.

Anda dapat mendukung penyebaran AI secara lebih aman di organisasi Anda dengan sekumpulan solusi keamanan AI agenik terpadu dari Microsoft. Microsoft Security menyatukan kemampuan manajemen identitas dan akses, deteksi ancaman, perlindungan data, dan tata kelola untuk membantu Anda mempertahankan kontrol terhadap sistem otonom. Dengan AI untuk keamanan cyber bawaan, Anda dapat mempercepat penyelidikan dan membantu tim bekerja sama secara lebih efisien. Bersama-sama, solusi ini memberikan fondasi praktis untuk mengelola risiko, sehingga melindungi sistem AI dan mendukung penggunaan AI agenik yang bertanggung jawab.