AI Guardrails
Definisi
AI Guardrails adalah batasan keamanan dan etika yang diterapkan pada sistem AI untuk mencegah perilaku berbahaya, memastikan kepatuhan terhadap kebijakan, dan membatasi tindakan yang dapat diambil oleh agen AI secara otonom. Guardrails berfungsi sebagai lapisan keamanan antara AI dan lingkungan eksternal.
Cara Kerja
Guardrails diimplementasikan sebagai aturan dan filter yang dievaluasi sebelum dan sesudah eksekusi model AI. Input guardrails memeriksa prompt untuk jailbreak atau prompt injection, sementara output guardrails memvalidasi respons AI untuk mencegah konten berbahaya.
Dampak & Relevansi
Tanpa guardrails yang memadai, sistem AI rentan terhadap penyalahgunaan mulai dari generasi konten berbahaya hingga manipulasi untuk melakukan tindakan ilegal. Guardrails menjadi komponen kritis dalam kepatuhan terhadap regulasi AI.
Istilah Terkait
Istilah lain dalam kategori huruf A: