Ringkasan
ARYN (Autonomous Agent Infrastructure) adalah proyek infrastruktur untuk mengelola seluruh siklus kerja agent AI, mulai dari perancangan konfigurasi hingga evaluasi dan peninjauan hasil eksekusi. Fokusnya adalah membuat tindakan agent dapat dikendalikan, perubahan perilakunya dapat diuji, dan hasil kerjanya dapat ditelusuri.
Proyek ini menghubungkan antarmuka pengelolaan, layanan API, penyimpanan operasional, serta adapter runtime dalam satu sistem. Pengembang dapat mengelola versi agent, menentukan ruang lingkup akses, membandingkan hasil evaluasi, dan meninjau tindakan yang memerlukan persetujuan.
Latar belakang dan tujuan
Sebuah agent dapat menghasilkan jawaban yang meyakinkan sekaligus mengambil keputusan yang sulit diperiksa. Perubahan prompt, model, atau akses tool juga dapat mengubah perilakunya tanpa terlihat pada demonstrasi singkat.
ARYN menangani persoalan tersebut melalui tiga tujuan:
- Menetapkan batas kewenangan agent sebelum eksekusi.
- Menguji perubahan konfigurasi dengan skenario dan kriteria evaluasi yang jelas.
- Menghubungkan hasil, persetujuan, dan riwayat eksekusi dengan versi agent yang digunakan.
Pendekatan ini ditujukan untuk pengembangan dan pengoperasian agent yang memerlukan peninjauan manusia, pengendalian akses, serta riwayat keputusan yang konsisten.
Arsitektur sistem
Antarmuka web terhubung ke ARYN API. Permintaan kemudian diperiksa oleh Core sebelum diteruskan ke adapter Hermes untuk eksekusi. Akses model dikelola melalui 9Router agar pilihan model dan ketersediaannya dapat diperiksa pada batas layanan.
Pembagian tanggung jawab utamanya meliputi:
- Core: identitas pengguna, ruang lingkup organisasi dan proyek, kebijakan akses, persetujuan tindakan, penggunaan, serta audit.
- Agent Factory: blueprint, versi konfigurasi yang tidak dapat diubah setelah dipublikasikan, penugasan, dan pemulihan ke versi sebelumnya.
- Bench: pelaksanaan skenario evaluasi, perbandingan dengan baseline, dan pemeriksaan regresi.
- Brief: pengumpulan bukti pendukung, penelusuran asal informasi, dan penanganan informasi yang saling bertentangan.
- Relay: investigasi insiden dan pemulihan pada target yang telah terdaftar serta disetujui.
Pemisahan ini menjaga agar antarmuka dan runtime mengikuti kebijakan yang diterapkan oleh layanan pengelola.
Alur kerja agent
- Pengembang menyiapkan blueprint dan menyimpan versi konfigurasi.
- Kandidat agent menjalani evaluasi di Bench.
- Hasil evaluasi diperiksa sebelum versi diajukan untuk persetujuan.
- Versi yang disetujui dipublikasikan dan ditugaskan pada proyek.
- Core memeriksa izin, model, serta batas penggunaan sebelum eksekusi.
- Hasil dan informasi audit disimpan untuk peninjauan.
Persetujuan terhubung dengan konfigurasi dan tindakan yang diperiksa. Perubahan konfigurasi memerlukan peninjauan yang sesuai. Kunci permintaan membantu mencegah eksekusi ganda ketika permintaan yang sama dikirim kembali.
Keputusan engineering
Versi konfigurasi dipertahankan. Perubahan agent menghasilkan versi baru sehingga evaluasi dan hasil lama tetap dapat dikaitkan dengan konfigurasi asalnya.
Evaluasi menjadi syarat promosi. Bench membedakan hasil lulus, gagal, dan belum terverifikasi. Regresi kritis terhadap baseline dapat menghentikan publikasi kandidat.
Kewenangan diperiksa pada layanan. Keluaran model dan deskripsi kemampuan tool tidak memberikan izin otomatis untuk melakukan tindakan. Operasi sensitif tetap memerlukan pemeriksaan dan persetujuan yang sesuai.
Kegagalan dibuat terlihat. Ketersediaan model yang belum diketahui menghentikan proses terkait. Sistem mempertahankan konteks model, keluaran, penggunaan, dan audit untuk membantu penelusuran masalah.
Hasil pengembangan dan evaluasi
Pengembangan mencakup pengelolaan konfigurasi agent, penyimpanan dan tata kelola Core, alur evaluasi Bench, serta integrasi runtime Hermes. Jalur evaluasi mencakup pemeriksaan deterministik dan perbandingan kandidat terhadap baseline yang telah diterima.
Pengujian dirancang pada beberapa tingkat, meliputi kontrak layanan, integrasi PostgreSQL, perilaku akses, antarmuka, dan alur browser. Fokus evaluasinya adalah konsistensi kewenangan, keterlacakan versi, dan penanganan kegagalan sepanjang siklus kerja.
Status dan pengembangan berikutnya
ARYN masih dalam pengembangan. Kesiapan operasional memerlukan validasi lanjutan terhadap penyedia identitas, database hosted, TLS, reverse proxy, jaringan runtime, dan integrasi model pada lingkungan tujuan.
Prioritas berikutnya adalah menyelesaikan validasi tersebut, memperluas skenario evaluasi, dan memperkuat proses pemulihan. Pengembangan tetap mempertahankan peninjauan manusia pada tindakan sensitif.
Kode dan dokumentasi
Fokus pengembangan
Proyek infrastruktur mandiri dengan fokus pada konfigurasi agent, arsitektur layanan, alur evaluasi, pengendalian akses, dan integrasi runtime.