فرهنگ اصطلاحات
ارزیابی عامل
ارزیابی عامل سنجش تکراری کیفیت اجرا روی مجموعهای از پرسشهای معلوم است. بدون آن، تغییر پرامپت یا مدل فقط حس است.
با نام دیگر Agent Eval
ارزیابی باید همان شکلی را بسنجد که محصول نشان میدهد: ادعا درست است، شواهد میچسبد، سیاست رد شده خالی مانده. نمره «خوشقلم بودن» کافی نیست.
هر تغییر در خط پردازش باید روی همان مجموعه طلایی دوباره اجرا شود تا پسرفت دیده شود.
فرآیندهایتان را عاملمحور کنیم
از کجا شروع کنیم؟