فرهنگ اصطلاحات
استنباط مدل
استنباط مدل همان لحظه اجرای مدل برای تولید پاسخ یا درخواست ابزار است. هزینه، تأخیر و سقف توکن همه در همین لحظه رخ میدهند.
با نام دیگر Inference
آموزش مدل یکبار و گران است؛ استنباط همان کاری است که با هر سؤال مدیر فروش تکرار میشود. به همین دلیل سیستم خوب کارهای تکراری و محاسبات دقیق را از استنباط جدا میکند.
انتخاب مدل برای استنباط یک تصمیم عملیاتی است: مدل قویتر لزوماً برای شمارش فاکتور بهتر نیست.
فرآیندهایتان را عاملمحور کنیم
از کجا شروع کنیم؟