فرهنگ اصطلاحات
توکن
توکن کوچکترین واحدی است که مدل زبانی متن را با آن پردازش میکند و معمولاً بخشی از یک کلمه است. هزینهٔ استفاده از مدلهای زبانی بر مبنای تعداد توکن محاسبه میشود.
با نام دیگر Token
برای مدیران، اهمیت توکن در دو جاست: هزینه و محدودیت. هزینهٔ هر پرسوجو مستقیماً به تعداد توکن ورودی و خروجی بستگی دارد، و پنجرهٔ زمینه نیز بر حسب توکن سنجیده میشود.
نکتهٔ عملی برای زبان فارسی: متن فارسی معمولاً به توکن بیشتری نسبت به متن انگلیسی معادل تجزیه میشود، بنابراین هزینهٔ پردازش متن فارسی بالاتر است. یک سیستم خوب طراحیشده این را با ذخیرهسازی پاسخهای تکراری و استفاده از منطق قطعی بهجای مدل در کارهای ساده جبران میکند.
فرآیندهایتان را عاملمحور کنیم
از کجا شروع کنیم؟