فرهنگ اصطلاحات

توهم

توهم زمانی رخ می‌دهد که مدل زبانی پاسخی روان و مطمئن تولید کند که با واقعیت مطابقت ندارد. این پدیده ناشی از سازوکار پیش‌بینی متن است و به‌طور کامل حذف نمی‌شود، اما قابل کنترل است.

با نام دیگر Hallucination

خطر اصلی توهم در لحن آن است: مدل معمولاً پاسخ نادرست را با همان اطمینانی بیان می‌کند که پاسخ درست را. کاربر نشانه‌ای برای تشخیص ندارد.

روش‌های کاهش خطر در سیستم‌های سازمانی: اتصال پاسخ به داده واقعی به‌جای اتکا به دانش مدل؛ استفاده از پرس‌وجوی قطعی برای اعداد به‌جای تولید آن‌ها توسط مدل؛ اعتبارسنجی خروجی در برابر داده پیش از نمایش؛ لایهٔ نقد که ادعاهای بدون پشتوانه را رد کند؛ و الزام سیستم به اعلام سطح اطمینان و شکاف داده.

**نکتهٔ عملی برای ارزیابی محصول:** از فروشنده بپرسید سیستم در چه حالتی می‌گوید «نمی‌دانم». اگر پاسخ روشنی نداشت، احتمالاً چنین حالتی وجود ندارد.

فرآیندهایتان را عامل‌محور کنیم

از کجا شروع کنیم؟
توهم · دیدراه