اعتماد به هوش مصنوعی؛ چرا «نمیدانم» گاهی از جواب کامل بهتر است؟

هوش مصنوعیای که به پرسش بیشتری جواب میدهد، لزوماً برای تصمیم مالی قابلاعتمادتر نیست. ممکن است در کنار چند پاسخ درستِ بیشتر، تعداد بیشتری جواب غلط هم تحویل دهد؛ بهخصوص وقتی حاضر نیست بگوید اطلاعات کافی ندارد. برای کسی که با پاسخ AI درباره هزینه، مهلت یا شرایط یک خدمت تصمیم میگیرد، این تفاوت از رتبه بالاتر در یک جدول مهمتر است.
پرسش اصلی در انتخاب ابزاری مثل ChatGPT فقط «چند جواب درست میدهد؟» نیست؛ باید پرسید «وقتی نمیداند، چه میکند؟» پاسخندادنِ بیدلیل مفید نیست، اما حدسزدنِ یک عدد مالی با لحن مطمئن هم نباید امتیاز مثبت بگیرد.
فهرست مطالب
تناقض یک آزمون: پاسخ درست بیشتر، خطای بسیار بیشتر
OpenAI در مطلب پژوهشی ۵ سپتامبر ۲۰۲۵ نمونهای از ارزیابی SimpleQA را نقل کرده است: مدل o4-mini به ۲۴ درصد پرسشها درست پاسخ داده و ۷۵ درصد پاسخ غلط داشته است؛ برای gpt-5-thinking-mini این اعداد بهترتیب ۲۲ و ۲۶ درصد بودهاند. سهم خودداری از ارائه پاسخ مشخص نیز بهترتیب ۱ و ۵۲ درصد گزارش شده است.
بنابراین اگر فقط ستون پاسخ درست را بخوانیم، مدل اول اندکی جلوتر است؛ اگر هزینه جواب غلط مهم باشد، تصویر عوض میشود. این اعداد مربوط به همان ارزیابی تاریخی هستند؛ نرخ خطای همه پاسخهای ChatGPT، مدلهای فعلی یا سؤالهای فارسی و مالی نیستند. زد ارز این آزمون را دوباره اجرا نکرده است.
خود OpenAI استدلال میکند امتیازدهی صرفاً بر مبنای جواب درست میتواند حدس را تشویق کند و پیشنهاد میدهد خطای مطمئن، بیش از بیان عدم قطعیت جریمه شود. این توضیح سازنده درباره یک مسئله فنی است، نه اثبات قصد فریب در یک محصول.

«نمیدانم» چه زمانی به کاربر کمک میکند؟
فرض کنید برای یک خدمت مالی، مبلغ اولیه و آخرین مهلت اقدام را میپرسید. ابزار به متن اطلاعیه دسترسی ندارد، اما از روی یک گزارش قدیمی عدد و تاریخ میسازد. پاسخ کامل و مرتب به نظر میرسد؛ مشکل زمانی آشکار میشود که شما بر اساس همان تاریخ برنامهریزی کردهاید.
این مثال فرضی و آموزشی است و به هیچ خدمت یا مهلت واقعی اشاره ندارد. پاسخ مفید در چنین وضعی میتواند این باشد: «متن اطلاعیه فعلی را ندارم؛ این دو مورد قابل تأیید نیست. اگر سند را بدهید، شرایط و تاریخ را از آن استخراج میکنم.» چنین پاسخی کار را تمام نمیکند، اما مرز دانسته و نادانسته را روشن نگه میدارد.
در مقابل، اگر متن روشن و کامل سند را در اختیار ابزار گذاشتهاید و فقط میخواهید تاریخ نوشتهشده را پیدا کند، خودداری بیتوضیح هم کیفیت مطلوبی نیست. هدف، پاسخ کمتر نیست؛ هدف، پاسخ متناسب با شواهد است. هم جواب غلط و هم ناتوانی بیدلیل در انجام کار، باید در ارزیابی شما دیده شوند.
چرا یک امتیاز نمیتواند هزینه اشتباه را نشان دهد؟
دو خطا ممکن است در یک جدول هرکدام یک پاسخ غلط محسوب شوند، اما برای شما پیامد یکسانی نداشته باشند. اشتباه در پیشنهاد نام یک فایل با اشتباه در مبلغ پرداختی یا مهلت اقدام فرق دارد. حتی یک پاسخ درست هم اگر مربوط به نسخه منقضی سند باشد، برای تصمیم امروز کافی نیست.
به همین دلیل، هنگام مقایسه ابزارها یک فهرست کوتاه از کارهای واقعی خودتان تهیه کنید: استخراج عدد از فاکتور، خلاصهسازی شرایط، یافتن تناقض دو بند یا تشخیص داده گمشده. برای هر پاسخ بنویسید آیا مدرک قابل بررسی دارد، چه چیزی جا افتاده و خطا چه اثری بر کار میگذارد. نتیجه این بررسی شخصی را بدون نمونه کافی به رتبه عمومی همه ابزارها تبدیل نکنید.
در مقاله اصلی پژوهشگران، ثبتشده در ۴ سپتامبر ۲۰۲۵، مسئله از منظر آماری و شیوه ارزیابی مدلها بررسی شده است. این پژوهش، آزمایش سودآوری سرمایهگذاری یا مطالعه کاربران ایرانی نیست؛ از آن نمیتوان درصد کاهش زیان، برتری همیشگی یک مدل یا تضمین درستشدن پاسخ با یک پرامپت را استخراج کرد.
پاسخ سازنده چیست؛ جستوجو مشکل را حل میکند؟
راهنمای رسمی OpenAI درباره صحت پاسخها که در ۱۰ آبان ۱۴۰۵ بررسی شد، صریحاً امکان پاسخ غلط با لحن مطمئن و حتی ارجاع ساختگی را توضیح میدهد. در همان راهنما، جستوجوی وب، تحلیل داده و پژوهش چندمنبعی ابزارهایی برای بهبود پاسخ معرفی میشوند؛ همچنان بر بررسی اطلاعات مهم و بازکردن منابع تأکید شده است.
این موضع، هم محدودیت را میپذیرد و هم نقش ابزارهای کمکی را روشن میکند. برای کاربر، نتیجه عملی این است که داشتن لینک را با تأیید محتوا یکی نگیرد: آیا صفحه باز میشود؟ آیا همان عدد و شرط در متن آمده؟ تاریخ انتشار با تاریخ اجرای شرط یکی است؟ نام ابزار یا لحن قاطع، جای پاسخ این پرسشها را نمیگیرد.

از پاسخ مالی چه بخواهیم تا ابهام پنهان نشود؟
برای کارهای حساس به عدد و زمان، درخواست خود را محدود و قابل کنترل بنویسید:
فقط بر اساس سند پیوست پاسخ بده. مبلغ، واحد پول، تاریخ انتشار و تاریخ اجرا را جدا کن. برای هر مورد، محل آن در سند را مشخص کن. اگر چیزی در متن نیست، «نامشخص» بنویس و آن را از تجربه قبلی یا حدس پر نکن. تناقضها را گزارش کن و تا رفع ابهام نتیجه قطعی نده.
این دستور تضمین عملکرد نیست؛ خروجی باید با سند اصلی تطبیق داده شود. برای محاسبات نیز علاوه بر متن توضیحی، داده ورودی و روش محاسبه را نگه دارید. راهنمای محاسبه بازده با AI و کنترل مستقل XIRR نمونهای از همین جداسازیِ مرتبکردن داده و تأیید نتیجه است.
اگر ابزار پس از اعتراض شما فقط پاسخ را عوض کرد، تغییر لحن را شاهد حل مسئله ندانید. باید معلوم شود کدام سند یا محاسبه تازه، پاسخ قبلی را اصلاح کرده است. این نکته با مسئله موافقت بیدلیل چتبات با کاربر ارتباط دارد، اما معیار اینجا کیفیت شاهد و مدیریت عدم قطعیت است.
برای انتخاب ابزار، تعداد جوابهای کامل را بهتنهایی نشمارید. پاسخ درست، خطای مهم و ابهامی که بهدرستی آشکار شده، سه خروجی متفاوتاند. ابزاری ارزشمندتر است که در کار مشخص شما مفید باشد و مرز اتکاپذیری پاسخ را پنهان نکند.
نام ChatGPT و نشان OpenAI متعلق به صاحب آن است؛ استفاده تحریریهای از نشان به معنی همکاری یا تأیید رسمی زد ارز نیست.









