چرا چتبات سازمانی شما جواب اشتباه میدهد؟
مشکل از مدل هوش مصنوعی نیست. از اسناد شماست.
- قیمت ثابت
- تحویل در یک هفته
- قرارداد عدم افشا پیش از شروع
گزارش ارزیابی اسناد
سازمان نمونه · ۱۲۰ سوال · ۲٬۴۱۰ سند
امتیاز دقت بازیابی
فقط ۴۹ از ۱۲۰ سوال به سند درست رسید
دلایل اصلی شکست
- اسناد اسکنشده بدون متن۳۸٪
- نسخههای متناقض از یک سند۲۶٪
- نیمفاصله و حروف عربی۲۱٪
- اسناد بدون تاریخ۱۵٪
استخراج متن (OCR) برای ۷۷۱ فایل اسکنشده
مناسب برای سازمانهایی با حجم بالای اسناد
- بانکها
- شرکتهای بیمه
- هلدینگها
- سازمانهای دولتی
- اپراتورهای مخابراتی
- مؤسسات حقوقی
مسئله
پاسخ اشتباه معمولاً از منبع اطلاعات میآید
بیشتر تیمها با دیدن پاسخ اشتباه، مدل را عوض میکنند. اما وقتی اسناد مشکل دارند، هیچ مدلی جواب درست نمیدهد. سه دلیل رایج:
اسناد اسکنشده
فایلهای تصویری متن ندارند و هوش مصنوعی اصلاً نمیتواند آنها را بخواند.
نسخههای تکراری و قدیمی
وقتی چند نسخه از یک سند وجود دارد، سیستم نمیداند کدام درست است.
بازیابی ضعیف فارسی
نیمفاصله، حروف عربی و اعداد فارسی باعث میشوند جستجو سند اشتباه را پیدا کند.
رویکرد رایج
- تعویض مدل زبانی
- خرید پلتفرم یا چتبات جدید
- بازنویسی پرامپتها
هزینهٔ بیشتر، همان پاسخهای اشتباه
رویکرد سنجه
- اندازهگیری دقت با سوالات واقعی کارکنان
- یافتن دقیق اسناد مشکلدار
- اصلاح منبع اطلاعات، نه تعویض ابزار
دلیل مشخص، اقدام مشخص
خروجی کار
آنچه تحویل میگیرید
یک گزارش مکتوب با چهار بخش مشخص. کنار هر بخش، نمونهای از آنچه در گزارش واقعی میبینید.
- ۱
امتیاز دقیق بازیابی بر اساس سوالات واقعی کارکنان شما
نه تستهای ساختگی: همان سوالاتی که کارکنان هر روز میپرسند، روی همان اسنادی که سیستم از آنها پاسخ میدهد.
نمونه۴۱٪دقت بازیابی
۴۹ از ۱۲۰ سوال واقعی کارکنان به سند درست رسید.
- ۲
تفکیک فایلها: چند سند قابل خواندن است و چند سند نیست
فایلهای اسکنشده بدون متن، نسخههای تکراری و اسناد بدون تاریخ، با نام و تعداد مشخص.
نمونه- سند بررسیشده
- ۲٬۴۱۰
- فایل بدون لایهٔ متنی
- ۷۷۱
- فایل تکراری یا نسخهٔ قدیمی
- ۱۸۶
- ۳
نمونه سوالاتی که شکست خوردند و دلیل آن
برای هر شکست: سندی که باید پیدا میشد و علت دقیق پیدا نشدنش، از لایهٔ متنی تا نیمفاصله و «ي» عربی.
نمونه«سقف وام ضروری کارکنان چقدر است؟»
پاسخ سیستم بر اساس بخشنامهٔ منسوخ ۱۴۰۱ بود
سند درست: بخشنامهٔ رفاهی ۱۴۰۳
دلیل: هر دو نسخه در مخزن بود و تاریخ نداشت
- ۴
فهرست اولویتبندیشده اقدامات اصلاحی
کارها به ترتیب اثر مرتب شدهاند؛ تیم فنی یا پیمانکارتان از اقدامی شروع میکند که بیشترین بهبود را میدهد.
نمونه- ۱استخراج متن (OCR) برای ۷۷۱ فایل
- ۲حذف ۱۸۶ نسخهٔ تکراری و قدیمی
- ۳یکسانسازی «ي» و «ك» در کل مخزن
روند کار
یک هفته، از اسناد تا گزارش
- ۱
روز اول
اسناد و سوالات خود را میفرستید
پس از امضای قرارداد عدم افشا، اسناد و فهرستی از سوالات واقعی کارکنان را تحویل میدهید.
- ۲
روز دوم تا ششم
ما آنها را تست و ارزیابی میکنیم
سوالات روی اسناد اجرا میشوند و علت هر پاسخ اشتباه تا سند مشخص ردیابی میشود.
- ۳
روز هفتم
یک هفته بعد گزارش را دریافت میکنید
گزارش کامل با امتیاز دقت، دلایل شکست و فهرست اقدامات اصلاحی تحویل داده میشود.
محرمانگی
اسناد شما محرمانه میماند
اسناد داخلی بانکها و بیمهها حساسترین دارایی آنهاست. این دو تعهد، بخشی از هر ارزیابی است.
قرارداد عدم افشا، پیش از هر چیز
پیش از دریافت حتی یک سند، قرارداد محرمانگی (NDA) امضا میشود.
حذف کامل دادهها پس از تحویل
پس از تحویل گزارش، تمام اسناد و دادههای دریافتی حذف میشوند.
هزینه
یک خدمت مشخص، یک قیمت ثابت
شامل
- گزارش کامل در چهار بخش
- اجرای سوالات واقعی کارکنان روی اسناد واقعی
- تحویل در هفت روز
- قرارداد عدم افشا و حذف دادهها پس از تحویل
درباره سنجه
تخصص هوش مصنوعی، متمرکز بر یک مسئله
سنجه از دل تجربهٔ ساخت و ارزیابی چتباتها و سیستمهای RAG در مقیاس سازمانی شکل گرفته است. ما فقط یک کار انجام میدهیم: پیدا کردن دلیل پاسخهای اشتباه در اسناد شما.
- مدلهای زبانی بزرگ
- ارزیابی RAG
- پردازش زبان فارسی
- OCR
- هوش مصنوعی عاملمحور
تجربهٔ اجرایی
- سرپرستی مهندسی هوش مصنوعیفناپ
- مدیریت فنی هوش مصنوعیاپلیکیشن بهینتو
- تحقیق و توسعهٔ مدلهای زبانی و چتبات سازمانیپارت و آرمان رایان
پشتوانهٔ پژوهشی
- دانشگاه صنعتی امیرکبیر
- دانشگاه علم و صنعت ایران
سوالات متداول
پیش از شروع
هنوز چتبات راهاندازی نکردهایم. این ارزیابی به کار ما میآید؟
بله. ارزیابی پیش از راهاندازی نشان میدهد اسناد شما برای هوش مصنوعی آمادهاند یا نه، و جلوی هزینه روی سیستمی را که از روز اول جواب اشتباه میدهد میگیرد.
چه چیزی باید از طرف ما آماده شود؟
اسنادی که سیستم باید از آنها پاسخ بدهد، و فهرستی از سوالاتی که کارکنان واقعاً از آن میپرسند.
آیا اصلاح اسناد هم بخشی از کار است؟
خروجی این خدمت، تشخیص دقیق و فهرست اقدامات اولویتبندیشده است. گزارش طوری نوشته میشود که تیم شما یا پیمانکارتان بتواند آن را مستقیم اجرا کند.
چرا قیمت ثابت است؟
دامنهٔ کار از قبل مشخص است: یک هفته، یک گزارش کامل. پیش از شروع میدانید دقیقاً چه چیزی و با چه هزینهای تحویل میگیرید.
شروع همکاری
درخواست ارزیابی
فرم را پر کنید تا برای هماهنگی شروع کار با شما تماس بگیریم.
پس از ارسال درخواست
- ۱
بررسی درخواست
درخواست شما بررسی میشود و برای هماهنگی با شما تماس میگیریم.
- ۲
امضای قرارداد عدم افشا
پیش از دریافت هر سند، قرارداد محرمانگی امضا میشود.
- ۳
شروع ارزیابی
ارزیابی یکهفتهای آغاز میشود و روز هفتم گزارش را دریافت میکنید.
ارتباط مستقیم
ترجیح میدهید مستقیم صحبت کنیم؟
بدون فرم، از هر راهی که برایتان راحتتر است پیام بدهید.