arXiv
رانش زبانی در پس‌آموزش RLVR مدل‌های زبانی
این پیش‌چاپ بررسی می‌کند چرا RLVR در وظایف استدلالی تازه می‌تواند زنجیره‌های فکر مدل‌های زبانی را…
سارا کیانی
arXivرانش زبانی در پس‌آموزش RLVR مدل‌های زبانی
سارا کیانیاین خلاصه بر پیش‌چاپ مقاله (تاریخگذاریشده ۲ اکتبر ۲۰۲۶) تکیه دارد و تا تاریخ تنظیم این خلاصه (۴ اکتبر ۲۰۲۶)، متن مقاله هیچ اشارهای به داوری همتا ندارد؛ بنابراین وضعیت داوری مستقل آن تأییدنشده است. پژوهش «رانش زبانی» را پدیدارشدن رفتار زبانی تازه، نامتعارف یا گاه دشوارخوان در زنجیره‌های فکر مدل‌های زبانی میداند؛ پدیدهای که می‌تواند فهم و پایش استدلال را برای انسان یا مدل‌های دیگر دشوار کند. دامنه تحلیل به مدل‌های متنی تولیدکننده زنجیره استدلال و پاسخ نهایی محدود است و مدل‌های چندوجهی عمداً کنار گذاشته شدهاند.
نویسندگان رانش زبانی را واگرایی KL میان توزیع خروجی مدل و یک توزیع مرجعِ زبان انسانی، بهطور میانگین روی پرسشهای آن توزیع، تعریف میکنند. این توزیع مرجع در عمل قابل محاسبه نیست و صرفاً ثابت اما ناشناخته فرض می‌شود. تحلیل نظری واژگان و طول پرسش، زنجیره استدلال و پاسخ را متناهی فرض می‌کند و برای توزیعهای مربوط پوشش کامل در نظر میگیرد. در چارچوب مقاله، پاداش RLVR فقط به درستی پاسخ نهایی وابسته است و محتوای زنجیره استدلال را مستقیماً پاداش یا جریمه نمیکند.
بخشی از خلاصه پژوهش را میخوانی. نتایج و محدودیتها در متن کامل آمدهاند.
خواندن کامل پژوهش ←