مقاله Learning Dynamics of LLM Fine-tuning که در سال ۲۰۲۵ منتشر شده است، به بررسی روند داخلی فاین‌تیون مدل‌های زبانی بزرگ می‌پردازد. این تحقیق با ارائه چارچوبی نظری، دلایل بروز مشکلاتی مانند هالوسینیشن (تولید اطلاعات نادرست) را در طول فرآیند آموزش مدل‌ها تحلیل می‌کند و مفهوم «اثر فشرده‌سازی» (Squeezing Effect) را معرفی می‌کند که ممکن است باعث کاهش عملکرد مدل پس از فاین‌تیون شود. نویسندگان همچنین راهکارهایی برای بهینه‌سازی فرآیند فاین‌تیون، جلوگیری از افت کیفیت و افزایش دقت مدل ارائه داده‌اند. این مقاله برای توسعه‌دهندگان و پژوهشگران حوزه هوش مصنوعی و NLP منبع ارزشمندی است که به بهبود کیفیت مدل‌های زبانی بزرگ کمک می‌کند.
نسخه نهایی (v4) – منتشر شده در ICLR 2025:
https://arxiv.org/pdf/2407.10490v4.pdf
نسخه‌های قبلی (v1 تا v3):
https://arxiv.org/abs/2407.10490
