نیش و کنایه بزنید: هوش مصنوعی آبروریزی می‌کند

ضمیمه دانش امروز روزنامه اطلاعات نوشت: «مدل‌های زبانی بزرگ» (LLM)الگوریتم‌های یادگیری عمیق پیشرفته‌ای هستند که می‌توانند فرمان‌ها را به زبان‌های مختلف تحلیل کنند و متعاقب آن پاسخ‌های واقع‌گرایانه و کامل تولید کنند. این دسته از مدل‌های پردازش زبان‌های طبیعی (NLP)پس از راه‌اندازی پلتفرم چت جی پی تی توسط شرکت Open AIبه‌سرعت و به‌طور روزافزون محبوبیت پیدا کردند. چت جی پی تی می‌تواند به‌سرعت به انواع پرسش‌های کاربرها پاسخ دهد و متونی با محتوای قانع‌کننده در زمینه‌های مختلف بنویسد.

با گسترش هرچه بیشتر این مدل‌ها، برآورد قابلیت‌ها و محدودیت‌هایشان اهمیت فوق‌العاده زیادی پیدا می‌کند. این ارزیابی‌ها در نهایت کمک خواهند کرد تا شرایطی که در آن‌هامدل‌های بزرگ زبانی کمترین و بیشترین فایده را دارند شناخته شوند و همچنین سازندگان آن‌ها راه‌های ارتقاء این مدل‌ها را بیابند.

پژوهشگرهای دانشگاه نیویورک به‌تازگی مطالعه‌ای انجام داده‌اند که هدف از آن تعیین کیفیت عملکرد و میزان بازده دو مدل زبانی بزرگ آموزش‌دیده در تشخیص طعنه در گفتار متنی انسان‌ها است.

طعنه به معنای انتقال ایده‌ای یا سخنی با بیان کلماتی کاملاً متضاد آن چه قصد گفتنش را داریم است؛ سخنی تلخ با بیانی برنده همراه با تمسخر و دست انداختن، ریشخند به شکلی ظالمانه و نامحترمانه. پژوهشگران به کمک این مطالعه توانسته‌اند ویژگی‌ها و اجزای الگوریتم‌هایی که توانایی‌های تشخیص طعنه هم در هوش مصنوعی و هم در روبات‌ها را ارتقاء می‌دهند را معین کنند.

 در تحلیل احساسی پردازش زبان‌های طبیعی، توانایی تشخیصِ درست طعنه برای فهم عقاید واقعی افراد ضروری است.

ازآنجاکه کاربرد طعنه اغلب به موقعیتی که افراد در آن قرار دارند و موضوع مورد نظر آن‌ها بستگی دارد، در پژوهش‌های پیشین از مدل‌های زبانی مثل «ماشین بردار پشتیبانی» (SVM)که یک روش یادگیری بانظارت است و نیز «حافظه طولانی کوتاه‌مدت» (LSTM)برای تشخیص طعنه به کمک اطلاعات مرتبط با موقعیت استفاده می‌شد. نوآوری‌های اخیر در پردازش زبان‌های طبیعی امکان و راه‌های بیشتری برای تشخیص طعنه فراهم آورده‌اند.

تحلیل احساسی شامل تحلیل متونی است که به‌طور خاص در صفحات و سکوهای رسانه‌های اجتماعی یا وب‌ سایت‌های دیگر پست می‌شوند تا از این‌که افراد مختلف نسبت به یک موضوع یا محصول چه نظری دارند اطلاعاتی به دست آید. در حال حاضر، بسیاری از شرکت‌ها در این حوزه سرمایه‌گذاری می‌کنند.

امروزه مدل‌های پردازش زبان‌های طبیعی می‌توانند متون را پردازش کرده و لحن احساسی نهفته در آن‌هارا پیش‌بینی کنند. به‌عبارتی‌دیگر، می‌توانند تشخیص دهند این متون احساسات مثبت، منفی یا خنثی را ابراز می‌کنند.

بسیاری از نظرات و برداشت‌های انتقادی که به‌صورت آنلاین پست می‌شوند دارای طعنه، طنز و کنایه هستند. این نظرات می‌توانند مدل‌های زبانی را فریب دهند تا آن‌ها را در زمره نظرات و برداشت‌های مثبت طبقه‌بندی کنند درحالی‌که در حقیقت بیان‌کننده احساسی منفی هستند و برعکس.

از این‌رو، برخی از دانشمندان رایانه تلاش می‌کنند مدل‌هایی بسازند که بتوانند طعنه را در متون نگارش‌شده شناسایی کنند.

دو مدل که از میان آن‌ها بهترین بازده را در انجام این کار از خود نشان می‌دهند CASCADEو RCNN-RoBERTaهستند که در سال ۲۰۱۸ توسط دو شرکت مختلف ساخته شدند. CASCADEیک مدل مبتنی بر موقعیت است که نتایج خوبی برای تشخیص طعنه ارائه می‌دهد. مدل دوم نیز در تعبیر زبان در بستر موقعیت دقت بالاتری دارد.

در این مطالعه مجموعه‌ای از پست‌های متنی موجود در وب‌سایت «رِدیت» با استفاده از این دو مدل پیشرفته مورد تحلیل قرار گرفتند و عملکرد و بازده آن‌ها در مقایسه با مدل‌های پایه و استاندارد موجود ارزیابی شدند تا ایده‌آل‌ترین رویکرد برای تشخیص طعنه را یافته و به کار ببرند.

پژوهشگران یک سلسله آزمایش انجام دادند تا توانایی دو مدل نام برده را برای تشخیص طعنه در نظرات پست شده در ردیت بسنجند.

این پلتفرم آنلاین، یک وب‌سایت برای جمع‌آوری اخبار اجتماعی، رتبه‌بندی محتوا و بحث و تبادل نظر درباره موضوع‌های مختلف است.

پژوهشگرها توانایی این دو مدل در تشخیص طعنه درون متن‌های مورد مطالعه را با بازده متوسط انسان و بازده مدل‌های پایه در انجام این کار مقایسه کردند تا با این شیوه متن‌های پست شده در ردیت را تحلیل کنند.

آن‌ها در یافتند که اطلاعات مبتنی بر موقعیت مانند اِمبدینگ‌های شخصیتی کاربر و نیز افزودن یک مبدل RoBERTa می‌توانند به طرز قابل توجهی بازده تشخیص طعنه توسط مدل را بالا ببرند.

با توجه به موفقیت هر دو رویکرد که یکی مبتنی بر موقعیت و دیگری مبتنی بر مبدل است، تقویت یک مبدل زبانی با اطلاعات موقعیتی بیشتر می‌تواند مسیر آزمایش‌های آینده را برای این پژوهشگران هموار کند.

یافته‌های این مطالعه در سرور «آرکایو» (arXiv)که نسخه‌های پیش‌چاپ نوشتارهای علمی را در دسترس قرار می‌دهد در قالب یک مقاله منتشر شده است.