یک مطالعه جدید که توسط دانشگاه Purdue در ایالات متحده انجام شده، حقایق زیادی را در مورد دقت چت بات هوش مصنوعی ChatGPT در پاسخ دادن به سؤالات برنامه نویسی روشن کرده است! در این پژوهش یک سری سؤالات برنامه نویسی از چت جی پی تی پرسیده شد و این چت بات به بیشتر از نیمی از آنها پاسخ اشتباه داد! از آنجایی که بسیاری از شرکت کنندگان در این آزمایش به مهارت های پیشرفته این مدل زبانی اطمینان داشتند، پاسخ های اشتباه آن باعث گمراهی آنها شده بود! در ادامه با جزئیات این خبر همراه شما هستیم.
چرا تکیه کردن به ChatGPT ممکن است پشیمانی به بار آورد؟
این تیم تحقیقاتی 517 سؤال برنامه نویسی را از وب سایت Stack Overflow جمع آوری کرده و پاسخ های ChatGPT به آنها را از چندین جنبه شامل صحت، انطباق، جامعیت و دقت مورد ارزیابی قرار دادند. اما در کمال تعجب نتیجه این بررسی ها کاملاً نا امید کننده بوده است. چرا که بیش از 52 درصد از پاسخ های ChatGPT دقت لازم را نداشته اند و حدود 77 درصد از آنها بیش از اندازه طولانی بوده اند! این اعداد و ارقام به اندازه ای بالا است که اصلاً نمی توان از آنها به این راحتی ها چشم پوشی کرد! چیزی که باعث ایجاد نگرانی بیشتر شد این بود که سبک زبان شیوا و سازمان دهی شدۀ هوش مصنوعی اغلب شرکت کنندگان را به بیراهه برده بود! فقط در مواردی که خطاها به وضوح آشکار بودند، شرکت کنندگان قادر به شناسایی آنها بوده اند!
با وجود پاسخ های نادرست، تقریباً 40 درصد از شرکت کنندگام پاسخ های ChatGPT را به راه حل های خود ترجیح داده و آنها را پذیرفتند. با این حال، رقم چشمگیر 77 درصد از این پاسخ های پذیرفته شده اشتباه بوده اند. تیم تحقیقاتی دانشگاه Purdue اعلام کرده اند که بسیاری از این اشتباه ها ناشی از ناتوانی ChatGPT در درک تفاوت های ظریف متنی در سؤالات بوده است.
این یافته ها استدلال قانع کننده ای را ارائه می دهند که هوش مصنوعی مولدِ فعلی با وضعیت موجود، ابزار چندان مناسبی برای کمک به تولید کد و توسعه پروژه های برنامه نویسی نیست و استفاده از آن می تواند حتی اثرات معکوس داشته باشد. با اذعان به این واقعیت، غول های فناوری مختلف مانند گوگل، اپل، آمازون و سامسونگ به کارمندان خود در مورد استفاده از این ابزارها هشدار داده اند و برخی از آنها استفاده از این چت بات های هوش مصنوعی را برای تولید کد ممنوع کرده اند.
طبق گزارش ها، OpenAI در حال کار کردن بر روی مدل زبانی نسل آینده خود، GPT-5، است. انتظار می رود این خطاها در این مدل زبانی از بین رفته باشند. همچنین انتظار می رود این مدل پاسخ های بی ربط کمتری ارائه دهد، وجهه های مختلف متن، عکس، ویدئو و صدا را دقیق تر تشخیص دهد، کارایی بیشتری در مبحث محاسبات داشته باشد و حافظه و درک متنی آن بهبود پیدا کرده باشد. باید منتظر بمانیم و ببینیم که این انتظارات تا چه اندازه برآورده خواهند شد. فعلاً پیشنهاد می کنیم تا از ChatGPT برای برنامه نویسی و تولید کد استفاده نکنید تا ببینیم در آینده چه می شود!
منبع: gizmochina
