از چه فناوری‌هایی در ساخت چت‌جی‌پی‌تی استفاده شده است؟

یک مدل پیش‌‌آموزش‌دیده

چت‌جی‌پی‌تی یک مدل پیش‌آموزش‌دیده (Pre-trained) پردازش زبان طبیعی است که توسط شرکت OpenAI توسعه داده شده است. این مدل بر اساس معماری Transformer ساخته شده و از طریق استخراج اطلاعات از بانک‌های اطلاعاتی از‌قبل‌آماده‌شده و وب‌سایت‌هایی مثل ویکی‌پدیا، پلتفرم‌های اجتماعی و نمونه‌های مشابه به محاوره‌های کاربران پاسخ می‌دهد. یکی از دلایل اصلی موفقیت چت‌جی‌پی‌تی ارائه پاسخ‌های قابل فهم به کاربران است. 

چت‌جی‌پی‌تی با استفاده از ابزارهای تولید زبان طبیعی مثل توجه چند-سر (Multi-Head Attention) و برون‌اندازی (Dropout) قادر است به‌شکل خودکار و بدون دخالت انسان، جملاتی را تولید ‌کند و به پرسش‌های کاربران پاسخ دهد. 

OpenAI چت‌جی‌پی‌تی را به‌گونه‌ای طراحی کرده که هر کاربری متخصص یا غیرمتخصص قادر به استفاده از آن باشد. به بیان دقیق‌تر، کاربران باید در فیلد مربوطه پرسش خود را وارد کرده و روی دکمه ارسال کلیک کنند تا چت‌بات پاسخ دقیق و کوتاهی به آن‌ها ارائه کند. با این توصیف چت‌جی‌پی‌تی را باید یک دستیار مجازی توصیف کنیم که پاسخ‌های طبیعی و هوشمندانه با استناد به منابع مختلفی که در اینترنت وجود دارند، ارائه می‌کند. 

چت‌جی‌پی‌تی بر مبنای چه فناوری‌هایی ساخته شده است؟

OpenAI از فناوری‌های مختلفی در توسعه چت‌جی‌پی‌تی استفاده کرده که از مهم‌ترین آن‌ها باید به معماری Transformer، توجه چند سر، برون‌اندازی، شبکه‌های عصبی، پردازش زبان طبیعی و الگوریتم‌های یادگیری عمیق اشاره کرد. 

معماری تبدیل‌کننده/مبدل

Transformer یکی از اصلی‌ترین فناوری‌هایی است که برای توسعه چت‌جی‌پی‌تی از آن استفاده شده است. این معماری، توانایی متوالی‌سازی و پراکنده ‌کردن داده‌های ورودی را دارد. این الگوریتم با توجه به افزایش ورودی‌های دریافتی در زمان‌های مختلف، شبیه به کودکی که تازه فرآیند یادگیری را آغاز کرده است، به‌طور مستمر نکات جدیدی می‌آموزد.

مدل Transformer یا به بیان دقیق‌تر مدل انتقالی، یک مدل یادگیری عمیق است که از مکانیزم توجه (Attention Mechanism) استفاده می‌کند. این مدل برای اولین بار در سال 2017 معرفی شد. مدل Transformer به‌طور معمول در حوزه پردازش زبان‌ طبیعی استفاده می‌شود و در سال‌های اخیر به‌شدت محبوب شده است. امروزه، موتورهای ترجمه ماشینی مثل Google Translate به‌شکل گسترده از معماری فوق برای ترجمه بهتر زبان‌ها به یک‌دیگر استفاده می‌کنند. معماری فوق به‌دلیل این‌که مبتنی بر شبکه‌های جدولی است، در حل مسائل پردازش زبان طبیعی، عملکرد بهتری نسبت به سایر معماری‌های شبکه‌های عصبی دارد. شکل ۱، نمایی از این معماری را نشان می‌دهد. 

همان‌گونه که در شکل ۱ مشاهده می‌کنید، این مدل گروهی انکودر (Encoder) و دیکودر (Decoder) دارد که با یک‌دیگر در ارتباط هستند. به‌طور معمول، تعداد انکودر و دیکودرها برابر است. ساختار تمامی انکودر‌ها مشابه یک‌دیگر است و ساختار دیکودر‌ها نیز مشابه هم است.

هر انکودر دو زیرلایه‌ مجزا‌ دارد که لایه‌ اول لایه توجه (Self-Attention) و لایه‌ دوم یک شبکه عصبی پیشخور (Feedforward Neural Network) است (شکل 2). ورودی انکودر ابتدا از یک لایه توجه عبور می‌کند که به انکودر کمک می‌کند در زمان رمزگشایی یک کلمه به کلمه‌های دیگر به ساختار جمله دقت کند. خروجی لایه توجه به یک لایه‌ شبکه‌ عصبی پیشخور وارد می‌شود.

ساختار دیکودر در مدل Transformer

هر دیکودر دو لایه‌ توجه و شبکه‌ عصبی پیشخور دارد، با این تفاوت که در دیکودرهای لایه توجه دیگری به‌نام Encoder-Decoder Attention  وجود دارد که به دیکودر کمک می‌کند تا روی کلمه‌های مرتبط تمرکز کند. در پردازش زبان‌ طبیعی اولین قدم، تبدیل کلمات ورودی به بردار است تا مدل توانایی درک مفهوم کلمات را داشته باشد. این کار توسط الگوریتم‌های جاسازی کلمات (Word Embedding) انجام می‌شود. جاسازی کلمات در مدل ترنسفورمر فقط در اولین انکودر انجام می‌شود. همه‌ انکودر‌ها فهرستی از بردارها با اندازه مشخص را دریافت می‌کنند. 

نکته‌ مهمی که باید در این بخش به آن اشاره داشته باشیم این است که در مدل ترنسفورمر ترتیب کلمات ورودی با رمزگشایی مکانی (Positional Encoding) انجام می‌شود. به ‌این شکل که در مدل ترنسفورمر به هر بردار ورودی یک بردار دیگر اضافه می‌شود. این بردار در واقع یک الگوی مشخص است که مدل نکاتی از آن می‌آموزد و علاوه بر این به مدل کمک می‌کند تا موقعیت هر کلمه یا فاصله‌ موجود بین کلمه‌های مختلف را در توالی ورودی تشخیص دهد.

 در معماری تبدیل‌کننده، نه‌تنها از لایه‌ها برای پردازش اطلاعات استفاده می‌شود، بلکه از بلوک‌های ترکیبی برای انجام پردازش‌های مورد نیاز استفاده می‌شود. لازم به توضیح است که معماری فوق در گروه الگوریتم‌های ‌آموزشی نیمه‌‌نظارتی قرار می‌گیرد. از مزایای شاخص معماری تبدیل‌کننده باید به دقیق‌تر شدن روند آموزش، برگشت‌پذیری مضاعف یا همان دریافت بهتر بازخوردها، امکان پویاسازی غیرمستقل (Non-Autoregressive) و معماری مبتنی بر شبکه‌های مولد اشاره کرد. 

تبدیل‌کننده به این صورت کار می‌کند که ورودی دریافتی از کاربران را به چند محاوره تقسیم می‌کند، برای هر محاوره، یک ماتریس وزن تولید می‌کند و فرایند رفتن از لایه‌ای به لایه دیگر را انجام می‌دهد تا محاوره بهینه‌سازی شود. به همین دلیل است که چت‌جی‌پی‌تی در پاسخ‌گویی به پرسش‌های کاربران کمی تاخیر دارد. 

برای پردازش داده‌های متنی، به‌‌جای استفاده از یک تابع ورودی-خروجی واحد از تعداد مختلفی تابع ورودی-خروجی کوچک استفاده می‌شود که هر کدام به‌شکل تخصصی یک بعد مشخص از ورودی را پردازش می‌کنند. بنابراین، به‌جای پردازش داده‌های متنی به‌شکل یکپارچه مشابه با کاری که ماشین‌های ترجمه انجام می‌دهند، ورودی از زوایای مختلف بررسی و تحلیل می‌شود تا برای هر ورودی، یک وزن مشخص شود.

این معماری پردازش اطلاعات، مزایای شاخصی به‌همراه دارد که از آن جمله باید به قابلیت پردازش اطلاعات متنوع و گسترده‌تر، توانایی الگوریتم در حذف واژگان غیرضروری یا بدون استفاده در رشته‌های ورودی، بهبود نتایج پردازش ماشینی، پردازش دقیق‌تر متون و ارائه خلاصه‌ای دقیق به کاربران اشاره کرد.

تکنیک توجه چند سر

تکنیک توجه چند سر برای بهبود عملکرد پردازش زبان طبیعی در چت‌جی‌پی‌تی مورد استفاده قرار می‌گیرد تا بتواند به شیوه دوستانه‌تری با کاربران ارتباط برقرار کند. بر اساس این فناوری، مدل قادر به تمرکز بر روی بخش مهمی از داده‌های ورودی در یک زمان خاص است.

به‌طور کلی تکنیک توجه چند سر، روشی برای بهبود عملکرد لایه خودتوجه پایه است، زیرا تنها بر روی یک یا تعداد محدودی نقطه متمرکز می‌شود. برای رسیدن به این هدف، سرهای متعددی طراحی می‌شود که هر کدام در زمان یادگیری با شرایط اولیه متفاوتی آموزش می‌بینند. شکل۳، نمایی از عملکرد معماری چند سر را نشان می‌دهد. 

در معماری توجه چندسر ما با سه نهاد مختلف به‌نام‌های کلید (Key)، مقدار (Value) و محاوره (Query) در ارتباط هستیم. این مولفه‌ها به ما در تعیین میزان ارتباط بین هر مولفه جمله خروجی با تمامی بخش‌های جمله ورودی کمک می‌کنند. در معماری فوق، کلید و مقدار به ازای هر مولفه رشته ورودی و محاوره به ازای مولفه‌های جمله خروجی مشخص می‌شوند. برای درک بهتر موضوع به مثال زیر دقت کنید.

فرض کنید در یک سایت پخش فیلم به دنبال فیلم مشخصی هستید. برای یافتن این فیلم عبارت خاصی را در قسمت جست‌وجو سایت وارد می‌کنید. این عبارت نقشی مانند محاوره یا پرسش در مکانیزم توجه چندسر دارد. سایت برای یافتن ویدیوی مورد نظر شما، عبارتی را که جست‌وجو کرده‌اید با مواردی مانند عنوان و توضیحات ویدیوهای موجود مقایسه می‌کند و بعد از یافتن شبیه‌ترین عنوان، فیلم مرتبط به آن‌را برای شما پخش می‌کند. عنوان و توضیحات هر فیلم نقشی مانند کلید و خود فیلم نقشی مانند مقدار در مکانیزم توجه چندسر دارند. 

تکنیک برون‌اندازی

فناوری دیگری که چت‌جی‌پی‌تی از آن استفاده می‌کند، برون‌اندازی (Dropout) است که تکنیکی برای کاهش بیش‌برازش (Overfitting) و کم‌برازش (Underfitting) در شبکه‌های عصبی است. برون‌اندازی در هر مرحله از آموزش شبکه، بخشی از نورون‌ها را به‌طور تصادفی انتخاب و غیرفعال می‌کند و دومرتبه نورون‌هایی را که در گام‌های قبلی غیرفعال شده‌اند فعال می‌کند و عملکرد بخش دیگری از نورون‌ها را غیر‌فعال می‌کند. این‌کار با هدف تحلیل دقیق‌تر محاوره‌هایی که کاربران وارد می‌کنند، انجام می‌شود.  

در تکنیک برون‌اندازی، به‌‌جای این که سعی شود شبکه به یک پاسخ درست برای همه داده‌های آموزشی برسد، هدف این است که شبکه به ساختار بیشتری دست پیدا کند و به بازه‌ای از پاسخ‌های درست برای داده‌های آموزشی و آزمایش‌شده برسد. به این ترتیب، شبکه با بهبود معماری خود، بازدهی بهتری در پاسخ به داده‌های جدید دست پیدا می‌کند. در مجموع، برون‌اندازی یکی از تکنیک‌های موثر در کاهش بیش‌برازش است که چت‌جی‌پی‌تی از آن استفاده می‌کند تا عملکردش در پاسخ‌گویی به داده‌های جدید بهبود پیدا ‌کند.

چت‌جی‌پی‌تی چه ویژگی‌های کاربردی دارد؟

چت‌جی‌پی‌تی یکی از مدل‌های پیشرفته مبتنی بر شبکه‌های عصبی و پردازش زبان طبیعی است که در مقایسه با رقبا عملکرد بهتری دارد. چت‌جی‌پی‌تی بر پایه مدل GPT-2 توسعه پیدا کرده که برای پاسخ‌گویی به پرسش‌های کاربران طراحی شده است. به‌‌عنوان یک مدل پیشرفته با توانایی پردازش زبان طبیعی، چت‌جی‌پی‌تی ویژگی‌های شاخص زیر را دارد:

•  شبکه عصبی پیچشی: در چت‌جی‌پی‌تی از شبکه‌های عصبی پیچشی برای پردازش و تحلیل ساختار جملات استفاده شده است که پایداری مدل در پردازش داده‌های مختلف را افزایش می‌دهد.
•  پیش‌آموزش: چت‌جی‌پی‌تی قبل از پاسخ به پرسش‌ها، نزدیک‌ترین داده‌های موجود در پیش‌آموزش را مورد بررسی قرار می‌دهد تا بتواند داده‌های جدید را به‌شکل بهتر و دقیق‌تر پردازش کند. 
•  قابلیت تعامل با کاربر: چت‌جی‌پی‌تی امکان تعامل با کاربر را دارد، بنابراین می‌تواند به پرسش‌های کاربران پاسخ دهد.
•  پیش‌بینی متن: چت‌جی‌پی‌تی قابلیت پیش‌بینی متن را دارد، معنای دقیق داده‌های ورودی را از نظر گرامری و معنایی می‌فهمد و بهترین پاسخ را با توجه به یادگیری قبلی ارائه می‌دهد.

در کل، چت‌جی‌پی‌تی به کاربران این امکان را می‌دهد که با استفاده از پردازش زبان طبیعی، پرسش‌های خود را مطرح کنند و به بهترین پاسخ برسند. 

چه آینده‌ای پیش ‌روی چت‌جی‌پی‌تی است؟

به‌نظر می‌رسد چت‌جی‌پی‌تی در آینده نزدیک در بسیاری از محصولات و به‌ویژه دستگاه‌های مبتنی بر هوش مصنوعی مثل ربات‌ها، سیستم‌های خودکار، بات‌های چت، سیستم‌های پرسش و پاسخ و غیره مورد استفاده قرار گیرد. با توجه به توانایی چت‌جی‌پی‌تی در پردازش محاوره‌های کاربران، این مدل می‌تواند به نوعی مشابه یک همکار برای انسان‌ها عمل کند و به آن‌ها کمک کند بهتر در مورد موضوعات مختلف مطالعه کنند. با توجه به پیشرفت مداوم در زمینه شبکه‌های عصبی و یادگیری عمیق، به‌نظر می‌رسد چت‌جی‌پی‌تی در سال‌های آینده قابلیت‌های پیشرفته‌تر و کاربردی‌تری در اختیار ما قرار دهد. به‌عنوان مثال، می‌توان از آن برای ترجمه‌ زبان‌های مختلف یا به‌عنوان یک ابزار کمکی در تشخیص بیماری‌ها در حوزه پزشکی استفاده کرد.

به‌طور کلی، روند پیشرفت در زمینه هوش مصنوعی و یادگیری عمیق باعث خواهند شد در آینده چت‌جی‌پی‌تی و ابزارهای مشابه در زمینه حفظ پایداری فعالیت‌های تجاری، پیش‌بینی تحولات و توسعه فرآیندهای تجاری مورد توجه شرکت‌ها و سازمان‌ها قرار بگیرند. 

در حوزه پزشکی، چت‌جی‌پی‌تی می‌تواند برای کمک به تشخیص بیماری‌ها و مراقبت‌های پزشکی از راه دور و در برخی موارد تجویز داروهای کمکی به بیماران و پزشکان کمک کند. این مدل می‌تواند با استفاده از داده‌های بیمارستانی و سوابق پزشکی به بازیابی اطلاعات در مورد بیماری‌ها و درمان آن‌ها کمک کند. به‌طور مثال، چت‌جی‌پی‌تی می‌تواند برای صحبت با بیماران به کار گرفته شود و اطلاعاتی در مورد علایم و نشانه‌های خاصی که به بیماری‌های مختلف منجر می‌شوند، اطلاعات خوبی جمع‌آوری کند. این مدل می‌تواند به پزشکان کمک کند تا داروهای اختصاصی را برای هر بیمار تجویز کنند و به درمان دقیق‌تر بیماران بپردازند.  با استفاده از داده‌های بیمارستانی، شبکه عصبی این مدل می‌تواند داده‌های مختلف را تجزیه‌و‌تحلیل کرده و جهت بهبود درمان، الگوهای بهتری را پیشنهاد کند. در مجموع، چت‌جی‌پی‌تی می‌تواند نقش مهمی در حوزه پزشکی ایفا کند و تاثیرات منفی داروها بر بدن یا تجویز اشتباه داروها را به حداقل برساند. جالب آن‌که چت‌جی‌پی‌تی در تشخیص بیماری‌ها نیز مفید خواهد بود. این مدل می‌تواند با استفاده از داده‌های ذخیره‌سازی‌شده در بانک‌های اطلاعاتی و سوابق پزشکی و تحلیل آن‌ها نشانه‌های برخی از بیماری‌ها را شناسایی کند و مانع بروز همه‌گیری‌ها شود. به‌طور مثال، هنگامی که علایم و نشانه‌های بیماری به مدل داده شود، قادر است بیماری مربوط به یک فرد را تشخیص دهد یا لیستی محتمل از بیماری‌ها را بر مبنای نشانه‌ها فهرست کند. 

علاوه بر این، چت‌جی‌پی‌تی می‌تواند به پیش‌بینی بیماری‌هایی که ممکن است در آینده با آن‌ها روبه‌رو شویم، کمک کند. با استفاده از داده‌های جمعیتی و بیماری‌هایی که از قبل شناخته شده‌اند، شبکه عصبی می‌تواند الگوهایی را کشف کند که به پیش‌بینی بیماری‌های جدید یا شیوع همه‌گیری‌ها کمک کند.

با توجه به این‌که چت‌جی‌پی‌تی توانایی یادگیری و استفاده از الگوهای پیچیده را دارد، در سال‌های آتی نقش کلیدی در تشخیص بیماری‌های پیچیده‌ای خواهد داشت که تشخیص آن‌ها برای پزشکان سخت است. به‌طور کلی، به‌کارگیری چت‌جی‌پی‌تی در تشخیص بیماری‌ها می‌تواند برای پزشکان الهام‌بخش بوده و به درمان بهتر بیماران کمک کند. چت‌جی‌پی‌تی می‌تواند به بیماران کمک کند در مورد بیماری‌های‌شان آگاهی بیشتری پیدا کنند که این تعامل با دستیار مجازی باعث می‌شود تا ارتباط میان بیمار و پزشک دقیق‌تر شود که نقش موثری در درمان بهتر بیماری‌ها خواهد داشت. همچنین، می‌تواند به بیماران در تشخیص خودکار برخی علائم و بیماری‌ها کمک کند تا بتوانند سلامت خود را به‌دست آورند.  جالب آن‌که با گسترش فناوری‌های جدید، چت‌جی‌پی‌تی می‌تواند به دانش‌پذیران پزشکی در آموزش و یادگیری بهتر مفاهیم پزشکی نیز کمک کند. ترکیب این عوامل با یک‌دیگر باعث خواهند شد تا چت‌جی‌پی‌تی در آینده به‌عنوان یک ابزار مهم در حوزه‌های مختلف مثل پزشکی، فناوری اطلاعات، بازاریابی دیجیتال و غیره تبدیل شود.