Retrieval-Augmented Generation (RAG) چیست؟ تعریف ساده و کاربردی به همراه مثال

آخرین بروزرسانی در ۲۴ آبان ۱۴۰۳ توسط Dr.Arman

این مقاله به بررسی روش نوین تولید متن با افزودن اطلاعات بازیابی شده (Retrieval-Augmented Generation-RAG)، می‌پردازد که ترکیبی از مدل‌های زبانی بزرگ (LLMs) و تکنیک‌های بازیابی اطلاعات است. RAG به‌طور موثری چالش‌های موجود در مدل‌های زبانی را با ارائه اطلاعات دقیق و به‌روز حل می‌کند. این مقاله به تفصیل مفاهیم پایه RAG، کاربردهای متعدد و مزایای استفاده از این روش را بررسی می‌کند. این روش با ترکیب توانایی تولید متن طبیعی مدل‌های زبانی بزرگ و قابلیت بازیابی اطلاعات، بهبود قابل توجهی در دقت و اعتمادپذیری پاسخ‌های تولید شده ارائه می‌دهد.

مدل‌های زبانی بزرگ (LLMs) از جمله تکنولوژی‌های کلیدی در حوزه پردازش زبان طبیعی (NLP) به شمار می‌روند که قادر به تولید متن، ترجمه زبان‌ها، تحلیل احساسات و شناسایی موجودیت‌ها هستند. این مدل‌ها با استفاده از حجم عظیمی از داده‌ها و میلیاردها پارامتر آموزش دیده‌اند و توانایی تولید متن‌های بسیار پیچیده و دقیق را دارا هستند. اهمیت این مدل‌ها در کاربردهای متنوع از جمله چت‌بات‌ها، سیستم‌های پرسش و پاسخ، و تولید محتوا غیرقابل انکار است.

با وجود پیشرفت‌های چشمگیر در مدل‌های زبانی بزرگ، این مدل‌ها با چالش‌های متعددی در دقت و قابلیت اعتماد مواجه هستند. برخی از این چالش‌ها عبارتند از:

• ارائه اطلاعات نادرست: زمانی که مدل پاسخ دقیقی ندارد، ممکن است اطلاعات نادرست ارائه دهد.
• اطلاعات قدیمی یا کلی: مدل‌های زبانی به دلیل ماهیت داده‌های آموزشی خود، ممکن است اطلاعات به‌روز و خاصی را نتوانند ارائه دهند.
• منابع غیرمعتبر: استفاده از منابع غیرمعتبر در تولید پاسخ‌ها که می‌تواند به کاهش اعتماد کاربران منجر شود.
• تداخل اصطلاحات: استفاده از اصطلاحات مشابه در منابع مختلف که می‌تواند به تولید پاسخ‌های نادرست منجر شود.

با توجه به چالش‌های بالا، با بکارگیری تکنیک افزودن اطلاعات بازیابی شده (RAG)، اطلاعات مرتبط با درخواست یا پرامپت کاربر را به همراه خودِ پرامپت، به یک LLM مثل ChatGPT می‌دهیم و از آن می‌خواهیم تا براساس آن اطلاعات مرتبط، به پرامپت کاربر پاسخ دهد.

RAG چیست؟

با یک مثال ساده تلاش می‌کنیم تا این موضوع را به خوبی توضیح دهیم:

فرض کنید یک دندانپزشک می‌خواهد در خصوص نوع آمپول بی‌حسی که می‌خواهد به یک کودک تزریق کند، از ChatGPT کمک بگیرد. این کودک دارای بیماری زمینه‌ای خاصی نیز می‌باشد. از آنجایی که ChatGPT با این قبیل اطلاعات تخصصی آموزش ندیده است (یا به اصطلاح train نشده است)، قاعدتا نمی‌تواند پاسخ مناسبی به این  سوال دندانپزشک دهد. دقیقا در اینجاست که می‌توانیم از تکنیک افزودن اطلاعات بازیابی شده (RAG) بهره ببریم. اما چطور؟

ابتدا کتب و مراجع تخصصی دندانپزشکی مورد نیاز را در دیتابیس سیستم RAG قرار می‌دهیم. سپس وقتی که دندانپزشک سوال تخصصی خود را می‌پرسد، اطلاعات مرتبط با سوال تخصصی او از دیتابیس سیستم RAG بیرون کشیده (یا به اصطلاح Retrieve) می‌شود. پس از آن نیز سوال تخصصی دندانپزشک به همراه اطلاعات تخصصی مرتبط با آن به ChatGPT داده می‌شود. در این حالت که ChatGPT پرامپت و اطلاعات مرتبط با آن را در اختیار دارد، بسیار بهتر و دقیق‌تر می‌تواند به سوال تخصصی یا پرامپت دندانپزشک پاسخ دهد.

هدف این مقاله بررسی و معرفی روش تولید متن با افزودن اطلاعات بازیابی شده (RAG) به‌عنوان یک راه‌حل کارآمد برای بهبود عملکرد مدل‌های زبانی بزرگ است. این روش با ترکیب قابلیت‌های تولید متن و بازیابی اطلاعات، توانایی مدل‌های زبانی را در ارائه پاسخ‌های دقیق و به‌روز افزایش می‌دهد. این روش می‌تواند به بهبود اعتمادپذیری و دقت پاسخ‌ها کمک کند و چالش‌های موجود را به حداقل برساند.

مراحل انجام RAG

1. پرامپت کاربر وارد سیستم RAG می‌شود. (شماره 1 و 2 در تصویر)
2. در مخزن داده‌ای (Database) که بطور جداگانه (خارج از LLM) قراردارد، پرامپت کاربر مورد جستجو قرار می‌گیرد و محتوای مرتبط با آن به بیرون کشیده می‌شود (Retrieve می‌شود). (شماره 3 و 4 در تصویر)
3. پرامپت کاربر به همراه محتوای مرتبط با آن که از مخزن داده بیرون کشیده شده، در قالب یک پرامپت:
   

   به پرامپت زیر فقط با توجه به متنی که در ادامه بیان می‌شود پاسخ بده.
   پرامپت:
   عمق اقیانوس آرام چند متر است؟
   متن:
   مساحت اقیانوس آرام ۱۶۵٬۲۵۰٬۰۰۰ کیلومتر مربع است که نزدیک به ۴۶ درصد از سطح آب‌های کره زمین و نزدیک به ۳۲ درصد از کل سطح کرهٔ زمین را می‌پوشاند. سطح اقیانوس آرام از مجموع کل مساحت خشکی‌های زمین (۱۴۸ میلیون کیلومتر مربع) بزرگ‌تر است. میانگین ژرفای اقیانوس آرام ۴۰۰۰ متر است. مرکز نیمکرهٔ آبی و نیمکرهٔ غربی هر دو در اقیانوس آرام جای دارد.

    

   به یک LLM مثل ChatGPT داده می‌شود. (شماره 5 در تصویر)

4. هوش مصنوعی مثلا ChatGPT، حالا با توجه به محتوای مرتبط با پرامپت کاربر که از مخزن داده بیرون کشیده شده، دقیقتر و بهتر می‌تواند به پرامپت کاربر پاسخ دهد. (شماره 6 در تصویر)

مثال‌هایی از کاربرد RAG در حوزه‌های مختلف

چت‌بات‌های هوشمند

یکی از کاربردهای برجسته این روش در ایجاد چت‌بات‌های هوشمند است. به عنوان مثال، شرکت Databricks از این تکنیک برای بهبود عملکرد چت‌بات‌های خود استفاده کرده است. این چت‌بات‌ها قادرند به سؤالات کاربران در زمینه‌های مختلف، از جمله راه‌اندازی Spark  برای پردازش داده‌ها، پاسخ دهند. با استفاده ازRAG، چت‌بات‌ها می‌توانند اسناد مربوطه را از مخزن دانش بازیابی کرده و پاسخ‌های دقیقی ارائه دهند. این رویکرد باعث می‌شود که کاربران به راحتی به اطلاعات دقیق و به‌روز دسترسی پیدا کنند.

تولید محتوای دقیق و مرتبط

در زمینه تولید محتوا نیز RAG توانسته است نتایج چشم‌گیری را ارائه دهد. مدل‌های زبانی بزرگ با استفاده از این تکنیک قادرند محتوای متنی را با دقت بیشتری تولید کنند. به عنوان مثال، در تولید مقالات علمی یا اخبار، این روش می‌تواند اطلاعات به‌روز و معتبر را از منابع مختلف بازیابی کرده و در متن مقاله ادغام کند. این رویکرد باعث افزایش دقت و قابلیت اعتماد محتوای تولیدی می‌شود.

پاسخگویی به سؤالات پیچیده

RAG در پاسخگویی به سؤالات پیچیده نیز عملکرد قابل توجهی دارد. به عنوان مثال، در سیستم‌های پرسش و پاسخ در حوزه پزشکی، این تکنیک می‌تواند اطلاعات دقیق و به‌روز را از مقالات علمی و پایگاه‌های داده پزشکی بازیابی کرده و پاسخ‌های معتبر و مستندی را ارائه دهد. این قابلیت به ویژه در مواقعی که اطلاعات به‌روز و دقیق مورد نیاز است، بسیار ارزشمند است.

مزایا و معایب RAG: تحلیل مزایا و چالش‌های استفاده

مزایا

• افزایش دقت و صحت اطلاعات: با ترکیب اطلاعات بازیابی‌شده از منابع معتبر، RAG می‌تواند دقت و صحت پاسخ‌ها را به‌طور قابل توجهی افزایش دهد.
• قابلیت به‌روزرسانی اطلاعات: این تکنیک می‌تواند به‌طور مداوم اطلاعات خود را با استفاده از منابع خارجی به‌روز کند، که این امر باعث می‌شود که مدل‌های زبانی همواره به‌روز باشند.
• افزایش قابلیت اعتماد: با ارائه اطلاعات مستند و معتبر، کاربران می‌توانند به پاسخ‌ها و محتوای تولیدی اعتماد بیشتری داشته باشند.
• کاربردهای گسترده: این روش می‌تواند در حوزه‌های مختلفی مانند پزشکی، حقوق، آموزش و غیره مورد استفاده قرار گیرد و عملکرد مدل‌های زبانی را در این زمینه‌ها بهبود بخشد.

معایب

• نیاز به منابع محاسباتی بیشتر: استفاده از این تکنیک به منابع محاسباتی بیشتری نیاز دارد، چرا که فرآیند بازیابی اطلاعات و ترکیب آن با مدل زبانی نیازمند محاسبات اضافی است.
• پیچیدگی پیاده‌سازی: پیاده‌سازی این روش نیازمند تخصص و دانش فنی نسبتا بالایی است و ممکن است برای برخی سازمان‌ها چالش‌برانگیز باشد.
• زمان پاسخ‌دهی طولانی‌تر: به دلیل فرآیند بازیابی اطلاعات، زمان پاسخ‌دهی RAG ممکن است طولانی‌تر از مدل‌های زبانی سنتی باشد.
• وابستگی به کیفیت منابع خارجی: دقت و صحت پاسخ‌های این تکنیک به کیفیت و اعتبار منابع خارجی بستگی دارد، بنابراین انتخاب منابع مناسب و معتبر بسیار حیاتی است.

جدیدترین تکنیک‌های RAG

• GraphRAG به‌عنوان رویکردی نوآورانه در هوش مصنوعی تولیدی، با ادغام گراف‌های دانش در فرآیند بازیابی، امکان تولید پاسخ‌های دقیق‌تر، قابل توضیح و مفیدتر را فراهم می‌کند. این روش با حرکت از “رشته‌ها به چیزها”، به مدل‌های هوش مصنوعی اجازه می‌دهد تا روابط پیچیده بین موجودیت‌ها را درک کرده و پاسخ‌های غنی‌تری ارائه دهند. در نتیجه، GraphRAG نه تنها کیفیت و اعتماد به سیستم‌های هوش مصنوعی را افزایش می‌دهد، بلکه نحوه تعامل ما با اطلاعات را به‌طور بنیادین متحول می‌سازد.
• Multimodal RAG یک رویکرد پیشرفته در بازیابی و تولید اطلاعات است که با ترکیب انواع داده‌ها مانند متن و تصویر، به بهبود دقت و کارایی در پاسخ‌گویی کمک می‌کند؛ با ادغام عناصر بصری، این سیستم می‌تواند ظرافت‌هایی را که در تحلیل صرفاً متنی از دست می‌روند، به دست آورد و درک مفاهیم پیچیده را تسهیل کند، و با وجود چالش‌هایی مانند آماده‌سازی داده‌ها و مدیریت اطلاعات چندوجهی، پیاده‌سازی Multimodal RAG می‌تواند راه را برای راه‌حل‌های هوش مصنوعی قدرتمندتر در آینده هموار کند.

سخن پایانی

در انتها، باید بدانیم که تکنیک تولید متن با افزودن اطلاعات بازیابی شده (RAG)، که توسط محققان Meta AI در سال 2020 معرفی شد، یکی از کاربردی‌ترین تکنیک‌های پرامپت نویسی است که می‌تواند بهبود چشم‌گیری در عملکرد مدل‌های زبانی ایجاد کند، اما نیازمند توجه به چالش‌های مرتبط با پیاده‌سازی و استفاده از آن نیز می‌باشد.