تقنية برمجية تعمل على تحسين قابلية توسيع قواعد بيانات المتجهات ودقتها في سير عمل التوليد المُعزّز بالاسترجاع (RAG) عبر
استخدام أقراص الحالة الصلبة (SSD).
أعلنت شركة KIOXIA اليوم عن إصدار تقنيتها الجديدة All-in-Storage ANNS with Product Quantization (AiSAQ) كمشروع مفتوح المصدر. باستخدام خوارزمية البحث عن “الجار الأقرب التقريبي” (ANNS) المُبتكرة والمُحسّنة خصيصًا لأقراص الحالة الصلبة (SSD)، تُقدّم تقنية KIOXIA AiSAQ™(1) أداءً قابلًا للتوسّع لدعم تقنيات التوليد المُعزّز بالاسترجاع (RAG) دون الحاجة إلى تخزين بيانات الفهرس في ذاكرة الوصول العشوائي الحركية (DRAM)، حيث يتم إجراء البحث مباشرةً على أقراص SSD.
تتطلّب أنظمة الذكاء الاصطناعي التوليدي موارد هائلة من حيث الحوسبة والذاكرة والتخزين. ورغم قدرتها على تحقيق اختراقات تحويلية عبر قطاعات متنوّعة، إلا أن نشرها غالبًا ما يكون مصحوبًا بتكاليف باهظة. يُعد التوليد المعزّز بالاسترجاع (RAG) مرحلة حاسمة في الذكاء الاصطناعي تعمل على تحسين نماذج اللغة الكبيرة (LLM) باستخدام بيانات خاصة بالشركة أو التطبيق.
أحد المُكوّنات الأساسية للتوليد المُعزّز بالاسترجاع (RAG) هو قاعدة بيانات المتجهات التي تقوم بتجميع البيانات المُحدّدة وتحويلها إلى متجهات مميّزة داخل قاعدة البيانات. كما يستخدم التوليد المُعزّز بالاسترجاع (RAG) خوارزمية البحث عن الجار الأقرب التقريبي (ANNS) لتحديد المتجهات التي تُعزّز أداء النموذج بناءً على التشابه بين المتجهات المُتراكمة والمتجهات المُستهدفة.
لكي يكون التوليد المُعزّز بالاسترجاع (RAG) فعّالًا، يجب أن يسترجع المعلومات الأكثر صلة بالاستعلام بسرعة. تقليديًا، تُنشر خوارزميات البحث عن الجار الأقرب التقريبي (ANNS) في ذاكرة الوصول العشوائي الحركية (DRAM) لتحقيق الأداء عالي السرعة المطلوب لهذه العمليات البحثية.
تُقدّم تقنية KIOXIA AiSAQ™ حلًا قابلًا للتوسع وفعّالًا لخوارزميات البحث عن الجار الأقرب التقريبي (ANNS) لمجموعات البيانات ذات النطاق الواسع، مع استخدام ضئيل للذاكرة وقدرات سريعة على تبديل الفهارس.
الفوائد الرئيسية لتقنية KIOXIA AiSAQ™:
- تسمح لقواعد البيانات واسعة النطاق بالعمل دون الاعتماد على موارد ذاكرة الوصول العشوائي الحركية (DRAM) المحدودة، مما يعزّز أداء أنظمة التوليد المُعزّز بالاسترجاع (RAG).
- تلغي الحاجة إلى تحميل بيانات الفهرس في ذاكرة الوصول العشوائي الحركية (DRAM)، مما يُتيح لقاعدة بيانات المتجهات التشغيل الفوري. يدعم ذلك التبديل السلس بين قواعد البيانات الخاصة بالمستخدمين أو التطبيقات على نفس الخادم، مما يُحسّن كفاءة تقديم خدمات التوليد المُعزّز بالاسترجاع (RAG).
- مُحسّنة لأنظمة الحوسبة السحابية من خلال تخزين الفهارس في وحدات تخزين غير مُجمّعة (disaggregated storage) لمشاركتها عبر عدة خوادم. يُتيح هذا النهج ضبط أداء بحث قاعدة بيانات المتجهات ديناميكيًا وفقًا لمُتطلّبات مستخدمين أو تطبيقات محددة، ويُسهّل الهجرة السريعة لعمليات البحث بين الخوادم المادية.
صرّح أكسل ستورمان، الرئيس التنفيذي للتكنولوجيا ونائب الرئيس في KIOXIA Europe GmbH: “إن حل KIOXIA AiSAQ™ يُمهّد الطريق لتوسيع تطبيقات التوليد المُعزّز بالاسترجاع (RAG) في أنظمة الذكاء الاصطناعي التوليدي بشكل لا نهائي تقريبًا، مع الاعتماد على أقراص الحالة الصلبة (SSD) القائمة على الفلاش كعنصر أساسي.
من خلال استخدام خوارزميات البحث عن الجار الأقرب التقريبي (ANNS) المُعتمِدة على أقراص SSD، نقوم بتقليل الاعتماد على الذاكرة العشوائية الحركية (DRAM) المُكلِّفة مع تلبية متطلبات أداء الحلول الرائدة التي تعتمد على الذاكرة – مما يُعزّز بشكل كبير قدرات الأداء لتطبيقات التوليد المُعزّز بالاسترجاع (RAG) واسعة النطاق.”
تُظهر KIOXIA التزامها بتطوير الذكاء الاصطناعي عبر إتاحة تقنية KIOXIA AiSAQ™ المبتكرة للمجتمع كبرمجيات مفتوحة المصدر.
