في الخريف الماضي ، بعد التلاعب بنموذج الذكاء الاصطناعي لتوليد النص GPT-3 الخاص بـ OpenAI – سلف GPT-4 – اكتشف عالم الأبحاث السابق في Uber Jerry Liu ما وصفه بـ “القيود” حول قدرة النموذج على العمل مع البيانات الخاصة (على سبيل المثال ، الملفات الشخصية). لحل هذه المشكلة ، أطلق مشروعًا مفتوح المصدر ، LlamaIndex ، مصممًا لإطلاق العنان لقدرات واستخدام نماذج اللغات الكبيرة (LLMs) مثل GPT-3 و GPT-4.
قال ليو لـ TechCrunch في مقابلة عبر البريد الإلكتروني: “توفر LLM قدرات مذهلة لاستخراج المعرفة والاستدلال – يمكنهم إجراء الإجابة على الأسئلة والتلخيص واستخراج البصيرة وحتى اتخاذ القرار المتسلسل مع بيئة خارجية”. “لكن LLM لها حدود.”
مع نمو شعبية المشروع (لتصل إلى 200000 تنزيل شهريًا) ، انضم Liu إلى Simon Suo ، أحد زملائه القدامى في Uber ، لتحويل LlamaIndex إلى شركة كاملة. تقدم LlamaIndex (الشركة) اليوم إطارًا لمساعدة المطورين في الاستفادة من قدرات LLM بالإضافة إلى بياناتهم الشخصية أو التنظيمية.
“مؤشر اللاما [helps] قال ليو إن المطورين يديرون بياناتهم لتطبيقات LLM. “تحتوي مجموعة الأدوات الخاصة بنا على أكبر قدر من العمق في هذا الجانب ، ونعمل على تسهيل التكامل مع الأدوات الأخرى التي يستخدمها المطور.”
اعتمادات الصورة: اللاما
يسمح إطار عمل LlamaIndex للمطورين بربط البيانات من ملفات مثل ملفات PDF و PowerPoints وتطبيقات مثل Notion و Slack وقواعد البيانات مثل Postgres و MongoDB إلى LLMs. يتضمن إطار العمل موصلات لاستيعاب مصادر البيانات وتنسيقات البيانات ، بالإضافة إلى طرق لهيكلة البيانات بحيث يمكن استخدامها بسهولة مع LLMs.
بالإضافة إلى ذلك ، يتميز LlamaIndex بواجهة لاسترجاع البيانات والاستعلام تتيح للمطورين تغذية أي موجه إدخال LLM للعودة – كما يصفها ليو – إخراج “السياق والمعرفة المعززة”.
قال ليو: “هناك أطر عمل أخرى لتطبيق LLM تقدم اللبنات الأساسية لتطبيقات LLM والوكلاء”. “ما يميز LlamaIndex هو أننا نركز على ربط مصادر البيانات الخاصة بك بـ LLM ، ولدينا أدوات شاملة حول استيعاب البيانات وإدارة البيانات والفهرسة واسترجاع البيانات فيما يتعلق بتطبيقات LLM.”
أثار احتمال زيادة LLM بهذه الطريقة جذب المستثمرين ، الذين تعهدوا بتقديم 8.5 مليون دولار نحو LlamaIndex في جولة تمويل أولية مغلقة مؤخرًا. قاد Greylock بمشاركة مستثمرين ملاك ، بما في ذلك Jack Altman و Lenny Rachitsky و Charles Xie.
إذن ما الذي ستنفقه LlamaIndex الأموال؟ يقول ليو إنه سيتم استخدامه لبناء “حل مؤسسي” على قمة مشروع LlamaIndex مفتوح المصدر ، المقرر إطلاقه في وقت لاحق من هذا العام. ستسمح إحدى الإمكانيات للعملاء باستخدام موصلات بيانات “درجة الحماية” لتحليل ونقل كميات كبيرة من البيانات ، بينما تتيح لهم القدرة الأخرى ذات الصلة فهرسة البيانات “الخاصة بالمجال”.
قال ليو: “LlamaIndex ليس مرتبطًا بقطعة معينة من التكنولوجيا ، حتى نتمكن من الاستمرار في استخدامها مع LLM مع تطور التكنولوجيا”. “صناعة الذكاء الاصطناعي تتحرك بسرعة كبيرة بحيث من المرجح أن تتغير أي مكدسات أولية ناشئة خلال الأشهر القليلة المقبلة.”
