أعلنت شركة Fivetran، الشركة المشهورة بمساعدة المؤسسات في بناء خطوط أنابيب البيانات الخاصة بها، يوم الثلاثاء عن التوفر العام لأحدث منتجاتها، وهي خدمة Fivetran Managed Data Lake Service.
وتهدف الخدمة الجديدة إلى إزالة العمل المتكرر لإدارة بحيرات البيانات من خلال أتمتتها وتبسيطها لعملاء الشركة، مما يتيح لهم التركيز على إنشاء منتجات فوق هذه البيانات. اعتبارًا من الآن، تدعم الخدمة Amazon S3 وAzure Data Lake Storage (ADLS) وMicrosoft OneLake، مع دعم Google Cloud على خريطة الطريق.
تقليديًا، يدعم Fivetran مستودعات البيانات فقط، والتي تُستخدم عادةً لتخزين البيانات المنظمة والعلائقية لتشغيل التحليلات وتطبيقات ذكاء الأعمال (BI). من ناحية أخرى، تهدف بحيرات البيانات إلى تخزين البيانات المنظمة وغير المنظمة من مجموعة واسعة من المصادر ولحالات الاستخدام التي تتضمن غالبًا تحليلات في الوقت الفعلي وأعباء عمل التعلم الآلي. قامت Databricks أيضًا بنشر مفهوم Lakehouse، الذي يهدف إلى الجمع بين أفضل ما في العالمين في مستودع بيانات واحد.
“الفكرة هي أننا نجلب البنية التحتية القابلة للتطوير التي قدمناها لذكاء الأعمال على مدى السنوات التسع الماضية إلى الذكاء الاصطناعي وبيئة عبء العمل بأكملها،” أخبرني تايلور براون، المؤسس المشارك ومدير العمليات في شركة Fivetran.
تستخدم خدمة بحيرة البيانات المُدارة أكثر من 500 موصل موجود في Fivetran، ثم تقوم بتطبيعها وإلغاء تكرارها قبل إرسالها إلى إحدى مستودعات البيانات المدعومة إما في تنسيقات جدول Delta Lake أو Apache Iceberg. بمجرد دخولهم إلى بحيرة البيانات، يمكن للمستخدمين بعد ذلك العمل مع المحرك الحسابي الذي يختارونه (مثل Databricks أو Snowflake أو Starburst أو Redshift) لتشغيل تلك البيانات – أو إحضارها إلى منصة التعلم الآلي لتشغيل تطبيقات الذكاء الاصطناعي الجديدة الخاصة بهم.
“لقد قام Fivetran بدعم مستودعات البيانات فقط، […] وقال براون: “وبالتأكيد يستخدم بعض العملاء هذه الأدوات كبحيرات بيانات، ولكن لدينا الكثير من العملاء الذين يطلبون منا دعم المزيد من تنسيق Iceberg وDelta Lake في بحيرات البيانات، وخاصة العملاء الأكبر حجمًا”.
أخبرني براون أن العديد من العملاء الذين جربوا الخدمة المُدارة الجديدة خلال فترة معاينتها أدركوا أنهم كانوا يقومون ببناء نفس المسارات لتحميل بياناتهم في مستودعات البيانات وبحيرات البيانات.
إحدى المشكلات المتعلقة ببحيرات البيانات هي أنه غالبًا ما يكون من الصعب التأكد من أن المستخدمين لا يمكنهم الوصول إلا إلى البيانات التي من المفترض أن يستخدموها. في إعلان يوم الثلاثاء، أكد Fivetran على أنه يتكامل مع كتالوجات البيانات الحالية وحلول الإدارة مثل AWS Glue وDatabricks Unity Catalog وMicrosoft Purview.
وقال هيمانشو راجا، مدير منتجات Databricks: “نحن متحمسون للغاية بشأن دعم Fivetran لبحيرة دلتا كوجهة مباشرة”. “بفضل هذه الإمكانية الجديدة، يمكن للعملاء الآن استخدام Fivetran لبناء بحيرة مفتوحة مع Delta Lake مدعومة بمنصة Databricks Data Intelligence Platform. نحن أيضًا متحمسون جدًا بشأن تكامل Fivetran القادم مع Unity Catalog لتوفير حوكمة وأمان خارج الصندوق لجميع الجداول التي تم إنشاؤها بواسطة Fivetran.”
حتى نهاية أغسطس، ستوفر Fivetran الخدمة الجديدة مجانًا (ما يصل إلى 10000 دولار لكل عميل). بعد ذلك، ستطبق Fivetran نموذج الاستهلاك الحالي الخاص بها لتحصيل رسوم منه. وقال براون: “إن إحدى فوائد استخدام خدمة Fivetran Managed Data Lake هي أن الاستيعاب مجاني”. “إذا كنت تقوم بالتحميل ضمن Snowflake أو Databricks أو المستهلكين الآخرين في المراحل النهائية، فيجب عليك استخدام حساب المستودع لاستيعاب البيانات فعليًا، وهو ما قد يكون أمرًا صعبًا للغاية [expensive] في بعض الحالات.”
اكتشاف المزيد من موقع شعاع للمعلوماتية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
