ما هو بحيرة البيانات المستودعية (Data Lakehouse)؟
تجمع بحيرة البيانات المستودعية بين مرونة بحيرة البيانات مع البنية والأداء لمستودع البيانات. تعرّف على سبب اعتمادها بشكل متزايد.
Key Takeaways
- تجمع بحيرة البيانات المستودعية بين التخزين منخفض التكلفة والمرن لبحيرة البيانات مع أداء الاستعلام المنظمة لمستودع البيانات.
- إنها تلغي الحاجة إلى الحفاظ على نظامين منفصلين لتخزين البيانات الخام والمعالجة التحليلية.
- التقنيات مثل Delta Lake و Apache Iceberg و Apache Hudi تتيح نمط البيت البحري على التخزين السحابي.
المشكلة التي تحلها
تقليدياً، احتاجت الشركات إلى نظامين: بحيرة بيانات لتخزين البيانات الخام والبيانات غير المنظمة بتكلفة منخفضة، ومستودع بيانات للاستعلامات التحليلية السريعة والمنظمة. كانت البيانات يجب أن تُنسخ وتُحول بين الاثنين، مما يخلق تأخيرات والتناقضات وتكاليف التكرار. تجمع بحيرة البيانات المستودعية كلا الإمكانيتين في هندسة واحدة. تهبط البيانات الخام في التخزين السحابي الرخيص، وطبقة بيانات وتأرشيف تجعلها قابلة للاستعلام بأداء شبه مستودع.
كيف تعمل البيت البحري
يتم تخزين البيانات في تنسيقات ملفات مفتوحة مثل Parquet على التخزين السحابي (AWS S3 أو Azure Blob أو Google Cloud Storage). تضيف طبقة تنسيق الجدول — Delta Lake أو Apache Iceberg أو Apache Hudi — بنية واستعاملات ACID والحفاظ على المخطط والقدرة على السفر عبر الزمن إلى هذه الملفات. معالجات الاستعلام مثل Spark و Trino أو Databricks SQL تعالج البيانات بأداء يقترب من مستودعات البيانات التقليدية. النتيجة هي نسخة واحدة من البيانات تخدم احتياجات التخزين الخام والتحليلات.
الفوائد على الهندسة التقليدية
تقليل التكاليف كبير لأنك تلغي ترخيص مستودع البيانات وخط أنابيب ETL الذي ينسخ البيانات بين الأنظمة. تحسّن تحديث البيانات لأنه لا يوجد تأخير نسخ — يستعلم المحللون نفس البيانات التي تكتبها خطوط الأنابيب المتدفقة. يمكن لفرق التعلم الآلي الوصول إلى البيانات الخام للتدريب دون طلبات وصول بيانات منفصلة. يتم تبسيط الحكم باستخدام نظام واحد للتأمين بدلاً من اثنين. تطور المخطط مرنة تستوعب التغييرات دون كسر الاستعلامات الموجودة.
الصلة بفرق البيانات الأفريقية
قد تركض الشركات الأفريقية التي تبني بنية البيانات اليوم مباشرة بدون نهج النظام المزدوج. تنخفض تكاليف التخزين السحابي في المناطق الأفريقية، وتقنيات البيت البحري مفتوحة المصدر. قد تبني شركة fintech في لاغوس أو شركة لوجستية في نيروبي بيتاً بحرياً على تخزين سحابي ميسور الثمن ينطلق مع أحجام البيانات. يتجنب نهج التخطي هذا دين النظام القديم الذي تنفق الشركات الغربية الآن ملايين لفك الارتباط.