يشارك بهاء الزبيدي معرفته حول تحسين الـ Hive ويعرفها على أنها عملية لتحسين بنية الجدول في الـ Hive. يتم تحسين الجداول بناءً على أنماط استخدامها، مما يعني أنه يتم إعادة تنظيمها لتحسين الأداء.
النوعان الرئيسيان من تحسينات الـ Hive هما:
الجداول المقسمة: يتم تقسيم هذه الجداول إلى جداول فرعية متعددة لتحسين سرعة الاستعلام وتقليل استخدام الذاكرة. يتم ذلك عن طريق تقسيم مجموعة البيانات الكبيرة إلى أقسام أصغر وتخزين كل قسم على حدة. عند الاستفسار عن البيانات، يستخدم الـ Hive الأقسام المطلوبة فقط بدلاً من مسح جميع الأقسام. هذا يحسن الأداء بشكل كبير لأن قسمًا واحدًا فقط يحتاج إلى مسح ضوئي لكل استعلام بدلاً من مسح جميع الأقسام في وقت واحد.
الجداول المضغوطة: تم ضغط هذه الجداول باستخدام ضغط Snappy أو ضغط. LZO على سبيل المثال، إذا كان لديك جدول من 100 مليون صف به 1 مليون قيمة فريدة (مفاتيح الفهرس) ، فيمكن لـ Hive ضغطه باستخدام Snappy أو .LZO نتيجة لذلك، يستغرق الأمر مساحة أقل ويجعل استفساراتك أسرع.
أفضل تقنيات تحسين الخلية
يُلقي بهاء الزبيدي نظرة فاحصة على كل من استراتيجيات تحسين Hive التي يمكننا استخدامها لضبط أداء الخادم في. Hive
محرك التنفيذ Tez في Hive
الهدف من استخدام محرك التنفيذ Tez في Hive في تقنيات التحسين هو تحسين السرعة التي تعمل بها استفسارات Hive لدينا. ببساطة ان Tez هو إطار تطبيق جديد يعتمد على نظام (Hadoop Yarn (Yet Another Resource Negotiator الذي يعالج وظائف معالجة البيانات للأغراض العامة الممثلة على أنها رسوم بيانية حلقية موجهة معقدة. ومع ذلك، يمكن اعتباره خليفة لإطار تقليل الخرائط الأكثر تنوعًا وقوة.
استخدام ملف مناسب
إذا استخدمنا تنسيق ملف مناسب بناءً على البيانات، فيمكننا تحسين استخدامنا للخلية باستخدام . ORCFILE نتيجة لذلك، ستتحسن قدرتنا على إجراء الاستفسارات بشكل كبير.تنسيق ملف ORC مثالي لتعظيم أداء الاستعلام. ترمز ORC إلى )عمود الصف المحسن(. نتيجة لذلك، لدينا وسيلة أكثر كفاءة لتخزين البيانات مما هو ممكن مع تنسيقات الملفات التقليدية.
تقسيم الـ Hive
التقسيم في طرق تحسين Hive، يقرأ Hive جميع الملفات في الدليل دون تقسيمها. ثم يقوم بمعالجة المعلومات باستخدام مرشحات الاستعلام. هذه عملية تستغرق وقتًا طويلاً ومكلفة لأنه يجب قراءة جميع البيانات.ومن السيناريوهات الشائعة الأخرى ضرورة تصفية المعلومات القائمة على قيم في أعمدة معينة. ومع ذلك، من أجل تنفيذ التقسيم في الـHive، يحتاج المستخدمون إلى فهم مجال البيانات التي يجرون التحليل عليها.
التجميع في الـHive
ضع في اعتبارك حالة التجميع في أساليب تحسين الخلية. من حين لآخر، يمكن الوصول إلى مجموعة بيانات ضخمة. يؤدي التقسيم في مجال أو حقول معينة إلى تقليل حجم الملف الإجمالي، ولكن لا يزال ينتهي به الأمر إلى أن يكون أكبر بكثير من اللازم.
التوجيه في الـHive
نحن نستخدم تنفيذ الاستعلام المتجه لزيادة سرعة العمليات في تقنيات التحسين. جميع عمليات المسح والتجميع والترشيح والانضمامات هي أمثلة على العمليات في هذا السياق. نتيجة لذلك، يتم تنفيذ العمليات على دفعات من 1024 صفًا في وقت واحد بدلاً من صف واحد في كل مرة.
التحسين القائم على التكلفةCBO
قبل تقديم استعلام للتنفيذ النهائي، تقوم Hive بتحسين خطة التنفيذ المنطقية والمادية بناءً على تكلفتها، كما هو موضح في التحسين القائم على التكلفة في تقنيات تحسين الـHive. على الرغم من أنه حتى الآن، لم يتم استخدام تكلفة الاستعلام لتوجيه هذه التحسينات.
ومع ذلك، فإن ميزة جديدة لـ Hive، التحسين القائم على التكلفة، ينفذ المزيد من التحسينات بناءً على تكلفة الاستعلام. قد تنشأ قرارات مثل الانضمام إلى النظام، والانضمام إلى النوع، ومستوى التوازي، وغيرها نتيجة لذلك.
فهرسة الـHive
مؤشر الـHive هو أحد أكثر طرق تحسين الـHive فعالية. ستعزز الفهرسة أداء استفسارك بشكل كبير. الفهرسة، في جوهرها، تتضمن إنشاء جدول مرجعي ثانٍ يختلف عن الجدول الأصلي نفسه.نعلم جميعًا أن طاولة الـHive ستحتوي على العديد من الصفوف والأعمدة. ببساطة، دون فهرسة، سيستغرق تشغيل الاستفسارات على أعمدة معينة وقتًا طويلاً للغاية.
www.bahaaalzubaidi.net شكرا لاهتمامك بمدونات بهاء الزبيدي. الرجاء زيارة