دروس SSIS للمبتدئين: ما هي الهندسة المعمارية والحزم

ما هو مباحث أمن الدولة؟

خدمة تكامل خادم SQL (SSIS) هو جزء من Microsoft برنامج قاعدة بيانات SQL Server الذي يمكن استخدامه لتنفيذ مجموعة واسعة من مهام ترحيل البيانات. SSIS هي أداة لتخزين البيانات سريعة ومرنة تستخدم لاستخراج البيانات وتحميلها وتحويلها مثل التنظيف والتجميع ودمج البيانات وما إلى ذلك.

يجعل من السهل نقل البيانات من قاعدة بيانات إلى قاعدة بيانات أخرى. يمكن لـ SSIS استخراج البيانات من مجموعة واسعة من المصادر مثل قواعد بيانات SQL Server وملفات Excel وقواعد بيانات Oracle وDB2 وما إلى ذلك.

يتضمن SSIS أيضًا أدوات ومعالجات رسومية لأداء وظائف سير العمل مثل إرسال البريد الإلكترونيmail الرسائل وعمليات FTP ومصادر البيانات والوجهات.

لماذا نستخدم مباحث أمن الدولة؟

فيما يلي الأسباب الرئيسية لاستخدام أداة SSIS:

  • تساعدك أداة SSIS على دمج البيانات من مخازن البيانات المختلفة
  • أتمتة الوظائف الإدارية وتحميل البيانات
  • يملأ أسواق البيانات ومستودعات البيانات
  • يساعدك على تنظيف وتوحيد البيانات
  • بناء ذكاء الأعمال في عملية تحويل البيانات
  • أتمتة الوظائف الإدارية وتحميل البيانات
  • يحتوي SIS على واجهة مستخدم رسومية تساعد المستخدمين على تحويل البيانات بسهولة بدلاً من كتابة برامج كبيرة
  • يمكنه تحميل ملايين الصفوف من مصدر بيانات إلى آخر في دقائق قليلة جدًا
  • تحديد والتقاط ومعالجة تغييرات البيانات
  • تنسيق صيانة البيانات أو معالجتها أو تحليلها
  • SSIS يلغي الحاجة إلى المبرمجين المتشددين
  • يوفر SSIS معالجة قوية للأخطاء والأحداث

تاريخ مباحث أمن الدولة

قبل SSIS، تم استخدام SQL Server، وخدمات تحويل البيانات (DTS)، والتي كانت جزءًا من SQL Server 7 و2000

التجريبية التفاصيل
خادم SQL 2005 • Microsoft قرر الفريق تجديد DTS. ومع ذلك، بدلاً من تحديث DTS، قرروا تسمية المنتج بخدمات التكامل (SSIS).
نسخة خادم SQL 2008 تم إجراء الكثير من تحسينات الأداء على مباحث أمن الدولة. كما تم تقديم مصادر جديدة.
خادم SQL 2012 لقد كان أكبر إصدار لـ SSIS. مع هذا الإصدار، تم تقديم مفهوم نموذج نشر المشروع. فهو يسمح بمشاريع بأكملها، ويتم نشر حزمها على الخادم، بدلاً من حزم محددة.
خادم SQL 2014 في هذا الإصدار، لم يتم إجراء العديد من التغييرات على SSIS. ولكن تم إضافة مصادر أو تحويلات جديدة والتي تم إجراؤها عن طريق التنزيلات المنفصلة من خلال الكودPlex أو حزمة ميزات SQL Server.
في SQL Server 2016 يسمح لك الإصدار بنشر مشاريع كاملة، بدلاً من الحزم الفردية. هناك مصادر إضافية خاصة السحابية، ومصادر البيانات الضخمة وتم إجراء تغييرات قليلة على الكتالوج.

الميزات البارزة لمباحث أمن الدولة

فيما يلي بعض ميزات أساسيات SSIS الهامة:

  • بيئات الاستوديو
  • وظائف تكامل البيانات ذات الصلة
  • سرعة التنفيذ الفعالة
  • التكامل الوثيق مع الآخرين Microsoft عائلة SQL
  • تحويل استعلام استخراج البيانات
  • بحث غامض وتحولات التجميع
  • استخراج المصطلح وتحويلات البحث عن المصطلح
  • مكونات اتصال البيانات ذات السرعة العالية مثل الاتصال بـ SAP أو Oracle

هندسة مباحث أمن الدولة

هندسة مباحث أمن الدولة
هندسة مباحث أمن الدولة

فولوwing هي مكونات بنية SSIS:

  • التحكم في التدفق (حاويات المخازن والمهام)
  • تدفق البيانات (المصدر، الوجهة، التحويلات)
  • معالج الأحداث (إرسال الرسائل، Emails)
  • مستكشف الحزم (يقدم عرضًا واحدًا للجميع في الحزمة)
  • المعلمات (تفاعل المستخدم)

دعونا نفهم كل مكون بالتفصيل:

1. التحكم في التدفق

التحكم في التدفق هو عقل حزمة مباحث أمن الدولة. يساعدك على ترتيب ترتيب التنفيذ لجميع مكوناته. تحتوي المكونات على حاويات ومهام تتم إدارتها بواسطة قيود الأسبقية.

2. قيود الأسبقية

قيود الأسبقية عبارة عن مكون حزمة يوجه المهام للتنفيذ بترتيب محدد مسبقًا. كما أنه يحدد سير العمل لحزمة SSIS بأكملها. فهو يتحكم في تنفيذ المهمتين المرتبطتين عن طريق تنفيذ المهام الوجهة بناءً على نتيجة المهمة السابقة — قواعد العمل التي يتم تعريفها باستخدام تعبيرات خاصة.

3. المهمة

"المهمة" هي وحدة عمل فردية. إنها نفس الطريقة/الوظيفة المستخدمة في لغة البرمجة. ومع ذلك، في مباحث أمن الدولة، لا تستخدم أساليب الترميز. بدلاً من ذلك، ستستخدم تقنية السحب والإفلات لتصميم الأسطح وتكوينها.

4. حاويات

الحاوية عبارة عن وحدات لتجميع المهام معًا في وحدات عمل. وبصرف النظر عن تقديم الاتساق البصري، فإنه يسمح لك أيضًا بالإعلان عن المتغيرات ومعالجات الأحداث التي يجب أن تكون ضمن نطاق تلك الحاوية المحددة.

أربعة أنواع من الحاويات في مباحث أمن الدولة هي:

  • حاوية التسلسل
  • حاوية للحلقة
  • حاوية حلقة Foreach

حاوية التسلسل: يسمح لك بتنظيم المهام الفرعية عن طريق تجميعها، ويسمح لك بتطبيق المعاملات أو تعيين التسجيل للحاوية.

لحاوية الحلقة:يوفر نفس وظيفة حاوية التسلسل باستثناء أنه يتيح لك أيضًا تشغيل المهام عدة مرات. ومع ذلك، فهو يعتمد على شرط التقييم، مثل التكرار من 1 إلى 100.

لكل حاوية حلقة: كما يسمح بالتكرار. لكن الفرق هو أنه بدلاً من استخدام تعبير شرطي، يتم إجراء التكرار على مجموعة من الكائنات، ويحب الملفات الموجودة في المجلد.

5. تدفق البيانات

الاستخدام الرئيسي لأداة SSIS هو استخراج البيانات إلى ذاكرة الخادم وتحويلها وكتابتها إلى وجهة أخرى. إذا كان التحكم في التدفق هو العقل، فإن تدفق البيانات هو قلب مباحث أمن الدولة

6. حزم مباحث أمن الدولة

عنصر أساسي آخر في مباحث أمن الدولة هو فكرة الحزمة. إنها مجموعة من المهام التي يتم تنفيذها بطريقة منظمة. هنا، تساعد قيود الرئيس في إدارة الترتيب الذي سيتم تنفيذ المهمة به.

يمكن أن تساعدك الحزمة على حفظ الملفات على ملف ملقم SQL، في قاعدة بيانات msdb أو كتالوج الحزمة. ويمكن حفظه كملف .dtsx، وهو ملف منظم يشبه إلى حد كبير ملفات .rdl الخاصة بخدمات التقارير.

حزم مباحث أمن الدولة

7. المعلمات

تتصرف المعلمات بشكل يشبه إلى حد كبير المتغير ولكن مع بعض الاستثناءات الرئيسية. يمكن ضبطه خارج العبوة بسهولة. يمكن تعيينها كقيم يجب تمريرها لبدء الحزمة.

أنواع مهام مباحث أمن الدولة

في أداة SSIS، يمكنك إضافة مهمة للتحكم في التدفق. هناك أنواع مختلفة من المهام التي تؤدي أنواعًا مختلفة من الأعمال.

بعض مهام SSIS الهامة مذكورة أدناه:

اسم المهمة أوصاف
تنفيذ مهمة SQL كما يوحي اسمها، سيتم تنفيذ عبارة SQL مقابل قاعدة بيانات علائقية.
مهمة تدفق البيانات يمكن لهذه المهمة قراءة البيانات من مصدر واحد أو أكثر. قم بتحويل البيانات عندما تكون في الذاكرة واكتبها مقابل وجهة واحدة أو أكثر.
مهمة معالجة خدمات التحليل استخدم هذه المهمة لمعالجة كائنات النموذج الجدولي أو كمكعب SSAS.
تنفيذ مهمة الحزمة يمكن استخدام مهمة SSIS هذه لتنفيذ حزم أخرى من داخل نفس المشروع.
تنفيذ مهمة العملية بمساعدة هذه المهمة، يمكنك تحديد معلمات سطر الأوامر.
مهمة نظام الملفات ينفذ التلاعب في نظام الملفات. مثل نقل الملفات وإعادة تسميتها وحذفها وإنشاء الدلائل.
مهام بروتوكول نقل الملفات يسمح لك بأداء وظائف FTP الأساسية.
مهمة البرنامج النصي هذه مهمة فارغة. يمكنك كتابة كود NET الذي ينفذ أي مهمة؛ تريد أداء.
أرسل Mail مهمة يمكنك إرسال بريد إلكترونيmail لإعلام المستخدمين بانتهاء الحزمة الخاصة بك، أو بحدوث خطأ ما.
مهمة إدراج مجمعة يمكن أن يقوم الاستخدام بتحميل البيانات إلى جدول باستخدام أمر الإدراج المجمع.
مهمة البرنامج النصي تشغيل مجموعة من VB.NET أو ترميز C# داخل بيئة Visual Studio.
مهمة خدمة الويب ينفذ طريقة على خدمة ويب.
مهمة مراقب أحداث WMI تسمح هذه المهمة لحزمة SSIS بالانتظار والاستجابة لأحداث WMI معينة.
مهمة XML تساعدك هذه المهمة على دمج أي ملف XML أو تقسيمه أو إعادة تنسيقه.

أدوات ETL مهمة أخرى

  • خدمات بيانات ساب
  • إدارة بيانات SAS
  • أوراكل مستودع منشئ (OWB)
  • باور سنتر إنفورماتيكا
  • IBM خادم معلومات إنفوسفير
  • مرجع Elixir للبيانات ETL
  • تدفق البيانات سارجنت

مزايا وعيوب استخدام مباحث أمن الدولة

توفر أداة SSIS ما يليwing مزايا:

  • توثيق ودعم واسع النطاق
  • سهولة وسرعة التنفيذ
  • التكامل الدقيق مع SQL Server و استوديو مرئي
  • تكامل البيانات الموحدة
  • يوفر إمكانات تعتمد على الرسائل في الوقت الفعلي
  • دعم نموذج التوزيع
  • يساعدك على إزالة الشبكة باعتبارها عنق الزجاجة لإدراج البيانات عن طريق SSIS في SQL
  • يسمح لك SISS باستخدام SQL Server Destination بدلاً من OLE DB لتحميل البيانات بشكل أسرع

عيوب مباحث أمن الدولة

بعض عيوب استخدام أدوات SSIS هي كما يلي:

  • في بعض الأحيان يتم إنشاء مشكلات في بيئات غير Windows
  • عدم وضوح الرؤية والاستراتيجية
  • يفتقر مباحث أمن الدولة إلى دعم أنماط تكامل البيانات البديلة
  • التكامل الإشكالي مع المنتجات الأخرى

مثال على أفضل ممارسات مباحث أمن الدولة

  • SSIS هو خط أنابيب في الذاكرة. ولهذا السبب من المهم التأكد من أن جميع التحولات تحدث في الذاكرة
  • حاول تقليل العمليات المسجلة
  • التخطيط للقدرة من خلال فهم استخدام الموارد
  • تحسين تحويل بحث SQL ومصدر البيانات والوجهة
  • جدولتها وتوزيعها بشكل صحيح

نبذة عامة

  • الشكل الكامل لـ SSIS هو خدمات تكامل SQL Server
  • تساعدك أداة SSIS على دمج البيانات من مخازن البيانات المختلفة
  • الإصدارات المهمة من SQL Server Integration Service هي 2005 و2008 و2012 و2014 و216
  • تعد بيئات الاستوديو ووظائف تكامل البيانات ذات الصلة وسرعة التنفيذ الفعالة من بعض الميزات المهمة لمباحث أمن الدولة
  • يعد تدفق التحكم وتدفق البيانات ومعالج الأحداث ومستكشف الحزم والمعلمات مكونات أساسية في بنية SSIS
  • تنفيذ مهمة SQL، مهمة تدفق البيانات، مهمة معالجة خدمات التحليل، تنفيذ مهمة الحزمة، تنفيذ مهمة العملية، مهمة نظام الملفات، مهام FTP، الإرسال Mail المهمة، مهمة خدمة الويب لها بعض الأهمية
  • توثيق ودعم واسع النطاق
  • أكبر عيب في SSIS هو أنه يفتقر إلى الدعم لأنماط تكامل البيانات البديلة
  • خدمات بيانات SAP، إدارة بيانات SAS، Oracle Warehouse Builder (OWB)، PowerCenter Informatica، IBM خادم معلومات إنفوسفير
  • SSIS هو خط أنابيب في الذاكرة. ولذلك، فمن الضروري التأكد من أن كافة التحولات تحدث في الذاكرة