دروس SSIS للمبتدئين: ما هو، Archiالتكنولوجيا والحزم
ما هو مباحث أمن الدولة؟
خدمة تكامل خادم SQL (SSIS) هو جزء من Microsoft SQL Server برنامج قاعدة بيانات يمكن استخدامه لتنفيذ مجموعة واسعة من مهام ترحيل البيانات. SSIS هي أداة لتخزين البيانات سريعة ومرنة تستخدم لاستخراج البيانات وتحميلها وتحويلها مثل التنظيف والتجميع ودمج البيانات وما إلى ذلك.
يجعل من السهل نقل البيانات من قاعدة بيانات إلى قاعدة بيانات أخرى. يمكن لـ SSIS استخراج البيانات من مجموعة واسعة من المصادر مثل قواعد بيانات SQL Server وملفات Excel، Oracle وقواعد بيانات DB2، الخ.
يتضمن SSIS أيضًا أدوات ومعالجات رسومية لأداء وظائف سير العمل مثل إرسال رسائل البريد الإلكتروني وعمليات FTP ومصادر البيانات والوجهات.
لماذا نستخدم مباحث أمن الدولة؟
فيما يلي الأسباب الرئيسية لاستخدام أداة SSIS:
- تساعدك أداة SSIS على دمج البيانات من مخازن البيانات المختلفة
- أتمتة الوظائف الإدارية وتحميل البيانات
- يملأ أسواق البيانات ومستودعات البيانات
- يساعدك على تنظيف وتوحيد البيانات
- بناء ذكاء الأعمال في عملية تحويل البيانات
- أتمتة الوظائف الإدارية وتحميل البيانات
- يحتوي SIS على واجهة مستخدم رسومية تساعد المستخدمين على تحويل البيانات بسهولة بدلاً من كتابة برامج كبيرة
- يمكنه تحميل ملايين الصفوف من مصدر بيانات إلى آخر في دقائق قليلة جدًا
- تحديد والتقاط ومعالجة تغييرات البيانات
- تنسيق صيانة البيانات أو معالجتها أو تحليلها
- SSIS يلغي الحاجة إلى المبرمجين المتشددين
- يوفر SSIS معالجة قوية للأخطاء والأحداث
تاريخ مباحث أمن الدولة
قبل SSIS، تم استخدام SQL Server، وخدمات تحويل البيانات (DTS)، والتي كانت جزءًا من SQL Server 7 و2000
التجريبية | التفاصيل |
---|---|
خادم SQL 2005 | ال Microsoft قرر الفريق تجديد DTS. ومع ذلك، بدلاً من تحديث DTS، قرروا تسمية المنتج بخدمات التكامل (SSIS). |
نسخة خادم SQL 2008 | تم إجراء الكثير من تحسينات الأداء على مباحث أمن الدولة. كما تم تقديم مصادر جديدة. |
خادم SQL 2012 | كان هذا هو الإصدار الأكبر بالنسبة لـ SSIS. مع هذا الإصدار، تم تقديم مفهوم نموذج نشر المشروع. فهو يسمح بنشر المشاريع بالكامل وحزمها على خادم، بدلاً من حزم محددة. |
خادم SQL 2014 | في هذا الإصدار، لم يتم إجراء العديد من التغييرات على SSIS. ولكن تم إضافة مصادر أو تحويلات جديدة والتي تم إجراؤها عن طريق التنزيلات المنفصلة من خلال الكودPlex أو حزمة ميزات SQL Server. |
في SQL Server 2016 | يسمح لك الإصدار بنشر مشاريع كاملة، بدلاً من الحزم الفردية. هناك مصادر إضافية خاصة السحابية، ومصادر البيانات الضخمة وتم إجراء تغييرات قليلة على الكتالوج. |
الميزات البارزة لمباحث أمن الدولة
فيما يلي بعض ميزات أساسيات SSIS الهامة:
- بيئات الاستوديو
- وظائف تكامل البيانات ذات الصلة
- سرعة التنفيذ الفعالة
- التكامل الوثيق مع الآخرين Microsoft عائلة SQL
- تحويل استعلام استخراج البيانات
- بحث غامض وتحولات التجميع
- استخراج المصطلح وتحويلات البحث عن المصطلح
- مكونات اتصال البيانات بسرعة أعلى مثل الاتصال بـ SAP or Oracle
مباحث أمن الدولة Architecture
فيما يلي مكونات بنية SSIS:
- التحكم في التدفق (حاويات المخازن والمهام)
- تدفق البيانات (المصدر، الوجهة، التحويلات)
- معالج الأحداث (إرسال الرسائل والبريد الإلكتروني)
- مستكشف الحزم (يقدم عرضًا واحدًا للجميع في الحزمة)
- المعلمات (تفاعل المستخدم)
دعونا نفهم كل مكون بالتفصيل:
1. التحكم في التدفق
التحكم في التدفق هو عقل حزمة مباحث أمن الدولة. يساعدك على ترتيب ترتيب التنفيذ لجميع مكوناته. تحتوي المكونات على حاويات ومهام تتم إدارتها بواسطة قيود الأسبقية.
2. قيود الأسبقية
قيود الأسبقية عبارة عن مكون حزمة يوجه المهام للتنفيذ بترتيب محدد مسبقًا. كما أنه يحدد سير العمل لحزمة SSIS بأكملها. فهو يتحكم في تنفيذ المهمتين المرتبطتين عن طريق تنفيذ المهام الوجهة بناءً على نتيجة المهمة السابقة — قواعد العمل التي يتم تعريفها باستخدام تعبيرات خاصة.
3. المهمة
"المهمة" هي وحدة عمل فردية. إنها نفس الطريقة/الوظيفة المستخدمة في لغة البرمجة. ومع ذلك، في مباحث أمن الدولة، لا تستخدم أساليب الترميز. بدلاً من ذلك، ستستخدم تقنية السحب والإفلات لتصميم الأسطح وتكوينها.
4. حاويات
الحاوية عبارة عن وحدات لتجميع المهام معًا في وحدات عمل. وبصرف النظر عن تقديم الاتساق البصري، فإنه يسمح لك أيضًا بالإعلان عن المتغيرات ومعالجات الأحداث التي يجب أن تكون ضمن نطاق تلك الحاوية المحددة.
أربعة أنواع من الحاويات في مباحث أمن الدولة هي:
- حاوية التسلسل
- حاوية للحلقة
- حاوية حلقة Foreach
حاوية التسلسل: يسمح لك بتنظيم المهام الفرعية عن طريق تجميعها، ويسمح لك بتطبيق المعاملات أو تعيين التسجيل للحاوية.
لحاوية الحلقة:يوفر نفس وظيفة حاوية التسلسل باستثناء أنه يتيح لك أيضًا تشغيل المهام عدة مرات. ومع ذلك، فهو يعتمد على شرط التقييم، مثل التكرار من 1 إلى 100.
لكل حاوية حلقة: كما يسمح بالتكرار. لكن الفرق هو أنه بدلاً من استخدام تعبير شرطي، يتم إجراء التكرار على مجموعة من الكائنات، ويحب الملفات الموجودة في المجلد.
5. تدفق البيانات
الاستخدام الرئيسي لأداة SSIS هو استخراج البيانات إلى ذاكرة الخادم وتحويلها وكتابتها إلى وجهة أخرى. إذا كان التحكم في التدفق هو العقل، فإن تدفق البيانات هو قلب مباحث أمن الدولة
6. حزم مباحث أمن الدولة
أحد المكونات الأساسية الأخرى لنظام SSIS هو مفهوم الحزمة. وهي عبارة عن مجموعة من المهام التي يتم تنفيذها بطريقة منظمة. هنا، تساعد القيود الرئيسية في إدارة الترتيب الذي سيتم تنفيذ المهمة به.
يمكن أن تساعدك الحزمة على حفظ الملفات على ملف ملقم SQL، في قاعدة بيانات msdb أو كتالوج الحزمة. ويمكن حفظه كملف .dtsx، وهو ملف منظم يشبه إلى حد كبير ملفات .rdl الخاصة بخدمات التقارير.
7. المعلمات
تتصرف المعلمات بشكل يشبه إلى حد كبير المتغير ولكن مع بعض الاستثناءات الرئيسية. يمكن ضبطه خارج العبوة بسهولة. يمكن تعيينها كقيم يجب تمريرها لبدء الحزمة.
أنواع مهام مباحث أمن الدولة
في أداة SSIS، يمكنك إضافة مهمة للتحكم في التدفق. هناك أنواع مختلفة من المهام التي تؤدي أنواعًا مختلفة من الأعمال.
بعض مهام SSIS الهامة مذكورة أدناه:
اسم المهمة | أوصاف |
---|---|
تنفيذ مهمة SQL | كما يوحي اسمها، سيتم تنفيذ عبارة SQL مقابل قاعدة بيانات علائقية. |
مهمة تدفق البيانات | يمكن لهذه المهمة قراءة البيانات من مصدر واحد أو أكثر. قم بتحويل البيانات عندما تكون في الذاكرة واكتبها مقابل وجهة واحدة أو أكثر. |
مهمة معالجة خدمات التحليل | استخدم هذه المهمة لمعالجة كائنات النموذج الجدولي أو كمكعب SSAS. |
تنفيذ مهمة الحزمة | يمكن استخدام مهمة SSIS هذه لتنفيذ حزم أخرى من داخل نفس المشروع. |
تنفيذ مهمة العملية | بمساعدة هذه المهمة، يمكنك تحديد معلمات سطر الأوامر. |
مهمة نظام الملفات | ينفذ التلاعب في نظام الملفات. مثل نقل الملفات وإعادة تسميتها وحذفها وإنشاء الدلائل. |
مهام بروتوكول نقل الملفات | يسمح لك بأداء وظائف FTP الأساسية. |
مهمة البرنامج النصي | هذه مهمة فارغة. يمكنك كتابة كود NET الذي ينفذ أي مهمة؛ تريد أداء. |
إرسال Mail مهمة | يمكنك إرسال بريد إلكتروني لإعلام المستخدمين بأن الحزمة الخاصة بك قد انتهت، أو يحدث بعض الأخطاء. |
مهمة إدراج مجمعة | يمكن أن يقوم الاستخدام بتحميل البيانات إلى جدول باستخدام أمر الإدراج المجمع. |
مهمة البرنامج النصي | تشغيل مجموعة من VB.NET أو البرمجة بلغة C# داخل بيئة Visual Studio. |
مهمة خدمة الويب | ينفذ طريقة على خدمة ويب. |
مهمة مراقب أحداث WMI | تسمح هذه المهمة لحزمة SSIS بالانتظار والاستجابة لأحداث WMI معينة. |
مهمة XML | تساعدك هذه المهمة على دمج أي ملف XML أو تقسيمه أو إعادة تنسيقه. |
أدوات ETL مهمة أخرى
- SAP خدمات البيانات
- إدارة بيانات SAS
- Oracle منشئ المستودعات (OWB)
- باور سنتر إنفورماتيكا
- IBM خادم معلومات إنفوسفير
- مرجع Elixir للبيانات ETL
- تدفق البيانات سارجنت
مزايا وعيوب استخدام مباحث أمن الدولة
توفر أداة SSIS المزايا التالية:
- توثيق ودعم واسع النطاق
- سهولة وسرعة التنفيذ
- التكامل الدقيق مع SQL Server و استوديو مرئي
- تكامل البيانات الموحدة
- يوفر إمكانات تعتمد على الرسائل في الوقت الفعلي
- دعم نموذج التوزيع
- يساعدك على إزالة الشبكة باعتبارها عنق الزجاجة لإدراج البيانات عن طريق SSIS في SQL
- يسمح لك SISS باستخدام SQL Server Destination بدلاً من OLE DB لتحميل البيانات بشكل أسرع
عيوب مباحث أمن الدولة
بعض عيوب استخدام أدوات SSIS هي كما يلي:
- في بعض الأحيان، قد تحدث مشكلات في بيئات غير Windows
- عدم وضوح الرؤية والاستراتيجية
- يفتقر مباحث أمن الدولة إلى دعم أنماط تكامل البيانات البديلة
- التكامل الإشكالي مع المنتجات الأخرى
مثال على أفضل ممارسات SSIS
- SSIS هو خط أنابيب في الذاكرة. ولهذا السبب من المهم التأكد من أن جميع التحولات تحدث في الذاكرة
- حاول تقليل العمليات المسجلة
- التخطيط للقدرة من خلال فهم استخدام الموارد
- تحسين تحويل بحث SQL ومصدر البيانات والوجهة
- جدولتها وتوزيعها بشكل صحيح
الملخص
- الشكل الكامل لـ SSIS هو خدمات تكامل SQL Server
- تساعدك أداة SSIS على دمج البيانات من مخازن البيانات المختلفة
- الإصدارات المهمة من SQL Server Integration Service هي 2005 و2008 و2012 و2014 و216
- تعد بيئات الاستوديو ووظائف تكامل البيانات ذات الصلة وسرعة التنفيذ الفعالة من بعض الميزات المهمة لمباحث أمن الدولة
- يعد تدفق التحكم وتدفق البيانات ومعالج الأحداث ومستكشف الحزمة والمعلمات مكونات أساسية لهندسة SSIS
- تنفيذ مهمة SQL، مهمة تدفق البيانات، مهمة معالجة خدمات التحليل، تنفيذ مهمة الحزمة، تنفيذ مهمة العملية، مهمة نظام الملفات، مهام FTP، الإرسال Mail المهمة، مهمة خدمة الويب لها بعض الأهمية
- توثيق ودعم واسع النطاق
- أكبر عيب في SSIS هو أنه يفتقر إلى الدعم لأنماط تكامل البيانات البديلة
- SAP خدمات البيانات، إدارة بيانات ساس، Oracle منشئ المستودعات (OWB)، PowerCenter Informatica، IBM خادم معلومات إنفوسفير
- SSIS هو خط أنابيب في الذاكرة. ولذلك، فمن الضروري التأكد من أن كافة التحولات تحدث في الذاكرة