دروس DataStage للمبتدئين: IBM أداة ETL

ما هو داتاستيج؟

DataStage هي أداة ETL تُستخدم لـtracتُستخدم DataStage لمعالجة البيانات وتحويلها وتحميلها من المصدر إلى الوجهة المستهدفة. قد تشمل مصادر هذه البيانات الملفات التسلسلية، والملفات المفهرسة، وقواعد البيانات العلائقية، ومصادر البيانات الخارجية، والأرشيفات، وتطبيقات المؤسسات، وغيرها. تُستخدم DataStage لتسهيل تحليل الأعمال من خلال توفير بيانات عالية الجودة للمساعدة في الحصول على معلومات استخبارية قيّمة.

تُستخدم أداة DataStage ETL في المؤسسات الكبيرة كواجهة بين الأنظمة المختلفة. وهي تتولى مهام استخراج البيانات وتحويلها وتحميلها (ETL).tracنقل البيانات وترجمتها وتحميلها من المصدر إلى الوجهة المستهدفة. أُطلقت هذه التقنية لأول مرة بواسطة شركة VMark في منتصف التسعينيات. IBM بعد الحصول على DataStage في عام 2005، تمت إعادة تسميته إلى IBM WebSphere DataStage والإصدارات الأحدث IBM إنفوسفير.

الإصدارات المختلفة من Datastage المتوفرة في السوق حتى الآن هي Enterprise Edition (PX)، وServer Edition، وMVS Edition، وDataStage for PeopleSoft وما إلى ذلك. أحدث طبعة هي IBM إنفوسفير داتا ستيج.

IBM يتضمن خادم المعلومات المنتجات التالية،

• IBM إنفوسفير داتا ستيج
• IBM مرحلة الجودة في InfoSphere
• IBM مدير خدمات معلومات InfoSphere
• IBM محلل معلومات إنفوسفير
• IBM خادم معلومات سريعTrack
• IBM InfoSphere Business Glossary

بعد تحديد التعريف، يتناول القسم التالي ما يمكن أن يفعله المنتج فعليًا داخل تخزين البيانات بيئة.

نظرة عامة على DataStage

تتمتع Datastage بالقدرات التالية.

• يمكنه دمج البيانات من أوسع نطاق من مصادر البيانات المؤسسية والخارجية
• ينفذ قواعد التحقق من صحة البيانات
• إنه مفيد في معالجة وتحويل كميات كبيرة من البيانات
• ويستخدم نهج المعالجة المتوازية القابلة للتطوير
• يمكنه التعامل مع التحولات المعقدة وإدارة عمليات التكامل المتعددة
• الاستفادة من الاتصال المباشر بتطبيقات المؤسسة كمصادر أو أهداف
• الاستفادة من البيانات الوصفية للتحليل والصيانة
• Operaدفعة واحدة، في الوقت الحقيقي، أو كخدمة ويب

في الأقسام التالية من برنامج DataStage التعليمي هذا، نقوم بوصف الجوانب التالية بإيجاز: IBM إنفوسفير داتاستاج:

• تحويل البيانات
• الوظائف
• المعالجة المتوازية

يمكن لـ InfoSphere DataStage وQualityStage الوصول إلى البيانات في تطبيقات المؤسسة ومصادر البيانات مثل:

• قواعد البيانات العلائقية
• قواعد البيانات المركزية
• تطبيقات الأعمال والتحليلات
• تخطيط موارد المؤسسات (ERP) أو قواعد بيانات إدارة علاقات العملاء (CRM).
• المعالجة التحليلية عبر الإنترنت (OLAP) أو قواعد بيانات إدارة الأداء

أنواع مراحل المعالجة

IBM تتكون وظيفة Infosphere من مراحل فردية مرتبطة ببعضها البعض. ويصف تدفق البيانات من مصدر البيانات إلى هدف البيانات. عادة، تحتوي المرحلة على حد أدنى من إدخال بيانات واحد و/أو مخرج بيانات واحد. ومع ذلك، يمكن لبعض المراحل قبول أكثر من إدخال بيانات ومخرجات لأكثر من مرحلة.

في مراحل تصميم الوظيفة المختلفة التي يمكنك استخدامها هي:

• مرحلة التحويل
• مرحلة التصفية
• مرحلة المجمع
• مرحلة إزالة التكرارات
• انضم إلى المرحلة
• مرحلة البحث
• مرحلة النسخ
• مرحلة الفرز
• حاويات

لماذا نستخدم DataStage لتكامل البيانات؟

معرفة قائمة الميزات شيء، ومعرفة متى يُبرر البرنامج تكلفة ترخيصه شيء آخر. يُختار DataStage لأحمال العمل التي تجعل فيها كثرة البيانات، وتعقيدات الحوكمة، وتنوع المصادر، من الصعب إدارة البرامج النصية المكتوبة يدويًا.

السبب الأوضح هو الإنتاجية. فبفضل قيام المحرك بتقسيم البيانات عبر العُقد وبث السجلات بين المراحل في الوقت نفسه، فإن إضافة مكونات مادية تزيد الإنتاجية بشكل شبه خطي. فعلى سبيل المثال، تعمل مهمة مصممة على جهاز تطوير ثنائي العُقد دون تغيير على مجموعة إنتاجية مكونة من ثماني عُقد.

أما الأسباب الأخرى فهي تنظيمية وليست فنية:

• البيانات الوصفية المشتركة: يتم تخزين تعريفات الجداول والروابط والمصطلحات التجارية مرة واحدة في المستودع ويتم إعادة استخدامها بواسطة كل مهمة، مما يزيل الانحراف الذي يظهر عندما يقوم كل مطور بتعريف مصدر بشكل مستقل.
• جودة البيانات المدمجة: يقوم برنامج QualityStage بإجراء التحقيقات والتوحيد والمطابقة والبقاء بجانب تدفق ETL، لذلك لا يحتاج التنظيف إلى منتج ثان.
• اتصال واسع النطاق: تصل الموصلات الأصلية إلى DB2، Oracleتيراداتا، نظام إدارة الأصول الافتراضية للحاسوب المركزي، SAP، Salesforce، وتخزين الكائنات السحابية بدون كتابة أكواد مخصصة.
• Operaالرقابة الوطنية: يقدم المدير سجل التشغيل، وعدد الصفوف، والتحذيرات، ونقاط إعادة التشغيل، والتي يقبلها المدققون كدليل على وجود خط أنابيب بيانات خاضع للرقابة.
• إعادة الاستخدام: تتيح الحاويات المشتركة ومجموعات المعلمات إمكانية استخدام عملية تحويل واحدة تم اختبارها لخدمة العديد من المهام بدلاً من نسخها إلى كل منها.

تعتمد هذه الفوائد بشكل مباشر على كيفية تجميع المنتج، وهو ما يشرحه القسم التالي.

مكونات DataStage و Architecture

يحتوي DataStage على أربعة مكونات رئيسية وهي:

1. المسؤول: يتم استخدامه للمهام الإدارية. يتضمن ذلك إعداد مستخدمي DataStage وإعداد معايير التطهير وإنشاء المشاريع ونقلها.
2. مدير: هي الواجهة الرئيسية لمستودع بيانات ETL DataStage. تُستخدم لتخزين وإدارة البيانات القابلة لإعادة الاستخدام. من خلال مدير DataStage، يمكن عرض محتويات المستودع وتعديلها.
3. المصمم: واجهة تصميم تُستخدم لإنشاء تطبيقات أو وظائف DataStage. ويحدد مصدر البيانات والتحويل المطلوب ووجهة البيانات. يتم تجميع المهام لإنشاء ملف قابل للتنفيذ يتم جدولته بواسطة المدير وتشغيله بواسطة الخادم
4. مدير: يتم استخدامه للتحقق من صحة وجدولة وتنفيذ ومراقبة وظائف خادم DataStage والوظائف الموازية.

الصورة أعلاه تشرح الطريقة IBM يتفاعل Infosphere DataStage مع العناصر الأخرى في ملف IBM منصة خادم المعلومات. ينقسم DataStage إلى قسمين، المكونات المشتركة ووقت التشغيل Architectureيوضح الجدول أدناه مساهمة كل من هذين القسمين.

كيفية عمل المعالجة المتوازية في DataStage

يوضح الجدول أعلاه بنية النظام، حيث تُعرّف المعالجة المتوازية الشائعة كخدمة مشتركة. يشرح هذا القسم كيفية تنفيذ هذه الخدمة للمهمة، وذلك لأن المفهوم قد تم توضيحه في النظرة العامة، وهي التي تحدد سرعة إنجاز المهمة.

تستخدم المهمة المتوازية آليتين في نفس الوقت، ويتم تطبيق كلتيهما تلقائيًا في وقت التشغيل بدلاً من برمجتهما يدويًا.

1. التوازي في خطوط الأنابيب. تبدأ كل مرحلة من مراحل المهمة فورًا دون انتظار انتهاء المرحلة السابقة. تبدأ مرحلة المصدر بقراءة الصفوف ودفعها إلى مسار بيانات في الذاكرة. يبدأ المحول بمجرد وصول الصفوف الأولى ويدفع مخرجاته إلى مسار بيانات ثانٍ. يبدأ موصل الهدف بالكتابة مباشرةً بعد ذلك. لا يتم كتابة أي ملف وسيط، لذا تتداخل مراحل المهمة الثلاث: القراءة والتحويل والكتابة، بدلًا من تشغيلها بالتسلسل.

2. التوازي التقسيمي. تُقسّم الصفوف إلى أقسام منفصلة، ​​ويتم تشغيل نسخة كاملة من منطق المرحلة على كل قسم على عقدة مستقلة. ثمانية أقسام تعني ثماني نسخ متزامنة من Transformer. في نهاية العملية، تُجمع الأقسام مرة أخرى في دفق واحد للهدف.

يُعد اختيار طريقة التقسيم المناسبة القرار الرئيسي الذي يتخذه المطور في عملية الضبط:

• السيارات: الوضع الافتراضي. يختار المحرك طريقة بناءً على ما تحتاجه المرحلة.
• التجزئة: يرسل الصفوف التي تحمل نفس قيمة المفتاح إلى نفس العقدة. هذا الإجراء مطلوب قبل عمليات الربط والتجميع وإزالة التكرارات لضمان تطابق المفاتيح.
• جولة روبن: يتعامل مع الصفوف بالتساوي واحدًا تلو الآخر. أفضل لتحميل ملف مسطح حيث مجموعة المفاتيحping لا يهم.
• كامل: ينسخ مجموعة البيانات بأكملها إلى كل عقدة. يُستخدم لجداول مرجعية صغيرة في مرحلة البحث.
• نفس: يحافظ على التقسيم الحالي دون تغيير، مما يتجنب إعادة التقسيم غير الضرورية بين المرحلتين.
• المدى والمعامل: قم بتوزيع الصفوف حسب نطاق القيمة أو حسب باقي المفتاح الرقمي عندما تكون هناك حاجة إلى توزيع متساوٍ.

يُحدد ملف التكوين (APT_CONFIG_FILE) عدد العُقد الموجودة. ولأن عدد العُقد موجود خارج نطاق المهمة، فإن نفس المهمة المُجمّعة قابلة للتوسع من حاسوب محمول إلى شبكة إنتاجية دون تغيير في التصميم.

قبل تجربة أي من هذا، يجب تهيئة البيئة المناسبة.

شرط مسبق لأداة Datastage

بالنسبة لـ DataStage، ستحتاج إلى الإعداد التالي.

• إنفوسفير
• خادم DataStage 9.1.2 أو أعلى
• Microsoft إصدار Visual Studio .NET 2010 Express C++
• Oracle العميل (العميل الكامل، وليس العميل الفوري) في حالة الاتصال بـ Oracle قاعدة بيانات
• عميل DB2 في حالة الاتصال بقاعدة بيانات DB2

الآن في سلسلة دروس DataStage للمبتدئين، سوف نتعلم كيفية تنزيل وتثبيت خادم معلومات InfoSphere.

تنزيل وتثبيت InfoSphere Information Server

للوصول إلى DataStage، قم بتنزيل وتثبيت أحدث إصدار من IBM خادم انفوسفير. يدعم الخادم AIX وLinux و Windows نظام التشغيل. يمكنك الاختيار حسب متطلباتك.

لترحيل بياناتك من إصدار قديم من infosphere إلى إصدار جديد، استخدم أداة تبادل الأصول.

ملفات التثبيت

لتثبيت Infosphere Datastage وتكوينه، يجب أن يكون لديك الملفات التالية في الإعداد الخاص بك.

في عمل Windows,

• حزمة نشر Etl-windows-oracle.pkg
• حزمة نشر Etl-windows-db2.pkg

لنظام التشغيل Linux ،

• EtlDeploymentPackage-linux-db2.pkg
• حزمة نشر Etl-linux-oracle.pkg

بعد تثبيت الخادم، يستخدم المثال العملي في بقية هذه الصفحة التقاط بيانات التغيير، لذلك من المفيد معرفة كيفية انتقال بيانات التغيير قبل إنشائها.

تدفق العملية لبيانات التغيير في وظيفة مرحلة المعاملات CDC

الرسم البياني أعلاه traces هو تغيير واحد من قاعدة البيانات المصدر إلى الهدف، بالترتيب المذكور أدناه.

1. تقوم خدمة "InfoSphere CDC" الخاصة بقاعدة البيانات بمراقبة التغيير من قاعدة البيانات المصدر والتقاطه
2. وفقًا لتعريف النسخ المتماثل، يقوم "InfoSphere CDC" بنقل بيانات التغيير إلى "InfoSphere CDC for InfoSphere DataStage".
3. يرسل خادم "InfoSphere CDC for InfoSphere DataStage" البيانات إلى "مرحلة معاملة CDC" من خلال جلسة TCP/IP. يرسل خادم "InfoSphere CDC for InfoSphere DataStage" أيضًا رسالة COMMIT (مع معلومات الإشارة المرجعية) لوضع علامة على حدود المعاملة في السجل الذي تم التقاطه.
4. بالنسبة لكل رسالة COMMIT يتم إرسالها بواسطة خادم "InfoSphere CDC for InfoSphere DataStage"، تقوم "مرحلة معاملة CDC" بإنشاء علامات نهاية الموجة (EOW). يتم إرسال هذه العلامات على جميع روابط الإخراج إلى مرحلة موصل قاعدة البيانات الهدف.
5. عندما تتلقى "مرحلة موصل قاعدة البيانات الهدف" علامة نهاية الموجة على جميع روابط الإدخال، فإنها تكتب معلومات الإشارة المرجعية إلى جدول الإشارات المرجعية ثم تنفذ المعاملة إلى قاعدة البيانات الهدف.
6. يطلب خادم "InfoSphere CDC for InfoSphere DataStage" معلومات الإشارة المرجعية من جدول الإشارة المرجعية في "قاعدة البيانات الهدف".
7. يتلقى خادم "InfoSphere CDC for InfoSphere DataStage" معلومات الإشارة المرجعية.

يتم استخدام هذه المعلومات ل،

• تحديد نقطة البداية في سجل المعاملات حيث تتم قراءة التغييرات عند بدء النسخ المتماثل.
• لتحديد ما إذا كان من الممكن تنظيف سجل المعاملات الحالي

إعداد النسخ المتماثل SQL

قبل أن تبدأ باستخدام Datastage، تحتاج إلى إعداد قاعدة البيانات. سوف تقوم بإنشاء قاعدتي بيانات DB2.

• واحد ليكون بمثابة مصدر النسخ المتماثل و
• واحد كهدف.

ستقوم أيضًا بإنشاء جدولين (المنتج والمخزون) وملؤهما ببيانات نموذجية. ثم يمكنك اختبار التكامل بين SQL النسخ المتماثل ومرحلة البيانات.

من الآن فصاعدا، سوف تقوم بإعداد النسخ المتماثل لـ SQL عن طريق إنشاء جداول التحكم ومجموعات الاشتراك والتسجيلات وأعضاء مجموعة الاشتراكسوف نتعلم المزيد عن هذا بالتفصيل في القسم التالي.

سنأخذ هنا مثالاً على عنصر مبيعات التجزئة كقاعدة بيانات لدينا وننشئ جدولين للمخزون والمنتج. ستقوم هذه الجداول بتحميل البيانات من المصدر إلى الهدف من خلال هذه المجموعات. (جداول التحكم ومجموعات الاشتراك والتسجيلات وأعضاء مجموعة الاشتراك.)

الخطوة 1) إنشاء قاعدة بيانات مصدر يشار إليها باسم التخفيضات. ضمن قاعدة البيانات هذه، قم بإنشاء جدولين المنتج و المعرض.

الخطوة 2) قم بتشغيل الأمر التالي لإنشاء قاعدة بيانات المبيعات.

db2 create database SALES

الخطوة 3) قم بتشغيل تسجيل الأرشيف لقاعدة بيانات SALES. كما يمكنك عمل نسخة احتياطية لقاعدة البيانات باستخدام الأوامر التالية

db2 update db cfg for SALES using LOGARCHMETH3 LOGRETAIN
db2 backup db SALES

الخطوة 4) في موجه الأوامر نفسه، انتقل إلى المجلد الفرعي setupDB الموجود في مجلد sqlrepl-datastage-tutorial الذي قمت باستخراجهtracتم استخراج البيانات من الملف المضغوط الذي تم تنزيله.

الخطوة 5) استخدم الأمر التالي لإنشاء جدول المخزون واستيراد البيانات إلى الجدول عن طريق تشغيل الأمر التالي.

db2 import from inventory.ixf of ixf create into inventory

الخطوة 6) قم بإنشاء جدول مستهدف. قم بتسمية قاعدة البيانات الهدف باسم STAGEDB.

منذ أن قمت الآن بإنشاء كل من المصدر والهدف لقاعدتي البيانات، فإن الخطوة التالية في هذا البرنامج التعليمي لـ DataStage، سنرى كيفية تكرارها.

يمكن أن تكون المعلومات التالية مفيدة في إعداد مصدر بيانات ODBC في IBM وثائق خادم معلومات InfoSphere.

إنشاء كائنات النسخ المتماثل SQL

توضح الصورة أدناه كيفية نقل بيانات التغيير من قاعدة البيانات المصدر إلى قاعدة البيانات الهدف. يمكنك إنشاء خريطة من المصدر إلى الهدف.ping بين الطاولات المعروفة باسم أعضاء مجموعة الاشتراك وتجميع الأعضاء في أ اشتراك.

تتم الإشارة إلى وحدة النسخ المتماثل داخل InfoSphere CDC (تغيير التقاط البيانات) على أنها اشتراك.

• يتم التقاط التغييرات التي تم إجراؤها في المصدر في "جدول التحكم في الالتقاط" الذي يتم إرساله إلى جدول الأقراص المضغوطة ثم إلى جدول الهدف. بينما سيحتوي برنامج التطبيق على التفاصيل حول الصف الذي يجب إجراء التغييرات منه. كما سينضم إلى جدول الأقراص المضغوطة في مجموعة الاشتراك.
• تتضمن الاشتراك خريطةping تفاصيل تحدد كيفية تطبيق البيانات في مخزن بيانات المصدر على مخزن بيانات الهدف. ملاحظة: يُشار الآن إلى CDC باسم النسخ المتماثل للبيانات إنفوسفيري.
• عند تنفيذ اشتراك، يقوم InfoSphere CDC بالتقاط التغييرات في قاعدة البيانات المصدر. يقوم InfoSphere CDC بتسليم بيانات التغيير إلى الهدف، ويخزن معلومات نقطة المزامنة في جدول إشارات مرجعية في قاعدة البيانات الهدف.
• يستخدم InfoSphere CDC معلومات الإشارة المرجعية لمراقبة تقدم مهمة InfoSphere DataStage.
• في حالة الفشل، يتم استخدام معلومات الإشارة المرجعية كنقطة إعادة تشغيل. في مثالنا، ASN.IBMيخزن جدول SNAP_FEEDETL معلومات نقاط التزامن المتعلقة بـ DataStage والتي تُستخدم لـ tracتقدم DataStage.

في هذا القسم من IBM برنامج تدريب DataStage، عليك القيام بالأشياء التالية،

• قم بإنشاء جداول التحكم في الالتقاط وجداول تطبيق التحكم لتخزين خيارات النسخ المتماثل
• قم بتسجيل جدولي PRODUCT وINVENTORY كمصادر للنسخ المتماثل
• إنشاء مجموعة اشتراك مع عضوين
• إنشاء أعضاء مجموعة الاشتراك وجداول CCD المستهدفة

استخدم برنامج سطر الأوامر ASNCLP لإعداد النسخ المتماثل لـ SQL

الخطوة 1) حدد موقع ملف البرنامج النصي crtCtlTablesCaptureServer.asnclp في الدليل sqlrepl-datastage-tutorial/setupSQLRep.

الخطوة 2) في الملف استبدال و " ” باستخدام معرف المستخدم وكلمة المرور للاتصال بقاعدة بيانات SALES.

الخطوة 3) قم بتغيير الدلائل إلى الدليل sqlrepl-datastage-tutorial/setupSQLRep وقم بتشغيل البرنامج النصي. استخدم الأمر التالي. سيقوم الأمر بالاتصال بقاعدة بيانات SALES وإنشاء برنامج نصي SQL لإنشاء جداول التحكم في Capture.

asnclp –f crtCtlTablesCaptureServer.asnclp

الخطوة 4) حدد موقع ملف البرنامج النصي crtCtlTablesApplyCtlServer.asnclp في نفس الدليل. الآن استبدل حالتين من و " "مع معرف المستخدم وكلمة المرور للاتصال بقاعدة بيانات STAGEDB.

الخطوة 5) الآن في نفس موجه الأوامر استخدم الأمر التالي لإنشاء جداول التحكم.

asnclp –f crtCtlTablesApplyCtlServer.asnclp

الخطوة 6) حدد موقع ملفات البرنامج النصي crtRegistration.asnclp واستبدل كافة مثيلاتها مع معرف المستخدم للاتصال بقاعدة بيانات المبيعات. كذلك قم بتغيير " " إلى كلمة مرور الاتصال.

الخطوة 7) لتسجيل جداول المصدر، استخدم البرنامج النصي التالي. كجزء من إنشاء التسجيل، سيقوم برنامج ASNCLP بإنشاء جدولين CD. CDPRODUCT وCDINVENTORY.

asnclp –f crtRegistration.asnclp

يستخدم أمر إنشاء التسجيل الخيارات التالية:

• التحديث التفاضلي: يطالب برنامج التطبيق بتحديث الجدول الهدف فقط عند تغيير الصفوف في الجدول المصدر
• الصورة على حد سواء: يستخدم هذا الخيار لتسجيل القيمة في العمود المصدر قبل حدوث التغيير، وواحد للقيمة بعد حدوث التغيير.

الخطوة 8) للاتصال بقاعدة البيانات المستهدفة (STAGEDB)، استخدم الخطوات التالية.

• ابحث عن ملف crtTableSpaceApply.bat، وافتحه في محرر النصوص
• يستبدل و مع معرف المستخدم وكلمة المرور
• في نافذة أوامر DB2، أدخل crtTableSpaceApply.bat وقم بتشغيل الملف.
• يقوم هذا الملف الدفعي بإنشاء مساحة جدول جديدة في قاعدة البيانات الهدف (STAGEDB)

الخطوة 9) حدد موقع ملفات البرنامج النصي crtSubscriptionSetAndAddMembers.asnclp وقم بإجراء التغييرات التالية.

• استبدال كافة مثيلات و مع معرف المستخدم وكلمة المرور للاتصال بقاعدة بيانات المبيعات (المصدر).
• استبدال كافة مثيلات و بمعرف المستخدم للاتصال بقاعدة بيانات STAGEDB (الهدف).

بعد إجراء التغييرات، قم بتشغيل البرنامج النصي لإنشاء مجموعة الاشتراك (ST00) التي تجمع الجداول المصدر والهدف. يقوم البرنامج النصي أيضًا بإنشاء عضوين في مجموعة الاشتراك، وCCD (بيانات التغيير المتسقة) في قاعدة البيانات الهدف التي ستقوم بتخزين البيانات المعدلة. سيتم استهلاك هذه البيانات بواسطة Infosphere DataStage.

الخطوة 10) قم بتشغيل البرنامج النصي لإنشاء مجموعة الاشتراك وأعضاء مجموعة الاشتراك وجداول CCD.

asnclp –f crtSubscriptionSetAndAddMembers.asnclp

تتضمن الخيارات المختلفة المستخدمة لإنشاء مجموعة الاشتراك وعضوين

• أكمل على المكثف
• خارجي
• تحميل تصدير استيراد النوع
• توقيت مستمر

الخطوة 11) بسبب وجود خلل في أدوات إدارة النسخ المتماثل. يجب عليك تنفيذ ملف دفعي آخر لتعيين عمود TARGET_CAPTURE_SCHEMA في الملف IBMجدول التحكم SNAP_SUBS_SET أصبح خاليًا.

• حدد موقع الملف updateTgtCapSchema.bat. افتحه في محرر النصوص. يستبدل و مع معرف المستخدم للاتصال بقاعدة بيانات STAGEDB.
• في نافذة أوامر DB2، أدخل الأمر updateTgtCapSchema.bat وقم بتنفيذ الملف.

إنشاء ملفات التعريف لتعيين جداول CCD إلى DataStage

قبل أن نقوم بالنسخ المتماثل في الخطوة التالية، نحتاج إلى ربط جدول CCD بـ DataStage. في هذا القسم، سنرى كيفية ربط SQL مع DataStage.

لربط جدول CCD مع DataStage، ستحتاج إلى إنشاء ملفات تعريف DataStage (.dsx). يستخدم DataStage تنسيق ملف .dsx لاستيراد وتصدير تعريفات المهام. ستستخدم برنامج ASNCLP النصي لإنشاء ملفي .dsx. على سبيل المثال، قمنا هنا بإنشاء ملفي .dsx.

• Stagedb_AQ00_SET00_sJobs.dsx: إنشاء تسلسل وظيفي يوجه سير العمل للوظائف الأربع المتوازية.
• Stagedb_AQ00_SET00_pJobs.dsx : إنشاء الوظائف الأربعة المتوازية

يقوم برنامج ASNCLP تلقائيًا بتعيين عمود CCD إلى تنسيق عمود Datastage. يتم دعمه فقط عند تشغيل ASNCLP Windowsأو إجراء Linux أو Unix.

تقوم وظائف Datastage بسحب الصفوف من جدول CCD.

1. تقوم إحدى المهام بتحديد نقطة تزامن حيث توقف DataStage في مثالtracيتم استخراج البيانات من الجدولين. تحصل المهمة على هذه المعلومات عن طريق تحديد قيمة SYNCHPOINT لمجموعة اشتراك ST00 من IBMجدول SNAP_SUBS_SET وإدراجه في عمود MAX_SYNCHPOINT في IBMجدول SNAP_FEEDETL.
2. وظيفتان سابقتانtracتستخدم هذه البيانات من جدولي PRODUCT_CCD و INVENTORY_CCD. وتعرف المهام الصفوف التي يجب البدء بها، على سبيل المثالtracيتم ذلك عن طريق تحديد قيم MIN_SYNCHPOINT و MAX_SYNCHPOINT من IBMجدول SNAP_FEEDETL لمجموعة الاشتراك.

بعد تحديد التعريفات، يمكن الآن بدء عملية النسخ بحيث تبدأ جداول CCD في الامتلاء.

بدء النسخ المتماثل

لبدء النسخ المتماثل، سوف تستخدم الخطوات أدناه. عندما يتم ملء جداول CCD بالبيانات، فهذا يشير إلى التحقق من صحة إعداد النسخ المتماثل. لعرض البيانات المنسوخة في جداول CCD المستهدفة، استخدم واجهة المستخدم الرسومية لـ DB2 Control Center.

الخطوة 1) تأكد من تشغيل DB2 إذا لم يكن كذلك، فاستخدمه بداية db2 أمر.

الخطوة 2) ثم استخدم أمر asncap من موجه نظام التشغيل لبدء التقاط البرنامج. على سبيل المثال.

asncap capture_server=SALES

يحدد الأمر أعلاه قاعدة بيانات المبيعات كخادم Capture. أبقِ نافذة الأوامر مفتوحة أثناء تشغيل الالتقاط.

الخطوة 3) الآن افتح موجه الأوامر الجديد. ثم ابدأ تطبيق البرنامج باستخدام الأمر asnapply.

asnapply control_server=STAGEDB apply_qual=AQ00

• يحدد الأمر قاعدة بيانات STAGEDB كخادم تطبيق التحكم (قاعدة البيانات التي تحتوي على جداول تطبيق التحكم)
• AQ00 باعتباره مؤهل التطبيق (المعرف لهذه المجموعة من جداول التحكم)

اترك نافذة الأوامر مفتوحة مع تشغيل التطبيق.

الخطوة 4) الآن افتح موجه أوامر آخر وأصدر الأمر db2cc لبدء تشغيل مركز التحكم DB2. قبول مركز التحكم الافتراضي.

الخطوة 5) الآن، في شجرة التنقل اليمنى، افتح كافة قواعد البيانات > STAGEDB ثم انقر فوق الجداول. Double انقر على اسم الجدول (المنتج CCD) لفتح الجدول. سيبدو شيئا من هذا القبيل.

وبنفس الطريقة، يمكنك أيضًا فتح جدول CCD للمخزون.

تقوم عملية النسخ الآن بتغذية جداول CCD، لذا ينتقل الاهتمام من جانب قاعدة البيانات إلى عملاء DataStage.

كيفية إنشاء المشاريع في أداة Datastage

أولا وقبل كل شيء، سوف تقوم بإنشاء مشروع في DataStage. للقيام بذلك، يجب أن تكون مسؤول InfoSphere DataStage.

بمجرد الانتهاء من التثبيت والنسخ المتماثل، تحتاج إلى إنشاء مشروع. في DataStage، تعد المشاريع طريقة لتنظيم بياناتك. ويتضمن تحديد ملفات البيانات والمراحل وبناء الوظائف في مشروع معين.

لإنشاء مشروع في DataStage، اتبع الخطوات التالية:

الخطوة 1) قم بتشغيل برنامج DataStage

قم بتشغيل DataStage ومسؤول QualityStage. ثم انقر فوق ابدأ > كافة البرامج > IBM خادم المعلومات > IBM مسؤول WebSphere DataStage وQualityStage.

الخطوة 2) توصيل خادم DataStage والعميل

للاتصال بخادم DataStage من عميل DataStage، أدخل تفاصيل مثل اسم المجال ومعرف المستخدم وكلمة المرور ومعلومات الخادم.

الخطوة 3) إضافة مشروع جديد

في نافذة إدارة WebSphere DataStage. انقر فوق علامة التبويب "المشاريع" ثم انقر فوق "إضافة".

الخطوة 4) أدخل تفاصيل المشروع

في نافذة إدارة WebSphere DataStage، أدخل تفاصيل مثل

1. الاسم
2. موقع الملف
3. انقر فوق موافق'

يحتوي كل مشروع على:

• وظائف DataStage
• المكونات المضمنة. هذه هي المكونات المحددة مسبقًا المستخدمة في الوظيفة.
• المكونات المحددة من قبل المستخدم. هذه هي مكونات مخصصة تم إنشاؤها باستخدام DataStage Manager أو DataStage Designer.

سنرى كيفية استيراد مهام النسخ المتماثل في Datastage Infosphere.

كيفية استيراد وظائف النسخ المتماثل في Datastage وQualityStage Designer

سوف تقوم باستيراد الوظائف في IBM عميل InfoSphere DataStage وQualityStage Designer. وتقوم بإعدامهم في IBM عميل InfoSphere DataStage وQualityStage Director.

العلاقة بين المصمم والعميل أشبه بلوحة بيضاء لبناء المشاريع.tracيقوم هذا النظام بمعالجة البيانات وتحويلها وتحميلها والتحقق من جودتها. كما يوفر أدوات تُشكل اللبنات الأساسية لأي مهمة. ويتضمن ذلك

• المستويات: يتصل بمصادر البيانات لقراءة أو كتابة الملفات ومعالجة البيانات.
• الروابط : يربط المراحل التي تتدفق من خلالها بياناتك

يتم تخزين المراحل الموجودة في برنامج InfoSphere DataStage وQualityStage Designer في لوحة أدوات المصمم.

تتضمن مرحلة الجودة الخاصة بـ InfoSphere المراحل التالية:

• مرحلة التحقيق
• مرحلة التوحيد
• مرحلة تردد المباراة
• مرحلة مطابقة المصدر الواحد
• مرحلة مطابقة المصدرين
• مرحلة البقاء على قيد الحياة
• مرحلة تقييم جودة التقييس (SQA).

يمكنك إنشاء 4 أنواع من الوظائف في DataStage infosphere.

• وظيفة موازية
• وظيفة التسلسل
• وظيفة الحاسوب المركزي
• وظيفة الخادم

دعونا نرى خطوة بخطوة كيفية استيراد ملفات مهمة النسخ المتماثل.

الخطوة 1) ابدأ تشغيل DataStage ومصمم QualityStage. انقر فوق ابدأ > كافة البرامج > IBM خادم المعلومات > IBM WebSphere DataStage ومصمم QualityStage

الخطوة 2) في نافذة "الإرفاق بالمشروع"، أدخل التفاصيل التالية.

• نطاق
• إسم المستخدم
• كلمة المرور
• اسم المشروع
• OK

الخطوة 3) الآن من القائمة "ملف" انقر فوق "استيراد". -> مكونات DataStage

سيتم فتح نافذة استيراد مستودع DataStage جديدة.

1. في هذه النافذة تصفح STAGEDB_AQ00_ST00_sJobs.dsx الملف الذي قمنا بإنشائه سابقًا
2. حدد الخيار "استيراد الكل".
3. قم بتحديد مربع الاختيار "إجراء تحليل التأثير".
4. انقر فوق موافق.'

بمجرد استيراد الوظيفة، ستقوم DataStage بإنشاء مهمة STAGEDB_AQ00_ST00_sequence.

الخطوة 4) اتبع نفس الخطوات لاستيراد ملف ملف STAGEDB_AQ00_ST00_pJobs.dsx. يؤدي هذا الاستيراد إلى إنشاء الوظائف الأربع المتوازية.

الخطوة 5) ضمن جزء مستودع المصمم -> افتح مجلد SQLREP. داخل المجلد، سترى Sequence Job وأربع وظائف متوازية.

الخطوة 6) لرؤية مهمة التسلسل. انتقل إلى شجرة المستودع، وانقر بزر الماوس الأيمن فوق مهمة STAGEDB_AQ00_ST00_sequence ثم انقر فوق تحرير. سيُظهر سير عمل الوظائف الأربع المتوازية التي يتحكم فيها تسلسل الوظائف.

كل أيقونة هي مرحلة،

• احصل على Extracمرحلة النطاق: يقوم بتحديث IBMجدول SNAP_FEEDETL. سيحدد نقطة البداية لبيانات extracإلى النقطة التي يكون فيها DataStage آخر مثالtracقم بترتيب الصفوف وتعيين نقطة النهاية إلى آخر معاملة تمت معالجتها لمجموعة الاشتراك.
• احصل على Extracنجاح النطاقتُزوّد ​​هذه المرحلة نقاط البداية إلى المثالtracمرحلة tFromINVENTORY_CCD و extracمرحلة tFromPRODUCT_CCD
• AllExtracنجاح ts: تضمن هذه المرحلة أن يكون كل منtractFromINVENTORY_CCD و extracاكتملت عملية tFromPRODUCT_CCD بنجاح. ثم تم تمرير نقاط المزامنة للصفوف الأخيرة التي تم جلبها إلى مرحلة setRangeProcessed.
• مرحلة setRangeProcessed: يتم التحديثات IBMجدول SNAP_FEEDETL. وبذلك، تعرف DataStage من أين تبدأ الجولة التالية من استخراج البيانات.tracالإنتاج

الخطوة 7) للاطلاع على الوظائف الموازية. انقر بزر الماوس الأيمن فوق STAGEDB_ASN_INVENTORY_CCD وحدد تحرير ضمن المستودع. سيتم فتح النافذة كما هو موضح أدناه.

هنا في الصورة أعلاه، يمكنك أن ترى أن البيانات من جدول Inventory CCD و Syncتتم عرض تفاصيل النقطة h من جدول FEEDETL إلى مرحلة Lookup_6.

لا تزال الوظائف المستوردة تشير إلى لا شيء، لذلك يجب تعريف كائن اتصال البيانات بعد ذلك.

إنشاء اتصال بيانات من DataStage إلى قاعدة بيانات STAGEDB

الخطوة التالية الآن هي إنشاء اتصال بيانات بين InfoSphere DataStage وقاعدة بيانات SQL Replication المستهدفة. أنه يحتوي على جداول CCD.

في DataStage، يمكنك استخدام كائنات اتصال البيانات مع مراحل الموصل ذات الصلة لتحديد اتصال بمصدر بيانات بسرعة في تصميم الوظيفة.

الخطوة 1) تحتوي قاعدة بيانات STAGEDB على جداول التحكم الخاصة بالتطبيق التي يستخدمها DataStage لمزامنة بياناته، على سبيل المثالtraction وجداول CCD التي تُستخرج منها البياناتtracتيد. استخدم الأوامر التالية

db2 catalog tcpip node SQLREP remote ip_address server 50000
db2 catalog database STAGEDB as STAGEDB2 at node SQLREP

ملاحظات: عنوان IP للنظام الذي تم إنشاء STAGEDB فيه

الخطوة 2) انقر فوق ملف > جديد > آخر > اتصال البيانات.

الخطوة 3) سيكون لديك نافذة تحتوي على علامتي تبويب، المعلمات والعامة.

الخطوة 4) في هذه الخطوة،

1. بشكل عام، علامة التبويب، اسم اتصال البيانات sqlreplConnect
2. في علامة التبويب "المعلمات"، كما هو موضح أدناه

• انقر فوق زر التصفح بجوار حقل "الاتصال باستخدام نوع المسرح"، وفي
• افتح النافذة، انتقل إلى شجرة المستودع إلى أنواع المراحل -> الموازية -> قاعدة البيانات —-> موصل DB2.
• انقر فوق فتح.

الخطوة 5) في جدول معلمات الاتصال، أدخل التفاصيل مثل

• سلسلة_أحرف_الاتصال: STAGEDB2
• اسم المستخدم: معرف المستخدم للاتصال بقاعدة بيانات STAGEDB
• كلمة المرور: كلمة المرور للاتصال بقاعدة بيانات STAGEDB
• حتة: اسم مثيل DB2 الذي يحتوي على قاعدة بيانات STAGEDB

الخطوة 6) في النافذة التالية حفظ اتصال البيانات. انقر على زر "حفظ".

استيراد تعريفات الجدول من STAGEDB إلى DataStage

في الخطوة السابقة، رأينا أن InfoSphere DataStage وقاعدة بيانات STAGEDB متصلان. الآن، قم باستيراد تعريف العمود وبيانات التعريف الأخرى لجداول PRODUCT_CCD وINVENTORY_CCD إلى مستودع Information Server.

في نافذة المصمم، اتبع الخطوات التالية.

الخطوة 1) حدد استيراد > تعريفات الجدول > بدء معالج استيراد الموصل

الخطوة 2) من صفحة تحديد الموصل الخاصة بالمعالج، حدد موصل DB2 ثم انقر فوق التالي.

الخطوة 3) انقر فوق تحميل في صفحة تفاصيل الاتصال. سيؤدي هذا إلى ملء حقول المعالج بمعلومات الاتصال من اتصال البيانات الذي قمت بإنشائه في الفصل السابق.

الخطوة 4) انقر فوق اختبار الاتصال في نفس الصفحة. سيؤدي هذا إلى مطالبة DataStage بمحاولة الاتصال بقاعدة بيانات STAGEDB. يمكنك رؤية الرسالة "تم الاتصال بنجاح". انقر فوق {التالي.

الخطوة 5) تأكد من ملء حقلي اسم المضيف واسم قاعدة البيانات في صفحة موقع مصدر البيانات بشكل صحيح. ثم انقر فوق التالي.

الخطوة 6) على صفحة المخطط. أدخل مخطط تطبيق جداول التحكم (ASN) أو تأكد من تعبئة مخطط ASN مسبقًا في حقل المخطط. ثم انقر فوق التالي. ستعرض صفحة التحديد قائمة الجداول التي تم تعريفها في مخطط ASN.

الخطوة 7) الجدول الأول الذي نحتاج إلى استيراد البيانات التعريفية منه هو IBMSNAP_FEEDETL هو جدول تحكم تطبيق. يحتوي على تفاصيل حول نقاط المزامنة التي تسمح لـ DataStage بالاحتفاظ بـ track من الصفوف التي تم جلبها من جداول CCD. اختر IBMSNAP_FEEDETL ثم انقر فوق التالي.

الخطوة 8) لاستكمال استيراد IBMتعريف جدول SNAP_FEEDETL. انقر فوق استيراد ثم في النافذة المفتوحة انقر فوق فتح.

الخطوة 9) كرر الخطوات من 1 إلى 8 مرتين أخريين لاستيراد التعريفات الخاصة بجدول PRODUCT_CCD ثم جدول INVENTORY_CCD.

نوت: أثناء استيراد تعريفات المخزون والمنتج، تأكد من تغيير المخططات من ASN إلى المخطط الذي تم بموجبه إنشاء PRODUCT_CCD وINVENTORY_CCD.

الآن أصبح لدى DataStage كل التفاصيل التي يحتاجها للاتصال بقاعدة بيانات هدف تكرار SQL.

تعيين خصائص وظائف DataStage

لكل مهمة من وظائف DataStage الأربع المتوازية التي لدينا، تحتوي على مرحلة واحدة أو أكثر تتصل بقاعدة بيانات STAGEDB. تحتاج إلى تعديل المراحل لإضافة معلومات الاتصال والارتباط بملفات مجموعة البيانات التي يملأها DataStage.

تحتوي المراحل على خصائص مُحددة مسبقًا قابلة للتعديل. سنقوم هنا بتغيير بعض هذه الخصائص لـ STAGEDB_ASN_PRODUCT_CCD_extract وظيفة موازية.

الخطوة 1) تصفح شجرة مستودع المصمم. ضمن مجلد SQLREP، حدد STAGEDB_ASN_PRODUCT_CCD_extracلإنشاء مهمة متوازية، انقر بزر الماوس الأيمن عليها. ستُفتح نافذة تصميم المهمة المتوازية في لوحة المصمم.

الخطوة 2) حدد موقع الأيقونة الخضراء. تشير هذه الأيقونة إلى مرحلة موصل DB2. وهي تُستخدم، على سبيل المثال،tracبيانات ting من جدول CCD. Double-انقر فوق الرمز. يتم فتح نافذة محرر المرحلة.

الخطوة 3) في المحرر، انقر فوق تحميل لملء الحقول بمعلومات الاتصال. لإغلاق محرر المرحلة وحفظ التغييرات، انقر فوق "موافق".

الخطوة 4) والآن، ارجع إلى نافذة التصميم الخاصة بـ STAGEDB_ASN_PRODUCT_CCD_extract مهمة متوازية. حدد موقع أيقونة الحصول علىSyncمرحلة موصل DB2 الخاص بـ hPoints. ثم انقر نقرًا مزدوجًا فوق الرمز.

الخطوة 5) الآن انقر فوق زر التحميل لملء الحقول بمعلومات الاتصال.

نوت: إذا كنت تستخدم قاعدة بيانات أخرى غير STAGEDB كخادم التحكم في التطبيق. ثم حدد خيار تحميل معلومات الاتصال للحصول عليهاSyncمرحلة hPoints، والتي تتفاعل مع جداول التحكم بدلاً من جدول CCD.

الخطوة 6) في هذه الخطوة،

• قم بإنشاء ملف نصي فارغ على النظام الذي يتم تشغيل InfoSphere DataStage عليه.
• قم بتسمية هذا الملف باسم Productdataset.ds وقم بتدوين المكان الذي قمت بحفظه فيه.
• سيقوم DataStage بكتابة التغييرات على هذا الملف بعد أن يقوم بجلب التغييرات من جدول CCD.
• تُعرف مجموعات البيانات أو الملفات المستخدمة لنقل البيانات بين الوظائف المرتبطة بمجموعات البيانات المستمرة. يتم تمثيله بمرحلة DataSet.

الخطوة 7) الآن افتح محرر المرحلة في نافذة التصميم، وانقر نقرًا مزدوجًا فوق الرمز insert_into_a_dataset. سيؤدي ذلك إلى فتح نافذة أخرى.

الخطوة 8) في هذه النافذة ،

• ضمن علامة التبويب "خصائص"، تأكد من أن Target المجلد مفتوح ويتم تمييز الخاصية File = DATASETNAME.
• على اليمين، سيكون لديك حقل ملف
• أدخل المسار الكامل لملف Productdataset.ds
• انقر فوق موافق'.

لقد قمت الآن بتحديث كافة الخصائص الضرورية لجدول CCD للمنتج. أغلق نافذة التصميم واحفظ جميع التغييرات.

الخطوة 9) الآن حدد موقع ملف STAGEDB_ASN_INVENTORY_CCD_ex وافتحهtracقم بتشغيل مهمة متوازية من جزء المستودع الخاص بالمصمم وكرر الخطوات من 3 إلى 8.

نوت:

• يجب عليك تحميل معلومات الاتصال لقاعدة بيانات خادم التحكم في محرر المرحلة للحصول علىSyncمرحلة نقاط h. إذا كان خادم التحكم الخاص بك ليس STAGEDB.
• لـ STAGEDB_ST00_AQ00_getExtracعند معالجة المهام المتوازية tRange و STAGEDB_ST00_AQ00_markRange، افتح جميع مراحل موصل DB2. ثم استخدم وظيفة التحميل لإضافة معلومات الاتصال لقاعدة بيانات STAGEDB.

تم الآن ضبط جميع الخصائص، لذا يمكن تجميع المهام وتنفيذها.

تجميع وتشغيل وظائف DataStage

عندما تكون مهمة DataStage جاهزة للتجميع، يقوم المصمم بالتحقق من صحة تصميم المهمة من خلال النظر إلى المدخلات والتحويلات والتعبيرات والتفاصيل الأخرى.

عند الانتهاء من تجميع المهمة بنجاح، يكون جاهزًا للتشغيل. سنقوم بتجميع الوظائف الخمس جميعها، ولكننا سنشغل فقط "التسلسل الوظيفي". وذلك لأن هذه الوظيفة تتحكم في جميع الوظائف الأربعة المتوازية.

الخطوة 1) ضمن مجلد SQLREP. حدد كل وظيفة من الوظائف الخمس عن طريق (Cntrl+Shift). ثم انقر بزر الماوس الأيمن واختر خيار ترجمة المهام المتعددة.

الخطوة 2) ستشاهد أنه تم تحديد خمس مهام في معالج تجميع DataStage. انقر فوق {التالي.

الخطوة 3) يبدأ التجميع ويتم عرض رسالة "تم التجميع بنجاح" بمجرد الانتهاء.

الخطوة 4) الآن ابدأ تشغيل DataStage وQualityStage Director. حدد ابدأ > كافة البرامج > IBM خادم المعلومات > IBM WebSphere DataStage ومدير QualityStage.

الخطوة 5) في جزء التنقل الخاص بالمشروع على اليسار. انقر فوق المجلد SQLREP. يؤدي هذا إلى إحضار جميع الوظائف الخمس إلى جدول حالة المدير.

الخطوة 6) حدد المهمة STAGEDB_AQ00_S00_sequence. من شريط القائمة، انقر فوق "المهمة" > "التشغيل الآن".

بمجرد الانتهاء من التجميع، سترى الحالة النهائية.

تحقق الآن مما إذا كانت الصفوف المتغيرة المخزنة في جدولي PRODUCT_CCD و INVENTORY_CCD قد تم حذفهاtracتمت معالجتها بواسطة DataStage وإدراجها في ملفي مجموعة البيانات.

الخطوة 7) ارجع إلى المصمم وافتح STAGEDB_ASN_PRODUCT_CCD_extracوظيفة t. لفتح محرر المرحلة Double-انقر على أيقونة Insert_into_a_dataset. ثم انقر فوق عرض البيانات.

الخطوة 8) اقبل الإعدادات الافتراضية في نافذة الصفوف التي سيتم عرضها. ثم انقر فوق موافق. سيتم فتح نافذة مستعرض البيانات لعرض محتويات ملف مجموعة البيانات.

اختبار التكامل بين النسخ المتماثل لـ SQL وDataStage

في الخطوة السابقة، قمنا بتجميع المهمة وتنفيذها. في هذا القسم، سوف نتحقق من تكامل النسخ المتماثل لـ SQL وDataStage. لذلك، سنقوم بإجراء تغييرات على الجدول المصدر ومعرفة ما إذا كان سيتم تحديث نفس التغيير في DataStage.

الخطوة 1) انتقل إلى المجلد sqlrepl-datastage-scripts لنظام التشغيل الخاص بك.

الخطوة 2) ابدأ تكرار SQL باتباع الخطوات التالية:

• قم بتشغيل startSQLCapture.bat (Windows) لبدء تشغيل برنامج Capture في قاعدة بيانات SALES.
• قم بتشغيل startSQLApply.bat (Windows) لبدء تطبيق البرنامج في قاعدة بيانات STAGEDB.

الخطوة 3) الآن افتح الملف updateSourceTables.sql. للاتصال بقاعدة بيانات المبيعات، استبدل و مع معرف المستخدم وكلمة المرور.

الخطوة 4) افتح نافذة أوامر DB2. قم بتغيير الدليل إلى sqlrepl-datastage-tutorial\scripts، وقم بتشغيل المشكلة بالأمر المحدد:

db2 -tvf updateSourceTables.sql

سيقوم البرنامج النصي SQL بإجراء عمليات مختلفة مثل التحديث والإدراج والحذف على كلا الجدولين (المنتج والمخزون) في قاعدة بيانات المبيعات.

الخطوة 5) على النظام الذي يعمل عليه DataStage. افتح مدير DataStage وقم بتنفيذ مهمة STAGEDB_AQ00_S00_sequence. انقر فوق الوظيفة > التشغيل الآن.

عند تشغيل المهمة سيتم تنفيذ الأنشطة التالية.

• يقوم برنامج Capture بقراءة التغييرات المكونة من ستة صفوف في سجل قاعدة بيانات SALES وإدراجها في جداول الأقراص المضغوطة.
• يقوم برنامج التقديم بجلب صفوف التغيير من جداول الأقراص المضغوطة في SALES وإدراجها في جداول CCD في STAGEDB.
• اثنان من DataStage extracتقوم وظائف t بأخذ التغييرات من جداول CCD وكتابتها إلى ملفات productdataset.ds و inventory dataset.ds.

يمكنك التحقق من تنفيذ الخطوات المذكورة أعلاه من خلال النظر إلى مجموعات البيانات.

الخطوة 6) اتبع الخطوات أدناه ،

• ابدأ تشغيل المصمم. افتح ملف STAGEDB_ASN_PRODUCT_CCD_extracوظيفة ت.
• ثم Double-انقر على أيقونة Insert_into_a_dataset. في محرر المرحلة. انقر فوق عرض البيانات.
• اقبل الإعدادات الافتراضية في الصفوف التي سيتم عرضها في النافذة، ثم انقر فوق موافق.

تحتوي مجموعة البيانات على ثلاثة صفوف جديدة. أسهل طريقة للتحقق من تنفيذ التغييرات هي التمرير لأسفل أقصى يمين متصفح البيانات. انظر الآن إلى الصفوف الثلاثة الأخيرة (انظر الصورة أدناه)

تشير الأحرف I وU وD إلى عملية INSERT وUPDATE وDELETE التي تؤدي إلى كل صف جديد.

يمكنك القيام بنفس الفحص لجدول المخزون.

مقارنة بين DataStage وأدوات ETL الشائعة الأخرى

بمجرد أن يعمل التدفق المتكامل بسلاسة، يكون السؤال التالي المعتاد هو: أين يقع DataStage مقارنةً بالبدائل التي قد يمتلكها الفريق بالفعل؟ يقارن الجدول أدناه DataStage بثلاث منصات شائعة الاستخدام بناءً على المعايير التي غالباً ما تُحدد قرار الشراء.

باختصار، يتم اختيار DataStage عندما تكون الإنتاجية الخام، وإمكانية الوصول إلى الحواسيب المركزية، وسلالة البيانات الجاهزة للتدقيق أهم من تكلفة الترخيص. فرق تعمل بشكل أساسي في بيئة سحابية هندسة بحيرة البيانات أو مقارنة مثالtracقد يجد الترتيب أولاً المفاضلات في ETL مقابل ELT أكثر صلة، وتظهر قائمة مختصرة أوسع في ملخص أدوات ETL و أدوات تكامل البيانات.

الأسئلة الشائعة