Zum Hauptinhalt wechseln
Dokumentation
Dokumentation
Adaptive Planning
Zuletzt aktualisiert: 2024-02-02
Schritte: Skript-Datenquellen einrichten

Schritte: Skript-Datenquellen einrichten

Mit Skript-Datenquellen können Sie komplexe, benutzerdefinierte Datenextraktions- und -transformationsszenarien lösen. Sie können Kettle-ETL-Skripte schreiben, um Informationsquellen anzugeben, aus denen Daten extrahiert werden sollen. Anschließend können Sie benutzerspezifische Geschäftsregeln auf die extrahierten Daten anwenden. Bevor Sie eine Skript-Datenquelle einrichten, muss ein Datenagent auf einem lokalen Windows-Server im Netzwerk installiert sein. Siehe: Konzept: Datenagenten finden Sie weitere Informationen.
Die in Kettle verwendete Plattform oder Skripte werden nicht automatisch aktualisiert oder migriert. Wenn Sie den Legacy-Datenagenten (mit Kettle 4.4) verwenden, müssen Sie den Link im Abschnitt „Legacy-Agent herunterladen“ in der Agent-Benutzeroberfläche von Integration verwenden. Wenn Sie ein Upgrade auf Kettle 6 durchführen möchten, müssen Sie den neuen Datenagenten und die neue Kettle-Version auf einem System installieren, auf dem zuvor noch keine Version von Kettle installiert war.
Skript-Datenquellen sind für fortgeschrittene ETL-Implementierer gedacht, die Erfahrung mit dem Schreiben von Pentaho Kettle-Skripten und der Verwendung der Spoon-Benutzeroberfläche haben. Weitere Informationen zu Pentaho Kettle und Spoon, einschließlich einer ausführlichen Dokumentation und Tutorials, finden Sie unter https://docs.Hitaviantara.com/p/pentaho-dia.
So richten Sie eine Skript-Datenquelle ein:
  1. Öffnen Sie den Datendesigner über
    Integration > Integrationsdesign
    .
  2. Klicken Sie im Ordner „Datenquellen“ in der Komponentenbibliothek auf der rechten Seite des Bildschirms auf
    Neue Datenquelle erstellen
    . Das Dialogfeld „Neu erstellen“ wird angezeigt.
  3. Wählen Sie
    Scripted Data Source
     als Art der Datenquelle aus und geben Sie einen Namen für die Datenquelle ein.
  4. Klicken Sie auf
    Erstellen
    . Im mittleren Bereich des Bildschirms werden die Einstellungen der neuen Datenquelle und andere Informationen angezeigt.
  5. Geben Sie Informationen zur Datenquelle ein:
    • Zugeordneter Agent:
       Wählen Sie den Agenten aus der Dropdown-Liste aus.
    • Eingabepunkt:
       Wählen Sie einen Eingabepunkt aus der Dropdown-Liste aus. Der Eingabepunkt ist ein ETL-Skript im System. Sie können dies später bearbeiten.
    • Protokollebene:
       Wählen Sie eine Protokollebene aus der Dropdown-Liste, um anzugeben, welche Details für diese Datenquelle protokolliert werden. Folgende Optionen sind verfügbar:
    • Fehler:
       Protokolliert nur schwere Fehler.
    • Info:
       Protokolliert alle Basisinformationen, z. B. wann die Datenquelle aktualisiert wurde.
    • Ausführlich:
       Stellt sehr detaillierte Informationen zu allen Phasen und Aktionen bereit. (Diese Ebene wird hauptsächlich für Fehlerbehebung oder Auditing verwendet, da sie möglicherweise mehr Protokollinformationen liefert, als für die normale Verwendung praktikabel ist.)
    • Quell-URIs:
       Geben Sie die URIs, mit denen Ihre Skripte eine Verbindung herstellen, getrennt durch ein Semikolon (;) ein. Dieses Feld wird nur verwendet, um bei der Bestimmung und Dokumentation der zugrunde liegenden Quellsysteme zu helfen, mit denen Ihre Skripte eine Verbindung herstellen. Es wird von der Software für keine anderen Zwecke verwendet.
  6. Klicken Sie im Menü „Aktionen“ auf
    Speichern
    .

Spoon starten

Nachdem Sie die Basisinformationen für die Skript-Datenquelle gespeichert haben, können Sie Spoon, den ETL-Skripteditor, starten und mit dem Skript arbeiten sowie der Skript-Datenquelle Tabellen hinzufügen.
So zeigen Sie das Skript an und bearbeiten es:
  1. Klicken Sie im Windows-Startmenü auf
    Alle Programme
    .
  2. Öffnen Sie den Ordner „Workday Adaptive Planning Data Agent“. Für Data Agent-Versionen 7.1.44 und älter öffnen Sie den Ordner „Adaptive Data Agent“.
  3. Klicken Sie auf „Adaptive Script Editor“. Nach dem Pentaho-Begrüßungsbildschirm und einem Start-Tipp wird der Spoon-Bildschirm angezeigt.
  4. Geben Sie Ihre ein
    Adaptive Planning
     Anmelde-E-Mail-Adresse und Kennwort und klicken Sie auf
    Jetzt anmelden/Mandantenliste aktualisieren
    . Wenn Sie Benutzer von Workday synchronisiert haben, finden Sie weitere Informationen unter Beim Datenagenten und Skripteditor mit Workday-Zugangsdaten anmelden.
  5. Wählen Sie den Mandanten aus der Dropdown-Liste aus. In der Regel wird nur ein Mandant angezeigt. Spoon aktualisiert die Mandantenliste.
  6. Wählen Sie aus der Dropdown-Liste den Agenten aus, den Sie für diese Datenquelle verwenden. Spoon aktualisiert die Agentenliste.
  7. Wählen Sie aus der Dropdown-Liste unter „Edit Script“ die Skript-Datenquelle aus, die Sie gerade erstellt haben.
Jetzt, da Sie angemeldet sind und Spoon mitgeteilt haben, mit welchem Agenten und welcher Datenquelle Sie arbeiten, können Sie mit der Bearbeitung des Skripts beginnen.
  1. Klicken Sie in der oberen rechten Ecke des Spoon-Bildschirms auf „Data Integration“. Die Perspektive „Integration“ von Spoon wird angezeigt.
  2. Klicken Sie auf
    File > Open
    , suchen Sie das Skript, das Sie anzeigen und bearbeiten möchten, und klicken Sie auf
    OK
    . Die in Integration enthaltenen Beispielskripte für Skript-Datenquellen bieten Informationen zur Skriptstruktur und zu Datenbankverbindungen, die für Sie bei der Entwicklung eigener Skripte hilfreich sein können.
  3. Bearbeiten Sie ggf. das Skript und speichern Sie es.
  4. Klicken Sie oben rechts auf „Adaptive“, um zur Adaptive-Perspektive zurückzukehren. Der Spoon-Bildschirm wird erneut angezeigt.
  5. Klicken Sie auf
    Publish Agent Changes
    . Dadurch wird das Skript wieder nach oben verschoben
    Adaptive Planning
     -Server, wo sie im Skript-Repository gespeichert wird.
Die folgenden Datenimportmodi werden unterstützt. Die Einstellungen können je nach Tabelle variieren.
  • Alle Datensätze werden bei jedem Import der Daten ersetzt.
  • Der Remote-Agent scannt alle Quelldatensätze und überträgt die geänderten Datensätze jedes Mal, wenn Daten synchronisiert werden müssen.
  • Alle Datensätze, die in einen Periodenbereich fallen, werden übermittelt

Tabellen und Spalten zu einer Skript-Datenquelle hinzufügen

Wenn das Skript vorhanden ist, können Sie Ihrer Datenquelle in Integration Tabellen und Spalten hinzufügen.
Es ist wichtig, dass die in der Datenquelle definierten Spalten genau mit den im ETL-Skript definierten Spalten übereinstimmen, sonst schlägt das Laden der Daten fehl.
Führen Sie die folgenden Schritte aus, um einer Skript-Datenquelle Tabellen hinzuzufügen:
  1. Erweitern Sie den Eintrag „Benutzerdefinierte Tabelle“ im Menü „Datenkomponenten“.
  2. Ziehen Sie das Element
    Skript-Tabelle
     per Drag-and-Drop in den Bereich „Zu importierende Tabellen“. Wenn Sie das Element ablegen, wird das Dialogfeld für Skript-Tabelle angezeigt.
  3. Geben Sie die Tabelleneinstellungen ein:
    • Name:
       Geben Sie einen Namen für die Tabelle ein.
    • Datenimportmodus:
       Wählen Sie einen der Importmodi aus:
      • Nach Ausführung eines Datenimports werden alle Datensätze ersetzt
        : Dies ist die Standardvorgabe. Wenn Sie Daten importieren, werden alle Datensätze im Staging-Bereich ersetzt.
      • Remote-Cache zum Identifizieren und Senden von geänderten Datensätzen beim Import:
         Integration vergleicht den Staging-Bereich mit den Datensätzen in der Tabelle oder Datenbank und importiert nur die geänderten Datensätze.
      • Alle Datensätze, die in einen Periodenbereich fallen, werden übermittelt:
         Wenn Sie diesen Modus auswählen, werden Sie aufgefordert, einen Periodenbereich einzugeben sowie eine Spalte, auf die Integration den Bereich anwenden soll. Alle Datensätze, die dieses Auswahlkriterium erfüllen, werden importiert.
    • Datenimportfilter:
       Verwenden Sie diese Option, um einen SQL-Ausdruck einzugeben, der importierte Informationen filtert oder formatiert. Der SQL-Filter wird angewendet, bevor Daten aus der Datenbank extrahiert werden, um die zu importierende Datenmenge zu reduzieren. Sie erhalten auf diese Weise zusätzliche Kontrolle darüber, welche Daten in den Staging-Bereich übernommen werden. Klicken Sie auf das Feld, um das zuvor beschriebene Dialogfeld „SQL-Filter bearbeiten“ anzuzeigen. (Der Filter, den Sie hier eingeben, wird auf die tatsächlichen Daten in der Datenbank und nicht auf die Vorschaudaten im Staging-Bereich angewendet.)
  4. Klicken Sie auf
    Anwenden
    , um die Einstellungen zu übernehmen.
Führen Sie die folgenden Schritte aus, um einer Skript-Datenquelle Spalten hinzuzufügen:
  1. Erweitern Sie den Eintrag „Benutzerdefinierte Spalte“ im Menü „Datenkomponenten“.
  2. Ziehen Sie eine der Spaltenarten per Drag-and-Drop in den Bereich „Zu importierende Tabellen“. Wenn Sie dieses Element ablegen, wird das Dialogfeld für benutzerdefinierte Spalten angezeigt.
  3. Geben Sie die Spalteneinstellungen ein:
    • Name:
      Geben Sie einen Namen für die Spalte ein. Spaltennamen müssen genau mit den Spaltennamen übereinstimmen, die im Skript in Spoon angegeben sind, einschließlich Großschreibung und Leerzeichen.
    • Spaltenart:
       Ein schreibgeschütztes Feld, das die Spaltenart angibt.
    • Spaltenart konvertieren:
      Sie können diesen Wert nur für SQL-Spalten ändern. Für SQL-Spalten können Sie eine von sechs Konvertierungsoptionen auswählen.
  4. Klicken Sie auf
    Anwenden
    , um die Einstellungen zu übernehmen.

Spalten verwalten

Wenn eine Tabelle, an der Sie arbeiten, eine große Anzahl von Spalten enthält, können Sie mit „Spalten verwalten“ schnell festlegen, welche Spalten importiert werden sollen. Im Dialogfeld „Spalten verwalten“ werden die Spalten in einer Tabelle angezeigt, sodass Sie Spalten für den Import auswählen oder deren Auswahl aufheben können.
So verwalten Sie Spalten für den Import:
  1. Klicken Sie auf dem Register rechts neben dem Tabellennamen auf den Pfeil. Daraufhin wird ein unverankertes Menü mit mehreren Optionen angezeigt.
  2. Klicken Sie in dem unverankerten Menü auf
    Spalten verwalten
    . Das Dialogfeld „Spalten verwalten“ wird angezeigt.
  3. Aktivieren Sie das Kontrollkästchen neben einer Spalte, um diese zu importieren. Wenn Sie eine Spalte auswählen, wird die Spalte nach dem Speichern des Popup-Inhalts auch im Vorschaufenster angezeigt. Wenn Sie das Kontrollkästchen für eine Spalte deaktivieren, wird die Spalte aus dem Vorschaufenster entfernt. Für vom System generierte Felder wie können Sie den Importstatus nicht ändern
    isDeleted
    . Sie können den Importstatus für einzelne Spalten auch ändern, indem Sie die Spalteneigenschaften auswählen und die Eigenschaft festlegen oder indem Sie die Spalten per Drag-and-Drop in den Designer ziehen.

Tabellen anpassen

Sie können für jede Tabelle die Art und Weise anpassen, wie Daten importiert werden.
Führen Sie die folgenden Schritte aus, um die Tabelleneinstellungen anzupassen:
  1. Klicken Sie auf dem Register rechts neben dem Tabellennamen auf den Pfeil. Daraufhin wird ein unverankertes Menü mit mehreren Optionen angezeigt.
  2. Klicken Sie in dem unverankerten Menü auf
    Tabelleneinstellungen
    .
  3. Klicken Sie auf
    Anwenden
    , um die Einstellungen zu übernehmen.
  4. Wiederholen Sie die Schritte 1 bis 3 für jede Tabelle.
  5. Klicken Sie auf
    Speichern
    , um die Einstellungen in der Datenquelle zu speichern.

Spaltenoptionen festlegen

Im Abschnitt „Zu importierende Tabellen“ können Sie eine Vorschau der Daten anzeigen, wie sie in der Datenquelle enthalten sind oder wie sie nach dem Import im Staging-Bereich vorhanden sind. Sie können die Optionen für jede Spalte ändern, indem Sie den Cursor über die Überschrift bewegen und dann auf das Dropdown-Menü neben dem Namen klicken. Folgende Optionen sind verfügbar:
  • Aufsteigend sortieren:
     Sortiert die gesamte Tabelle basierend auf dieser Spalte in aufsteigender Reihenfolge.
  • Absteigend sortieren:
     Sortiert die gesamte Tabelle basierend auf dieser Spalte in absteigender Reihenfolge.
  • Spalteneinstellungen:
     In diesem Dialogfeld können Sie die Eigenschaften der Spalte in der Staging-Tabelle ändern.
  • Name:
     Der Name der Spalte, der im Header angezeigt wird.
  • Spaltenart:
     Die Art der in der Spalte verwendeten Daten.
  • Spaltenart konvertieren:
     Wählen Sie die neue Art aus diesem Dropdown-Menü aus.
  • Spalte von Import ausschließen:
     Klicken Sie auf diese Option, um diese Spalte aus den zu importierenden Daten zu entfernen.
  • Spalte löschen:
     Klicken Sie auf diese Option, um die Spalte zu löschen. (Nur für benutzerdefinierte Spalten verfügbar.)

Daten aus einer Staging-Tabelle herunterladen

Sie können Daten aus einer einzelnen Staging-Tabelle herunterladen.
So laden Sie Daten aus einer einzelnen Staging-Tabelle herunter:
  1. Klicken Sie im Abschnitt „Zu importierende Tabellen“ in einer Tabellenüberschrift auf den Pfeil nach unten.
  2. Klicken Sie auf
    Daten herunterladen
    .
  3. Wenn die Meldung Durch
    diesen Vorgang wird eine E-Mail mit einer URL zum Herunterladen der Daten gesendet angezeigt wird
    , klicken Sie auf
    Senden
    .
    Adaptive Planning
     sendet eine E-Mail mit einer URL an das E-Mail-Konto, das dem Datendesigner zugeordnet ist.
  4. Öffnen Sie die E-Mail und klicken Sie auf die URL. Die Daten werden im CSV-Format heruntergeladen.

Erweiterten Filter verwenden

Unterhalb des Dropdown-Menüs „Quelle“ können Sie auf
Erweiterter Filter
 klicken, um Optionen für das Filtern der Daten im Vorschaubereich
Zu importierende Tabellen
 anzuzeigen. Der erweiterte Filter bietet Tools zum Anzeigen und Durchsuchen einer Teilmenge der Daten in einer Staging-Tabelle oder aus einem Skript. (Wenn Sie „Skript“ aus der Dropdown-Liste „Quelle“ auswählen, wird die Vorschauanforderung zur Verarbeitung an den Agenten gesendet.) Durch Ändern der Filtereigenschaften können Sie die Ansicht der im Vorschaufenster angezeigten Daten ändern, ohne die Daten im Staging-Bereich zu ändern.
Der Vorschaubereich dient speziell der Vorschau eines kleinen Teils der Daten im Staging-Bereich. Sie können die in der Tabelle verfügbaren Daten prüfen und anhand des Staging-Bereichs verifizieren, dass die erwarteten Daten abgerufen werden. (Filter, die in der Vorschaufunktion festgelegt werden, haben keine Auswirkungen auf die tatsächlichen Daten im Staging-Bereich.)
Folgende Optionen sind im erweiterten Filter verfügbar:
  • Distinkte Zeilen
    : Aktivieren Sie dieses Kontrollkästchen, um doppelte Zeilen auszublenden.
  • Maximale Zeilenanzahl
    : Begrenzen Sie die Anzahl der Zeilen, die im Vorschaubereich angezeigt werden, indem Sie eine Zahl in das Textfeld eingeben.
  • Spalten
    : Aktivieren oder deaktivieren Sie die Kontrollkästchen der Spalten in diesem Dropdown-Menü, um die angezeigten Spalten ein- oder auszublenden.
Wenn Sie eine Spalte in dieser Liste entfernen, wird die Spalte nicht aus der Importliste entfernt.
  • SQL-Filter
    : Klicken Sie in das große Textfeld, um das Dialogfeld „SQL-Filter bearbeiten“ (weiter oben beschrieben) anzuzeigen. Hier können Sie einen SQL-Filter eingeben, um die Zeilen einzuschränken, die in der Vorschau angezeigt werden. Klicken Sie auf
    Anwenden
    , um die SQL-Syntax des Filters automatisch zu prüfen. (Falls Fehler auftreten, werden diese im Ausdruck angegeben.) Um detaillierte Hilfe zur SQL-Syntax zu erhalten, klicken Sie auf „Online-Hilfe“ im Abschnitt „Hinweise“.
Klicken Sie auf
Filter entfernen
 (neben dem Dropdown-Menü „Quelle“), um alle Einstellungen des erweiterten Filters zu löschen.
Im Rahmen der Tabellenanpassung können Sie auch Join-Tabellen und benutzerdefinierte Spalten mit SQL-Ausdrücken erstellen.

Parameter hinzufügen und aktualisieren

Sie können Parameter verwenden, um Informationen an das zugrunde liegende Kettle-Skript zu übergeben. Für diese Parameter kann ein Standardwert festgelegt werden. Das Skript kann die Parameter dann verwenden, um die Transformationen und die Filterung in den ETL-Skripten zu steuern.
So fügen Sie einen Parameter hinzu:
  1. Klicken Sie auf das Symbol
    Parameter bearbeiten
     rechts neben der Überschrift des Bereichs „Parameter“. Das Dialogfeld „Parameter-Editor“ wird angezeigt.
  2. Klicken Sie im linken Bereich auf den Ordner, dem Sie einen Parameter hinzufügen möchten. Der Ordnername wird im rechten Bereich angezeigt.
  3. Klicken Sie auf
    Hinzufügen
     und wählen Sie eine der folgenden Optionen in dem unverankerten Menü:
    • Ordner
      : Erstellt einen neuen Ordner.
    • Boolesch
      : Erstellt einen booleschen Parameter (wahr/falsch).
    • Ganzzahl
      : Erstellt einen Ganzzahl-Parameter.
    • Text
      : Erstellt einen Textparameter.
    • Kennwort
      : Erstellt einen Kennwortparameter.
    • Periodenbereich
      : Erstellt einen Periodenbereichsparameter (Von-/Bis-Datum).
    • Dimension
      : Erstellt eine Dimension.
    • Istzahlen-Version
      : Erstellt eine Istzahlen-Version.
    • Planversion
      : Erstellt eine Planversion.
  4. Geben Sie im rechten Bereich Informationen zur ausgewählten Option ein.
  5. Klicken Sie auf
    Anwenden
    .
Sie können einzelne Parameter oder die Ordner bearbeiten, indem Sie auf das zu bearbeitende Element im linken Bereich doppelklicken und die Informationen in den Feldern ändern. Klicken Sie dann auf „Anwenden“, um Ihre Änderungen zu speichern.
Sie können Ordner erstellen, um Parameter zu gruppieren, und die Parameter dann in den jeweiligen Ordner ziehen.

Daten mit einer Skript-Datenquelle importieren

Wenn Sie Ihre Skript-Datenquelle eingerichtet und gespeichert haben, können Sie Daten importieren.
So importieren Sie Daten mit einer Skript-Datenquelle:
  1. Klicken Sie im Menü „Aktionen“ auf
    Daten importieren
    . Die ausgewählten Daten werden nach den ETL-Skripten sowie den SQL-Ausdrücken gefiltert und in den Staging-Bereich geladen. Sie können eine Vorschau der Daten im Staging-Bereich anzeigen.
Informationen verbleiben im Staging-Bereich, bis Sie sie löschen oder bis sie durch ein nachfolgendes Laden von Daten entsprechend der aktiven Einstellung für den Datenimportmodus gelöscht werden.
So löschen Sie Daten aus dem Staging-Bereich:
  1. Klicken Sie im Menü „Aktionen“ auf
    Staging-Tabellen löschen
    . Der Staging-Bereich wird für alle Tabellen in der Datenquelle gelöscht.