tPaloDimensionList – Liste aller Dimensionen einer Palo-Datenbank oder eines Cubes

Mit Hilfe der Komponente tPaloDimensionList lassen sich alle Dimensionen auslesen, die innerhalb einer Palo-Datenbank existieren. Zusätzlich zur Verbindung ist nun auch noch der Name einer Datenbank anzugeben. Wenn in einer Datenbank “TutorialTalendPalo” wie bei der Beschreibung der Komponenten tPaloDimension die Dimensioen angelegt wurden dann ließe sich folgender Output erzeugen:

• dimension_id – interne (technische) ID der Dimension
• dimension_name – Name der Dimension
• dimension_attribute_cube – Name des zugehörigen Attributswürfels
• dimension_rights_cube – Name des zugehörigen Cubes, in dem die Berechtigungen verwaltet werden
• dimension_elements – Anzahl der Elemente
• dimension_max_level – maximale Hierarchiestufe (0 bei Dimension ohne Hierarchie)
• dimension_max_indent – maximale Einrückungsebene eines Elements (1 bei Dimension ohne Hierarchie)
• dimension_max_depth – der genaue Unterschied zu dimension_max_indent ist mir noch nicht schlüssig geworde, kennt ihn jemand?!
• dimension_type – Dimesionstyp, 0 für “normal”, 1 für “system”, 2 für “attribute”, 3 für “user info”

Der dafür nötige Job ist wieder einmal sehr simpel:

Liste aller Dimension einer Datenbank ausgeben

Standardmäßig liefert die Komponente tPaloDimensionList alle Dimensionen zurück, die in der angegebenen Datenbank vorhanden sind. Alternativ kann die Check vor “Retrieve cube dimensions” aktiviert werden und nach Angabe eines existierenden Cubes werden ausschließlich die Dimensionen zurückgeliefert, aus denen sich der angegebene Cube definiert.

tPaloDimension – Dimension anlegen, ergänzen oder überschreiben

Die Komponente tPaloDimension dürfte die am öftesten verwendete Komponente sein wenn Palo mit Hilfe von Talend mit Daten gefüttert wird. Bei der Anlage von Dimensionen gibt es mehrere Möglichkeiten: das Anlegen von Dimensionen mit oder ohne Hierachie sowie das reine Befüllen einer bereits bestehenden Dimension.

Anlegen einer Dimension ohne Hierarchie

“Ohne Hierarchie” bedeutet, dass es keine Aggregationen gibt und allen Elemente auf ein und derselben Ebene sind. Ein Beispiel für eine Dimension ohne Hierarchie ist beispielsweise eine Kennzahlen-Dimension. Zumindest fällt mir spontan keine sinnvolle Anwendung für die Summe aus IST- und PLAN-Zahlen ein… Um eine solche ganz einfache Dimension anzulegen bedarf es mindestens noch eine weitere Komponente, z.B. tFixedFlowInput. Innerhalb der dieser Komponente wird ein neues Schema mit den beiden Spalten “ist” und “plan” (ohne Anführungszeichen) angelegt. Beide Spalten sind vom Typ “String” und haben ihren Namen auch als Wert:

Simples Schema als Datengrundlage für eine Dimension ohne Hierarchie

Der Ausgang der Kompenent tFixedFlowInput wird schließlich mit der tPaloDimension verbunden, für die folgende Einstellungen zu wählen sind:

Die Dimension "Kennzahl" wird ohne Hierarchie angelegt und mit befüllt

Nach dem Ausführen des Jobs – voilá! – gibt es die erste Dimension in der Datenbank “TutorialTalendPalo” des OLAP-Servers.

Anlegen einer Dimension mit Hierarchie

Als Beispiel einer Dimension mit Hierarchie soll eine sehr einfache Dimension “Land” dienen. Das oberste Element soll “DACH” heißen, unter dieser Abkürzung verbergen sich die Länder “Deutschland”, “Österreich” und die “Schweiz”. Hierfür benötigen wir ein zweispaltiges Schema mit den Spalten “Region” und “Land”. Auch hierfür ließe sich die Komponente tFixedFlowInput nutzen, welcher im Modus “Use inline content (delimited file)” folgender Inhalt im Textfeld übergeben wird (manuelle Anpassung des Schemas nicht vergessen!):

DACH;Deutschland
DACH;Österreich
DACH;Schweiz

Auch hier wird der Datenstrom mit wieder mit der tPaloDimension-Komponente verbunden, wobei in diesem Fall als “Consolidation Type ” die Option “normal” eingestellt wird und die Einstellungen wie folgt vorgenommen werden:

Die 2-stufige Dimension "Land" wird neu angelegt und mit Daten befüllt

Entscheidend ist hier Reihenfolge der beiden Spalten weil beim Einfügen in die Dimension die Spalte in der ersten Zeile automatisch zum Eltern-Element der Spalte in der zweiten Zeile wird. Beim einer mehr als zweistufigen Hierarchie funktioniert das analog: jede Zeile beinhaltet das Eltern-Element der Spalte darunter.

Dimension “nur” befüllen bzw. um neue Elemente ergänzen

Ohne dass ich explizit darauf hingewiesen habe, zeigen die vorherigen Bilder, dass die Dimension immer neu erzeugt wurde falls sie noch nicht existiert. Wenn es aber nur darum geht in einer bereits bestehenden Dimension neue Elemente Hinzuzufügen ist bei “Action on dimension” die Option “Keine” zu wählen. Darüber hinaus sind die Einstellungen den jeweiligen Anforderungen entsprechend wie bereits beschrieben vorzunehmen – unabhängig ob es sich um eine Dimension mit oder ohne Hierarchie handelt.

Als Beispiel soll die zuvor erstellte Dimension “Land” um die BeNeLux-Staaten erweitert werden, d.h. wir haben das Eltern-Element “BeNeLux” und die Länder “Belgien”, “Niederlande” und “Luxemburg”. Der Komponente tFixedFlowInput übergeben wir dafür folgenden Inhalt im Modus “Use inline content (delimited file)”:

BeNeLux;Belgien
BeNeLux;Niederlande
BeNeLux;Luxemburg

Die Einstellungen der Komponente tPaloConnection unterscheiden sich gegenüber der vorherigen Abbildung lediglich in der “Action on dimension”:

Die 2-stufige Dimension "Land" um neue Elemente ergänzt

Bei der gewählten Option “Keine” muss natürlich sichergestellt sein, dass die Dimension bereits existiert und das die Strukturen zum Schema des Datenstroms passen damit es keinen Abbruch gibt.

tPaloConnection – Verbindung zum OLAP-Server herstellen

Die Komponente, die in keinem Job fehlen sollte, der in irgendeiner Weise mit den OLAP-Server Palo kommuniziert, ist tPaloConnection. Mit Ihrer Hilfe kann nicht nur überprüft werden ob die Verbindung zu einem Palo-Server hergestellt werden kann, die auf die Weise hergestellte Verbindung kann auch in allen anderen Komponenten referenziert werden, damit die Verbindungsdetails nur ein einziges Mal und nicht immer wieder auf’s Neue angegeben werden müssen.

Um die Verbindung zu einem Palo-Server herzustellen müssen der Servername und -port sowie Benutzername und Passwort angegeben werden. Für eine Palo-Standardinstallation – ansonsten wurde hoffentlich mindestens das Passwort geändert – etwa lässt sich die Verbindung wie folgt herstellen:

Standard-Einstellungen für die Verbindung mit einem Palo-Server

Nach erfolgreicher Verbindung zum OLAP-Server könnte wir uns beispielsweise zunächst die Liste der vorhandenen Datenbanken anzeigen lassen.

tPaloDatabaseList – Liste aller Palo-Datenbanken

Um eine Auflistung aller Palo-Datenbanken auf einem Server zu bekommen gibt es die Komponente tPaloDatabaseList. Dies lässt sich bereits mit dem folgenden einfachen Job durchführen:

Liste aller Datenbanken des OLAP-Servers ausgeben

Der Output der Komponente tPalo gibt Informationen zu vorhandenen Datenbanken nach dem folgenden Schema zurück:

• database_id – interne (technische) ID der Datenbank
• database_name – Name der Datenbank
• database_dimensions – Anzahl der Dimensionen innerhalb der Datenbank
• database_cubes – Anzahl der Cubes innerhalb der Datenbank
• database_status – 1 für “geladen”, 0 für “nicht geladen”
• database_type – 0 für “System”, 1 für “User”

Ein denkbares Einsatzszenario ist insbesondere die Überprüfung der Existenz einer Datenbank, um spätere Fehler zu vermeiden.

tPaloDatabase – Palo-Datenbanken anlegen, löschen oder ersetzen

Während eine relationale Datenbank die Zusammenfassung mehrerer Tabellen ist, die mehr mehr oder minder stark miteinander in Verbindung stehen, fasst eine Palo-Datenbank Dimensionen und Cubes zusammen. Cubes können immer nur aus Dimensionen bestehen, die innerhalb der selben Datenbank angespeichert sind. Neben der Angabe der Verbindung benötigt die Komponente noch den Namen der Datenbank sowie die durchzuführende Aktion zu wählen:

Eine neue Datenbank in einem Palo-Server anlegen

Bei der durchzuführenden Aktion gibt es folgende Möglichkeiten:

• Create database – Datenbank wird neu angelegt, falls sie bereits existiert gibt es einen Fehler
• Create database if not exists – Datenbank wird nur dann angelegt wenn sie noch nicht existiert
• Delete database – Datenbank wirdgelöscht, falls sie noch nicht existiert gibt es einen Fehler
• Delete database if exists and create – eine bestehende Datenbank wird gelöscht und neu angelegt

Bei der Option “Delete database if exists and create” ist zu beachten, dass damit ALLE Dimensionen, Cubes, Rules und Daten gelöscht werden, um eine komplett neue jungfräuliche Datenbank anzulegen. Daher bitte mit Vorsicht genießen, dass damit nicht versehentlich bestehende Datenbestände unwiderruflich gelöscht werden.

Bei meinen ersten Schritten mit den unterschiedlichen Komponenten waren mir die Talend-Dokumentation sowie die beiden englischsprachigen Blog-Beiträge von Roberto Marchetto zum Erstellen von Palo-Cubes sowie zum Beladen der Palo-Cubes eine große Hilfe. Da ich aber noch keine deutschsprachige Anleitung gefunden habe, möchte ich nun in einer kleinen Serie die Komponenten kurz vorstellen.

Damit es nicht zu unübersichtlich wird, habe ich eine kleine Gruppierung vorgenommen.:

• tPaloConnection, tPaloDatabase und tPaloDatabaseList – Verbindung zum OLAP-Server herstellen, Datenbanken anlegen sowie die vorhandenen Datenbanken auflisten lassen
• tPaloDimensionList und tPaloDimension – vorhandene Dimensionen einer Palo-/Jedox-Datenbank anzeigen lassen, bestehende Dimensionen verändern oder löschen sowie neue Dimensionen anlegen

Die anderen Komponenten werde ich nach und nach in der kommenden Tagen vorstellen, nachdem ich sie nochmals Korrektur gelesen habe. Es lohnt sich also wieder vorbeizuschauen…

• tPaloRuleList und tPaloRule – vorhandene Berechnungsvorschriften anzeigen lassen sowie neue Rechenregeln für berechnete Kennzahlen hinzufügen
• tPaloCubeList und tPaloCube  – alle Cubes der Datenbank anzeigen lassen oder einen neuen Cube aus den vorhandenen Dimensionen erstellen
• tPaloOutput, tPaloMultiOutput und tPaloCheckElements – wie ein Palo-/Jedox-Cube am Ende eines ETL-Prozesses mit Daten gefüllt wird und wie mit Fehlern bzw. nicht adäquaten Daten umgegangen werden kann
• tPaloMultiInput – einen Palo-/Jedox-Cube als Datenquelle innerhalb eines Talend-Jobs nutzen

 
Trendthema “Agile BI”

Neben OSBI-Produkten wie Palo, RapidMiner, Pentaho, MySQL oder Hadoop dreht sich die Veranstaltung thematisch sehr stark um das Thema “Agile BI” und wie sich in eine agile BI-Entwicklung auch durch das entsprechende Test-Framework unterstützen lässt. Auch wenn sich mit “Mobile BI”, Cloud Computing und und und auch noch andere aktuelle (Hype-)Themen finden ließen, treffen die Veranstalter damit sicherlich eine gute Wahl da das Thema auch schon im vergangenen Sommer bei der TDWI-Konferenz in München viel diskutiert und omnipräsent war. Für die Keynote zu diesem Thema konnte mit Tom Gansor immerhin einer der Autoren des Buchs Von der Strategie zum Business Intelligence Competency Center (BICC) gewonnen werden.

 
Weitere Programmpunkte

Weiterhin enthält das Programm des 3. Workshop OSBI praktische Berichte über die Analyse von Photovoltaikdaten mit Hilfe von Open-Source-Programmen wie MySQL oder Pentaho sowie die Liquiditätsplanung mit Jedox Palo – wobei sich hier die Grätchenfrage Palo ODER Jedox stellt. Nach der Mittagspause geht es dann um Big Data. Dr. Ingo Mierswa von der Firma Rapid-I will dabei auf den RapidMiner aus dem eigenen Haus aber auf auf das Big-Data-Tool schlechthin – Apache Hadoop – eingehen. Die Vortragsbeschreibung klingt ja zumindest schon einmal höchst interessant, auch wenn ich es ja eigentlich nicht mehr für nötig erachte, “den Ausgang der Fußball-WM vorherzusagen” – sollte ja klar werden wer den den nächsten Titel holt nach so viele 2. und 3. Plätzen Dabei geht es aber auch darum, sog. Social-Media-Daten zu analysieren. Bei genau diesem Thema wir dann auch mein Kollege Stefan Boos von der Infomotion GmbH anschließen. Bei ihm geht es dann aber nicht mehr um Fußball, sondern darum Risiken auf den Aktienkurs frühzeitig zu erkennen und darauf reagieren zu können und wie das Ganze sich mit OSBI-Tools umsetzen lässt. Summa summarum hört sich das ganze Programm für mich sehr interessant an…

Interessant und einen guten Abschluss finde ich auch die Podiumsdiskussion “Microsoft vs. Open Source Business Intelligence” – nach so mancher Podiumsdiskussion der jüngeren Vergangenhei aus dem Fernsehe bin ich auf den Verlauf ja mal gespannt Den Abschluss der Veranstaltung bildet dann wie im vergangenen Jahr ein “Get Together” in gemütlicher Runde im Gewölbekeller des Badisch Brauhaus. Auch als Nicht-Badner muss man dieses Bier einfach probieren!

 
Jetzt anmelden – der frühe Vogel fängt den Wurm

Die Anmeldung zum 3. Workshop OSBI ist ab sofort zum Unkostenbeitrag von 50 € möglich. Darin enthalten sind die Konferenzunterlagen, das Catering während der Veranstaltung sowie das Mittagessen.

In den letzten war die Veranstaltung jeweils ausverkauft, es empfiehlt sich also eine zeitnahe Anmeldung wenn man sicher dabei sein will.

• Alle Monate
  • 2. Quartal
    • April

Da die Zuordnung von Monaten zu Quartalen im Gegensatz zu den Kalenderwochen immer gleich ist, taucht in der Monatsdimension auch keine Jahreszahl auf.

Die folgende kurze Anleitung funktioniert sowohl mit der kommerziellen Jedox BI Suite als auch dem zugehörigen Open-Source-Ableger Palo. Als ETL-Tool verwenden ich das Talend Open Studio for Data Integration in der Version 5 und mit folgendem kleinen Job legen wir ganz einfach und schnell die 3-stufige Monatsdimension an:

Der gesamte ETL-Job zum Anlegen der 3-stufigen Monatsdimension

Zur Erläuterung der einzelnen Schritte:

• tPaloConnection – Verbindung zum OLAP-Server herstellen
  Zunächst einmal müssen wir die Verbindung zum OLAP-Server herstellen und uns mit korrekten Zugangsdaten anmelden. Wenn bei der Installation keine Änderungen vorgenommen wurden dann läuft der OLAP-Server unter “localhost” auf dem Port “7777″ mit dem Benutzernamen und Passwort “admin” kann man sich anmelden. In der Praxis sollte man aber natürlich nicht unbedingt immer mit dem Admin-Benutzer arbeiten…
• tPalodatabase  – Datenbank anlegen falls nötig
  Da jede Dimension innerhalb einer Datenbank angelegt werden muss, überprüfen wir im zweiten Schritt zunächst die Existenz der Datenbank und legen diese wenn nötig an. In den Eigenschaften der Komponente tPaloDatabasenehmen wir dazu folgende Einstellungen vor:
  • eine bestehende Verbindung verwenden: Haken gesetzt
  • Verbindungseinstellungen: “tPaloConnection_1″
  • Database: “Hugo”
  • Action on database: “Create database if not exists”
• tFixedFlowInput – Struktur der Monatsdimension übergeben
  Mit Hilfe der Komponente tFixedFlowInputlässt sich ganz einfach der Inhalt einer CSV-Datei verarbeiten. Als Modus wählen wir hierzu “Use inline content (delimited file)” und fügen für das Beispiel folgenden Inhalt in das Textfeld:

  Alle Monate;1. Quartal;Januar
  Alle Monate;1. Quartal;Februar
  Alle Monate;1. Quartal;März
  Alle Monate;2. Quartal;April
  Alle Monate;2. Quartal;Mai
  Alle Monate;2. Quartal;Juni
  Alle Monate;3. Quartal;Juli
  Alle Monate;3. Quartal;August
  Alle Monate;3. Quartal;September
  Alle Monate;4. Quartal;Oktober
  Alle Monate;4. Quartal;November
  Alle Monate;4. Quartal;Dezember

  Anschließend sollte noch das Schema angepasst werden. Die Spalten legen wir hierzu alle mit dem Datentyp “String” an und nennen diese “ALLE_MONATE”, “QUARTAL”, “MONAT”:

  

  Schema der Komponente tFlowFixedInput

• tPaloDimension – 3-stufige Monatsdimension anlegen
  Den Ausgang der Komponente tFixedFlowInput verbinden wir nun mit der Komponente tPaloDimensionund nehmen dabei folgende Einstellung vor:
  • Eine bestehende Verbindung verwenden: Haken gesetzt
  • Verbindungseinstellungen: “tPaloConnection_1″
  • Database: “Hugo”
  • Dimension: “Monat”
  • Action on dimension: “Create dimension if not exists”
  • Create dimension elements: Haken gesetzt
  • Consolidation type: “normal”

  Die Spalten werden dann in absteigender Reihenfolge wie folgt ausgewählt:

  

  Spaltenreihenfolge innerhalb der Komponente tPaloDimension

Wenn wir uns jetzt die Dimension über das Excel-Plugin oder den OLAP-Manager über die Web-Oberfläche anschauen, sollte diese ausschnittsweise wie folgt aussehen:

• Alle Monate
  • 1. Quartal
    • Januar
    • Februar
    • März
  • 2. Quartal
    • April
    • Mai
    • Juni
  • usw.

Da wir diese Dimension sicherlich öfter brauchen lässt sich das Beispiel sehr gut und schnell durch wiederverwenden.

Auch der OSBI-Blog wünscht allen Lesern schöne, erholsame und stressfreie Weihnachtsfeiertage und dann in ein paar Tagen auch einen guten Start in ein hoffentlich erfolgreiches neues Jahr 2012.

Auch im kommenden Jahr wird der OSBI-Blog wieder über Aktuelles aus den Bereichen Open Source und Business Intelligence berichten und dabei hoffentlich auch einen etwas praktischeren Anstrich bekommen. Schauen Sie auch dann doch gerne mal wieder vorbei.

Alles mit dem Begriff “Palo” im Namen – z.B. Palo OLAP Server, Palo for Excel, Palo Web – ist also ab sofort das, was man kostenlos herunterladen und nuten kann, alle Produkt mit “Jedox” im Namen sind kostenpflichtig. Was die Parallelität von Palo und Jedox betriff bleibt alles beim alten. Die Community-Version hinkt der kostenpflichtigen Variante codetechnisch weiterhin 18 Monate hinterher. Wer Jedox 3.3 kostenlos ausprobieren will, der kann das Komplettpaket hier kostenlos herunterladen und sich 30 Tage lang austoben, die Community-Version Palo gibt es bei Sourceforge.

In ein ähnliches Horn blässt auch Ross Turk, dem Senior Director of Community bei Talend. Allein schon die Schaffung eines entsprechenden Postens zeigt, dass das Thema Open Source bei Talend nicht nur Marketing ist, sondern gelebt wird. Open Source ist oftmals eng verbunden mit einer aktiven Community - und diese lässt sich bei Talend eindeutig finden. Mit Ross konnte ich am Rande des Talend Community Day in Frankfurt reden. Auch wenn diese Veranstaltung schon eine Weile in der Vergangenheit liegt, hier nun unsere damalige Unterhaltung.

Mit dieser Strategie ist Jaspersoft nicht allein. Auch Jedox hat schon seit geraumer Zeit ein Angebot für Hochschulen, im Rahmen dessen Palo Premium im Lehrbetrieb kostenfrei benutzt werden kann. Natürlich versprechen bzw. erhoffen sich beide Anbieter davon eine Steigerung des Verbreitungsgrads, langfristig eine höhere Verbreitung und Akademiker, die Wissen über die Funktion und die Bedienung der jeweiligen Software haben und diese bestenfalls auch in ihrem Beruf weiterempfehlen. Aber auch für die Bildungseinrichtungen selber sind diese Programme sicherlich hilfreich, um in Zeiten chronischer Geldknappheit, den Schülern respektive Studierenden nicht nur eine Software, sondern in praktischen Lehreinheiten und Laboren auch Alternativen bieten zu können. Diese Abwechslung mit den kleinen aber feinen Unterschieden ist nützlich, um grundlegende Prinzipien besser zu verinnerlichen anstatt nur die Bedienung einer speziellen Lösung zu erlernen, ohne sich dabei Gedanken über die Funktionen hinter der Benutzeroberfläche zu machen.

Alle Informationen zum Scholar Program gibt es auf Internetseite von Jaspersoft sowie in folgender Pressemeldung.

 
Vorteile von Open Source klar vor Augen geführt

Durch das Angebot können den Schülern und Studierenden auch die wesentlichen Vorteile von Open-Source-Software – insbesondere die einfache Erweiterbarkeit durch eingene Programmierungen – deutlich vor Augen geführt werden. Und wo sonst gibt es auch immer wieder die Möglichkeit, Ideen und Spinnereien im Rahmen kleiner Projekte oder Studien-/Abschlussarbeiten auszuprobieren und Open-Source-Software zu erweitern oder experimentell aufzubohren ohne dass dieser “Versuch” von Erfolg gekrönt sein muss?! Sicherlich nicht abwegig ist der Gedanke, dass sich aus solchen Angeboten für Bildungseinrichtungen Forschungsprojekte mit interessante Ergebnissen ergeben können…