In-Memory GPU einfach und verständlich erklärt

Dienstag, 20. November 2012, 18:41 Uhr

Noch keine Kommentare

Wer mich kennt und/oder diesen Blog ab und an besucht, der wird wissen, dass ich im Rahmen meiner Master-Thesis vor gut 2 Jahren einen Benchmark für (In-Memory-)OLAP-Systeme erstellt habe. Damals habe ich auch bereits – außer Konkurrenz – den neuen und interessanten Ansatz der Jedox AG aus Freiburg betrachtet, die In-Memory-Technologie mit der GPU-Technologie zu verbinden und damit die Performance bei Analysen und Planungen noch weiter zu verbessern. Was es mit dieser Kombinationen auf sich hat steht nun in einem 6-seitigen Artikel im Magazin „Wirtschaftsinformatik und Management“.

Wenn wir uns heute den ganzen Hype um „Big Data“ anschauen, dann geht es eigentlich im Kern immer darum, dass immer mehr Daten einfach nicht so schnell verarbeitet werden können wie wir es gerne hätten. Es geht dabei also immer um die Performance. Unter Zuhilfenahme von Apache Hadoop wird vielerorts versucht, diesem Problem Herr zu werden. Im Zentrum des Hadoop-Frameworks (unter Open-Source-Lizenz) stehen der Map-Reduce-Algorithmus sowie das Hadoop Distributed File System (kuz: HDFS). Der Ansatz von Hadoop besteht vereinfacht gesagt darin, die Daten und die Berechnungen auf mehrere Rechner (Knoten) in einem Netzwerk zu verteilen und durch diese Parallelisierung schneller zu werden und/oder in gleicher Zeit größere Datenmengen zu verarbeiten. Mögliche Bottlenecks in diesem Szenario sind die Zugriffszeiten der Festplatten, die CPUs sowie zusätzlich evtl. auch noch das Netzwerk an sich.

Dass der Grundgedanke hinter Hadoop funktioniert zeigen diverse Erfolgsmeldungen aus „Big-Data-Projekten“, diverse kommerzielle Forks bzw. Investitionen wahrscheinlich aller großen Anbieter in diese Technologie oder in die Integration bzw. Anbindung Letzterer. Doch auch Hadoop ist nicht die eierlegende Wollmilchsau und nicht DIE Lösung für alle Probleme. Hadoop ist auch nicht eben mal so schnelle aufgesetzt, sondern benötigt immer zunächst eine gewisse Anzahl an Servern und setzt damit erhebliche Investitionen in Hardware, Infrastruktur und Administration voraus. Doch es geht auch anders…

 
In-Memory als Alternative?!

Ein anderer Ansatz, um die Datenzugriffe zubeschleunigen und damit ein Problem zu lösen ist die In-Memory-Technologie. Dabei werden die Daten – teilweise komprimiert und/oder speziell aufbereitet – im Arbeitsspeicher anstatt auf der Festplatte gespeichert. Die Technologie an sich ist nicht sonderlich neu und wird schon seit mindestens 10 Jahren von unterschiedlichen Firmen getrieben, hat aber durch SAP HANA jüngst neue Aufmerksamkeit erfahren.

 
In-Memory GPU als Alternative 2.0?!

Noch einen Schritt weiter geht die In-Memory-GPU-Technik der Jedox AG aus Freiburg im Breisgau. Schließlich bringt es wenig wenn Daten zwar rasend schnell gelesen aber vom Prozessor bzw. den Prozessoren nur quälend langsam verarbeitet werden können. Die In-Memory-GPU-Technik setzt ähnlich wie Hadoop auch auf massive Parallelisierung wobei die Rechenoperationen nicht auf unterschiedliche Server verteilt werden, sondern auf eine große Anzahl sog. GPUs (Graphic Processing Units), die in High-End-Grafikkarten verbaut sind. GPUs besitzen zwar gegenüber „klassischen“ CPUs einen deutlich beschränkteren Befehlssatz, wenn es allerdings „nur“ um einfache Operationen wie die Aggregation einzelner Basiszellen in einem multidimensionalen Würfel geht, ist eine Verbesserung der Performance aufgrund der hohen Anzahl an parallelen Operationen offensichtlich.

1:1 darf man die In-Memory-GPU-Technik natürlich nicht mit einen Framework wie Hadoop vergleichen. Während Hadoop quelloffen und damit sehr flexibel einsetzbar ist, werkelt die In-Memory-GPU-Technik als sog. GPU Accelerator nur unter der Motorhaube der Jedox BI Suite (wenn entsprechend lizenziert). Außerdem müssen die Daten auch zunächst als OLAP-Würfel innerhalb des OLAP-Servers zur Verfügungs stehen. Aber es geht hier ja nicht darum, einen Lösungsansatz als DIE Lösung für alle Fälle und Anwendungsfälle zu präsentieren, sondern zu zeigen, dass auch abseits des Hypes rund um Apache Hadoop und der vermeintlichen Entdeckung der In-Memory-Technologie durch SAP andere vielversprechende Ansätze gibt. Und bekanntlich hat jede Problemstellung ihre eigene Lösung…

Schon während meiner Master-Thesis – mehr Details dazu unter www.olap-benchmark.de – im Jahre 2010 fand ich den Ansatz sehr interessant, der damals noch in den Kinderschuhen steckte und sehr technisch war. Seitdem sind mittlerweile 2 Jahre ins Land gezogen, die Technologie wurde in dieser Zeit kontinuierlich weiterentwickelt und wird in der Zwischenzeit auch produktiv eingesetzt. Eine wie ich finde sehr gelungene und auch für Nicht-Informatiker geeignete Erklärung der In-Memory-Technologie, ihrer Vorteile, der dafür nötigen Rahmenbedingungen sowie potentieller Anwendungsfälle ist in der Ausgabe 05.2012 des Magzins Wirtschaftsinformatik und Management zu finden. Wer sich nur für den 6-seitigen Artikel die Zeitschrift nicht kaufen will, findet den Artikel auch als kostenlosen PDF-Download auf der Jedox-Internetseite: In-Memory, GPU und große Datenmengen – Realität und Chancen.

Kommentare zu diesem Beitrag

Bisher wurde noch keine Kommentare abgegeben.
Sie können also die oder der Erste sein.

Jetzt einen neuen Kommentar abgeben



(optional, Ihr Name wird entsprechend verlinkt)