In-Memory auch mal ganz klassisch mit In-Memory-Bibliotheken

Mit immer größeren Datenmengen, die es bei BI Reports und Analysen zu bewältigen gibt, sieht man sich immer öfter mit Performance-Engpässen konfrontiert. Nicht ohne Grund werden deshalb In-Memory-Lösungen, in denen ganze riesige Dateien in Arbeitsspeicherfarmen immer beliebter, die performanceoptimiert zusammenarbeiten und Techniken wie Load Balancing und Multi-Threading nutzen. Doch auch wenn die Daten nicht so groß sind, kann es sinnvoll sein, In-Memory-Techniken zu nutzen. Das kann man so ganz ohne High Performance Analytics mit klassischem SAS schon seit geraumer Zeit tun. Und das kann sogar ausgesprochen performant sein. Seit SAS Version 8.1 gibt es hierfür schon das SASFILE Statement, was aber selbst unter erfahrenen Programmierern oft wenig bekannt ist.

Etwas neuer ist die Möglichkeit mit sogenannten In-Memory-Bibliotheken zu arbeiten. Hierfür fügt man, wie im u.g. Beispiel demonstriert, einer Libname-Anweisung die Memlib-Option hinzu. Die entsprechenden Dateien werden dann direkt in den Arbeitsspeicher geladen und dort gehalten. Was das bringt? Der größte Engpass bei der Verarbeitung von Dateien, ist der Weg der Datei in den Arbeitsspeicher. Eine SAS Datei teilt sich in mehrere sogenannte Data Set Pages auf. Diese werden dann nach und nach in den Arbeitsspeicher des Computers geladen, verarbeitet und in die neu erstellte Datei ausgegeben. Ändert man dieses Verhalten und lädt die Datei in einem ersten Schritt schon mal komplett in den Arbeitsspeicher, spart man sich diese andauernden Input Output Operationen. Damit laufen dann die SAS Programme schneller. Aber Vorsicht! Die meisten unserer Kunden sind nicht ganz allein auf ihrem SAS-Server, d.h. bevor Sie die Memlib-Option verwenden, sollten Sie zunächst abklären, ob das in Ihrem Unternehmen und in Ihrer SAS-Umgebung überhaupt möglich ist. Außerdem müssen die Dateien Ihrer Memory Library natürlich auch in den Arbeitsspeicher passen. Man hat maximal die Hälfte des gesamten Arbeitsspeichers zu Verfügung, um dort Dateien abzulegen. Ich würde eher empfehlen, maximal ein Viertel des Arbeitsspeichers mit Dateien zu belegen.

Falls Ihre Daten also sehr groß sind und sie lange Wartezeiten haben, bis SAS Programme durchgelaufen sind, dann empfiehlt es sich vielleicht, sich mal die High Performance Lösungen von SAS anzuschauen. Nur am Rande: In 9.4 sind für alle Lizenznehmer von SAS-Statistikprodukten direkt die HPA-Prozeduren enthalten (die auch neu geschrieben sind, eben um die neuen Rechnerarchitekturen auszunutzen).

Für alles, was mit performantem Programmieren zu tun hat, können Sie meine Kollegen und mich ab dem 13. Oktober in verschiedenen Städte in Deutschland, Österreich und der Schweiz in unserem Education on Tour besuchen, wo neben dem Thema Performance, auch der Data Step 2, effektive Makroprogrammierung und der richtige Umgang mit SAS Datumswerten besprochen wird.

Nähere Infos hierzu, finden Sie hier:  http://www.sas.com/de_de/events/14/sas-education-on-tour-dach/overview.html

Und hier noch das versprochene SAS-Programm:

memlib_code

 

 

Post a Comment

Zukunft des Wissensmanagements: Was ändert sich mit Cognitive Computing?

Ein Beitrag für die Blogparade "Wissensmanagement in Zeiten von Cognitive Computing" zur knowtech 2014.

Mit Cognitive Computing wird erneut die Frage gestellt, was die Grenze zwischen Mensch und Maschine ist. Vor wenigen Jahren war der Turing-Test eine eher esoterische Angelegenheit und die Kenntnis dessen, was das überhaupt ist, kaum verbreitet. Eine Maschine, mit der man sich unterhalten kann? Bei der man erkennen soll, dass es eine Maschine und kein Mensch ist? Das schien doch zu einfach. Selbstverständlich würde es nie gelingen, so schnell und schlau wie ein menschliches Gehirn zu funktionieren und menschlich zu erscheinen.

robot android women and butterfly Read More »

Post a Comment

Fernseh-Werbung am Ende, wetten … ?

Als Kind bin ich aufgewachsen wie viele in meinem Alter: Samstagabend war Fernsehabend! Über die häusliche Leinwand flimmerten die großen Kisten wie „Der große Preis“, „Versteckte Kamera“ und viele mehr. Nicht dass mich dieser Samstagabend fasziniert hätte. Aber das war einfach so.

Nun die große Revolution: „Wetten dass“ wird nach über drei Jahrzehnten Ende dieses Jahres eingestellt. Am kommenden Wochenende wird eine der letzten Ausgaben gesendet. Ja, der Herr Lanz hat auch seinen Beitrag dazu geleistet. Aber was mit diesem Entscheid endlich einmal explizit erwähnt und sichtbar wird, ist die Verschiebung des Medienkonsums: Schon seit Jahren wird in der TV Reichweitenmessung die Ungenauigkeit der Internet-TV-Seher einfach negiert und unter „Unschärfe“ abgetan. Dem Lamentieren über sinkende Zuschauerzahlen hat dies allerdings keinen Abbruch getan. Read More »

Post a Comment

ISC Big Data – From Data to Knowledge

Thomas_MeuerIm Vorfeld des Kongresses “ISC Big Data” sprachen wir mit Thomas Meuer über die besondere Rolle, die eine Supercomputing-Community im Bereich Big Data spielt. Der Veranstalter der ISC Big Data spricht über die Trends im High-Performance Computing (HPC), die Arbeit im CERN und beschreibt was Unternehmen von der Erfahrung im Forschungsinstitut lernen können.

SAS: Herr Meuer, warum setzen Sie jetzt bereits zum zweiten Mal explizit auf Big Data als Thema Ihres Events?
Meuer: Weil es in der Natur der Sache liegt. Die Technologien und Methoden, die im HPC über viele Jahre entwickelt und angewendet wurden, finden nun ihren Weg in die Unternehmen. Das geschieht eindeutig unter dem Vorzeichen Big Data. Die Datenmengen, die in heutigen Unternehmen als sehr groß und kaum beherrschbar bezeichnet werden, sind im wissenschaftlichen Bereich schon vor Jahren erreicht worden. Entsprechend gibt es hier einen Vorsprung in der Verarbeitung dieser Daten. Read More »

Post a Comment

Fjord-Kreuzfahrt ohne Fjorde – ad hoc Analytics für taktische CRM-Entscheidungen kann Leben retten

Autor: Dr. Michael Jungbluth, Project Manager und Analytics Experte bei SAS Deutschland

Norwegen-Kreuzfahrten befriedigen recht homogene Urlaubsbedürfnisse. Nicht selten werden diese offensiv nach außen getragen: Die Dichte an hochwertigen DSLR-Kameras und großen Teleobjektiven spricht dazu ihre eigene Sprache. Es handelt sich daher um keine wackelige Hypothese, dass für ein großes Urlaubersegment ambitionierte Aufnahmen der Fjordlandschaften ein Kernbedürfnis darstellen (s. Beweisstück A).

Norway Landscape panorama with ocean and mountain - Lofoten

Beweisstück A: Norwegische Fjordlandschaft im Sonnenuntergang

Read More »

Post a Comment

Die Ganesha-Strategie - Hadoop mit SAS

Sie kennen den kleinen gelben Elefanten schon? Hadoop verändert gerade die Welt – zumindest in der IT. Es gibt Experten, die prophezeien, dass bereits in den nächsten drei Jahren mehr als die Hälfte aller Daten der Welt in Hadoop gespeichert werden.

Ganesha - GaneshFakt ist: Bereits heute liegen die durchschnittlichen Kosten pro Terabyte Datenhaltung in einem Hadoop-Cluster bei 500 Dollar. Während bei einer relationalen Datenbank 10.000 Dollar oder gar noch mehr Kosten anfallen. CIOs unter Kostendruck – und wer ist das nicht? – prüfen deshalb sehr genau, wo und wie sie Hadoop in ihrem Unternehmen einsetzen können. Read More »

Post a Comment

Modernisierung der BI - Agile Business Intelligence

In den letzten Jahren hat sich einiges getan im Business Intelligence und Business Analytics Umfeld. Big Data - also der zeitnahe Umgang mit großen und polystrukturierten Daten - ist in aller Munde und zeigt vielen gewachsenen BI-Installationen die Grenzen auf. Aber auch die Art wie BI daher kommt hat sich dramatisch verändert! Read More »

Post a Comment

Buchempfehlung: Digitale Banken – das Geld steckt in den Daten

Ein Gastbeitrag von Anne Belder, SAS Niederlande.

„Die Zukunft der Banken ist digital.“ - Der unabhängige Autor und Finanzmarktanalyst Chris Skinner schreibt in seinem Buch "Digital Bank" über die radikale Veränderung im Banking. Viele Ansätze lassen sich daraus ableiten, die gerade aus Sicht eines Big Data Analytics Experten eine besondere Tragweite haben werden. Nachfolgend fasse ich die wichtigsten Punkte zusammen. 

digitalbanksWarum brauchen wir digitale Banken?

Chris schreibt: Wir leben in einer Welt, in der wir nicht bewusst über das Internet nachdenken; es ist einfach da. Also in einer Zeit, auf dem online oder mobil erreichbar zu sein zum Alltag gehört. Das Problem ist, dass die meisten Handelsbanken das digitale Leben noch nicht verinnerlicht haben, während es auf der Welt immer mehr Menschen gibt, die nur noch diese Sprache sprechen. Die Banken ziehen unsere neue und digitale Welt natürlich auch in Betracht, sehen sie aber nur als zusätzlichen Kanal in ihrem Portfolio. Die Herausforderung besteht darin, von dieser Denkweise weg zu kommen und das Bankwesen als digitales Netzwerk zu verstehen, auf das die physischen Kanäle wie Callcenter und Filialen aufbauen. Read More »

Post a Comment

Fit und gesund durch die Nutzung von Daten

„Bluthochdruck, der leise Killer“, so lautete die knappe und ernüchternde Diagnose des Arztes. Gewiss, Bluthochdruck ist die häufigste Volkskrankheit in Deutschland. Die letzte Zeit war stressig, an Sport war schon lange nicht mehr zu denken - aber warum musste gerade mich das Schicksal dieser Krankheit treffen? Unter dem Eindruck möglicher Folgen, wie z.B. Herzinfarkt und Schlaganfall, gewann das Thema Gesundheit plötzlich eine hohe Priorität. Ein erster Schritt im Sinne von „Gefahr erkannt, Gefahr gebannt“ sollte mehr Bewegung, sowie eine Gewichtsreduktion sein. Aber was kann mich nachhaltig dazu motivieren?

Doctor holding a red heart

Read More »

Post a Comment

Von der Regatta zur intuitiv richtigen Verwendung von Forecasts

Es ist ein lauer Sommerabend im Juli am Neusiedler See. Die Teilnehmer der traditionellen YES-Cup Regatta sitzen bei Bier und Grillkotelette auf der Terrasse unseres Clubhauses. Die Stimmung ist ausgelassen, jeder hat nach zwei ereignisreichen Wettfahrten seine Geschichte zu erzählen.

Eine Unterhaltung am Ende unseres Tisches zieht meine Aufmerksamkeit auf sich, denn es geht um Forecasting, genauer gesagt um die Verwendbarkeit und Treffsicherheit von Wetter- und Windprognosen. Die Meinungen gehen erwartungsgemäß stark auseinander. Von „Meistens falsch“, über „Sind wir froh, dass wir sie haben - hat es früher in dem Detailgrad nicht gegeben“ bis hin zu „Ich richte mich nur nach den Wolkenbildern.“ Dass man die Windverhältnisse vor der Regatta kennt ist wichtig, um Entscheidungen wie. „Mit welcher Größe der Segel gehe ich ins Rennen, damit ich während der Regatta nicht wechseln muss“ oder „Welche Windrichtung wird sich durchsetzen und welche Bereiche des Sees werden daher begünstigt sein?“ besser treffen zu können. Read More »

Post a Comment