SQL - Materialized Query Tables

[Fuerchau]

Ich habe ja nichts gegen die MQT's sondern nur gesagt, dass ich diese nicht brauche.

Bzgl. BI gibt es sicherlich viele Möglichkeiten. Ich kenne da auch genügend Leute, die sich Monat für Monat mit ihren Excel's, Pivot und Power-Pivot rumschlagen.
Ebenso kenne ich auch genügend Leute, die unter der Last ständig irgendwelche Queries bereitzustellen stöhnen.
Des weiteren kenne ich auch Leute, die BI-Tools mangels Bedienbarkeit, Sicherheitsbedenken u.ä. nicht an ihre User weitergeben was wiederum Mehrbelastung für die IT bedeutet.

BI heißt i.W.: 1x installieren, 1x die Daten bereitstellen und die User (ggf. nach Schulung) selber auf die Anwendung los zu lassen.
Der Vorteil dabei ist, dass der Anwender von SQL keine Ahnung haben muss. Die Tools, die ich so sehe, sind doch einem normalen User nicht zumutbar.

Wer kennt sie nicht, die User, die mit Query/400 mal eben das System lahmlegen?
Auch MQT's verhindern dies nicht, wenn ich einen ungünstigen Bericht erstelle zu dem es wieder mal keinen Index gibt.

Aber ich weiß ja, es gibt keine perfekte und schon gar nicht nur eine Lösung sonst käme man ja auch mit einer einzigen Programmiersprache (und überhaupt nur eine Sprache) aus.

[KM]

Du hast hier nur den Cloud-Dienst von Power BI angesprochen. Dafür bestehen natürlich diese Begrenzungen. Ich meinte aber die Desktop-Variante "Power BI Desktop". Damit kann man beliebig viele Daten verarbeiten, da hier keine Prüfung wie beim Cloud-Dienst erfolgt. Die betreffenden Benutzer müssen das Programm dann natürlich installiert haben.

Die wesentliche Einschränkung ist aber der Import auf wenige Formate.

Wie kommst Du darauf? Es gibt hier sehr viele Import-Möglichkeiten. Für uns relevant ist hauptsächlich ODBC, Excel, CSV, SQL-Server. Es gibt aber noch viel mehr. Man kann sogar Daten von URLs einlesen (z.B. Länderliste oder Umrechnungskurse aus dem Web). Kannst Du das auch?

Auch hier sieht es i.W. so aus, dass die Daten für den Bericht jedes mal wieder neu aus dem Quellsystem geladen werden.

Du musst die Daten nur neu laden, wenn Du neue/aktualisierte Daten haben willst, ansonsten nicht.

Kann ein Bericht Daten aus unterschiedlichen Quellen verknüpfen?

Es handelt sich hier um eine ganz normale ETL-Umgebung, wie bei einem "echten BI-System" :-) Man lädt die Daten aus unterschiedlichen Systemen rein, kann diese Daten entsprechend transformieren (z.B. das Jahr aus einem Datumsfeld extrahieren und in eine neue Spalte einfügen), und stellt schließlich über das "Beziehungsfenster" die entsprechenden Verknüpfungen zwischen den geladenen Daten her, egal aus welcher Datenquelle.

Beispiel: Ich habe den Umsatz auf der AS/400 und die Umsatzplanung in Excel. Kann ich nun einen Vergleich zwischen diesen Daten in einem Bericht darstellen?

Kein Problem, solange die Daten via ETL hochgeladen sind.

Wie sieht es mit der Drilldown-Funktion aus?
Findet die innerhalb des Berichts statt oder muss ich hier Sub-Berichte erstellen?

Ich kann mir z.B. bei einem Säulendiagramm zu jeder Säule die dahinterliegenden Datensätze anzeigen lassen, falls Du das meinst.

Kann ich das Ganze im Batch auf einem Server machen und die Berichtsausgabe per Mail versenden?

Wozu per Mail versenden? Die betreffenden Leute müssen nur das Programm installiert haben und können sich dann jederzeit ihre relevanten Daten selbst anschauen und damit "spielen".

Wie sieht es bei Deinem Tool mit Slice + Dice aus? Kann man z.B. in einem Säulendiagramm mehrere Spalten markieren und diese dann gezielt auswerten?

Gibt es Map-Auswertungen (z.B. Umsatzverteilung auf einer Landkarte)?

Viele Grüße,
KM

[andreaspr@aon.at]

Es ist einfach nicht im Sinne eines professionellen Forums wenn Aussagen oder Abwertungen über ein Produkt oder was auch immer gemacht wird ohne dieses überhaupt richtig zu kennen.

Aber ich weiß ja, es gibt keine perfekte und schon gar nicht nur eine Lösung sonst käme man ja auch mit einer einzigen Programmiersprache (und überhaupt nur eine Sprache) aus.

Dem schließe ich mich an.

[Fuerchau]

Wenn ich mir das so ansehe, muss ich mir schon über Kosten Gedanken machen:
https://powerbi.microsoft.com/de-de/pricing/

Mit der Freeversion kann jeder User alleine für sich hinwurschteln.
Wenn man gemeinsame Daten/Berichte in Abteilungen benötigt ist schon die Proversion erforderlich.

Was mich am meisten stört sind die Beschränkungen:
10GB je User oder Gruppe
1.000.000 Zeilen je Stunde => was ist damit eigentlich gemeint?
max. 8 Updates täglich => das ist schon nicht unerheblich, oder was soll ich darunter verstehen?

[KM]

Mit der Freeversion kann jeder User alleine für sich hinwurschteln.
Wenn man gemeinsame Daten/Berichte in Abteilungen benötigt ist schon die Proversion erforderlich.

Nein, erforderlich ist die Pro-Version nicht. Du kannst ja mit "Power BI Desktop" die Auswertung erstellen und im normalen Dateisystem als .pbix speichern und mit entsprechenden Berechtigungen versehen.

Was mich am meisten stört sind die Beschränkungen:
10GB je User oder Gruppe
1.000.000 Zeilen je Stunde => was ist damit eigentlich gemeint?
max. 8 Updates täglich => das ist schon nicht unerheblich, oder was soll ich darunter verstehen?

Das mit dem Cloud-Dienst habe ich mir noch nicht weiter angeschaut. Und auf den ersten Blick habe ich es auch nicht verstanden. Wir würden eh hauptsächlich mit der Desktop-Variante arbeiten.

PS: Wenn ich richtig gesehen habe, ist "Microsoft Power BI" sogar ein Vortrag auf der Common im Juni. Ich bin aber leider nicht dort.

[camouflage]

Als die Meisten noch unter BI eine sexuelle Neigung vermuteten, habe ich die ersten Datawarehouses entworfen und implementiert. Dabei hat sich herausgestellt, dass - ich geb es ungerne zu - der MS SQL Server, inkl. SSAS, das geeignetste Vehikel war, um etwas Gescheites anzubieten. Mit ProClarity als Frontend war auch der geeignete Client schnell gefunden um kostengünstig ein BI-System zu realisieren.

Allerdings trat irgendwann MS auf den Plan und aus war die Herrlichkeit. ProClarity wurde nach einer Weile stillschweigend versenkt und andere Kurzzeit-Darsteller seitens MS traten auf den Plan. Nun PowerBI. Im Prinzip ein modernere Version des ProClarity Konzepts. Lustigerweise sitzt da auch noch Pyramid im Boot, immerhin mit einigen ProClarity Entwicklern im Staff.

Mit PowerBI rebootet MS sein BI Programm und das auf eine ziemlich agressive Art und Weise. Persönlich find ich's toll und wenn noch locale Cubes damit verarbeitet werden können, bin ich schon wieder ziemlich happy.

N.B. BI muss jetzt wirklich nicht zwingend auf der i stattfinden.

[Fuerchau]

Ich habe mir das Produkt mal angesehen, also unter BI stelle ich mir schon was anderes vor.
Außerdem sind die Limits (und das hat mit Cloud nichts zu tun) nun doch nicht zu verachten.
Es bleibt bei 1GB. Eine Exceldatei als Import darf 250MB nicht überschreiten.
Und ehrlich, die Oberfläche ist einem Enduser ja wirklich nicht zuzumuten.
Da könnte ich ja fast MS-Access nehmen und dem User sagen, bau dir deine Berichte doch selber.
Wer mit den Beschränkungen leben kann, dem sei es ja gegönnt.
Mit Millionen von Sätzen kann das Produkt nun auch nicht umgehen. Man muss da schon vorher die Daten eindampfen (aggregieren). Will ich andere Aggregate, muss ich die Daten neu importieren.
Usw., usf.
Ich denke nicht, dass Microsoft zu seinen (z.T. sehr teuren) Analytics-Produkten nun vergleichbare Produkte kostenlos ohne Einschränkungen abgibt.

[BenderD]

... ist wohl in erster Linie eine Frage des Mengenvolumens und der Anforderungen, die MQTs sind auch nix für größeres Mengenvolumen, da wird immer alles platt gemacht und neu gezogen und staffeln darf man die auch nicht (MQT auf MQT). Mit den Functions ist das Problem nicht internal oder user defined, sondern deterministic oder nicht. Beim Optimize werden dann deterministic functions gecached - weiter rein geht das nicht, weil der Optimizer nicht sieht, was drin passiert (weshalb ich auch von stored procedures mit Rückgabe RsultSet eher abrate).

D*B

[Fuerchau]

Bzgl. der MQT ist ja nichts mehr hinzuzufügen.
Allerdings habe ich noch einige Anmerkungen zu Power-BI von Microsoft.
Sich in der Dokumentation zurecht zu finden ist ja doch ganz schön mühsam, aber auf die Restriktionen stößt man schnell.
Mit der Cloud haben die Restriktionen wirklich nichts zu tun.
Max. 1GB als Dataset, max. 250MB beim Import eines Excel.
Das klingt recht viel, wenn man allerdings mehrere Tabellen (und das braucht man ja durchaus) für ein Datenmodell importieren muss, ist das u.U. nicht so viel.

Es ist sicherlich von Vorteil, dass die Daten vom Bericht getrennt werden, d.h., es gibt ein Dataset und die Power-BI-Datei, in der allerdings das Dataset integriert wird, also eine Trennung so gar nicht erfolgt.
Möchte man das nicht, so sind doch wieder zusätzliche kostenpflichtige Module, auf denen Power-BI nähmlich aufsetzt, erforderlich.
Dazu gehört z.B. Power-BI-Rest-API, mit dem man seine Daten automatisch aktualisieren kann.
In der Free-Version allerdings nur 1x täglich mit 10.000 Zeilen je Stunde (was immer das soll).
Möchte man die selben Daten in unterschiedlichen Berichten nur nach unterschiedlichen Kriterien bearbeiten, so ist das Power-BI-Gateway erforderlich. Ansonten lädt und aktualisiert mas sich die Daten je Bericht, was ein nicht zu verachtender Overhead ist.
Im Bericht selber muss ich die Abfrage bearbeiten um das Ergebnis zu präsentieren.
Ich habe mir also eine Tabelle mit. ca. 2Mio Sätzen importiert. Dies dauert nun mal, ist ja nicht wenig, einige Minuten.
Dann habe ich nach einer Spalte sortiert, folgilich werden die Daten aktualisert, d.h., die 2Mio Sätze werden wieder importiert.
Gut, man kann die Aktualisierung ja abschalten und dann erst mal die Abfrage weitestgehend bauen.
Ist man fertig und aktualisiert, werden erst mal wieder die 2Mio Sätze importiert, und das dauert.
Komme ich nun zum Dashboard.
Hier ist das Bauen eines Berichtes doch sehr mühsam. Von schneller Berichtserstellung ist man da doch weit entfernt. Sicherlich kann man dann immer mal auf Basis eines vorandenen Berichtes aufbauen, aber spätestens, wenn die Datenbasis eine andere ist, fängt man immer wieder von vorne an.
Hier vermisse ich doch einige sehr einfache Funktionen.

Nun, was das Thema PDF und Mail angeht, so ist das nicht zu verachten. Es gibt genug User, die sich nicht mit der etwas komplizierten Bedienung der Oberfläche herumschlagen wollen sondern einfach nur eine schöne PDF mit ihren persönlichen Daten haben möchten.
D.h., ich baue genau einen Bericht (Dashboard) und rufe diesen automatisiert mit einem extern übergebenen Filter (z.B. je Vertreter) auf, lass die PDF erstellen und maile diesen dann.
Diese Funktion sehe ich hier nicht. Außerdem kann sich ein User das gesamte Dataset ansehen auch wenn er ggf. nicht berechtigt ist.
Die Dokumentation des Produktes ist äußerst dürftig und besteht i.W. nur aus Beispielen.
Eine genaue Erklärung der Bedienung (wie man sie von anderen Microsoft-Produkten durchaus gewohnt ist) finde ich hier überhaupt nicht. Dazu werden die Internetseiten extrem langsam aufgebaut.

Bei einem Logistiker werden verschiedene Zeiger, Listen, Kennzahlen in einem Dashboard an einem übergroßen Monitor angezeigt. Hier wird der Arbeitsvorrat sowie der Grad der Fertigstellung der 10 wichtigsten Kunden dargestellt. Alle 5 Minuten werden die Daten automatisch aus der AS/400 aktualisiert.
Dies ist ohne manuellen Eingriff mit Power-BI nicht möglich. Hierzu muss ich selber den Aktualisierungsknopf drücken.
Bei der Automatisierung des Power-BI darf ich das in der Free-Version genau 1x täglich, in der Proversion 8x Täglich.

Meine ganz persönliche Meinung (weil hier ja immer von mangelnder Analyse gesprochen wird):
Ein richtiges komfortables BI ist das nicht.
Aber wer im weitesten Sinn ja auch mit Excel-Pivot und Excel-Power-Pivot zufrieden ist kann ja durchaus so verfahren.