Jetzt gibt es den neuen SAP-SD-2tier-Benchmark seit etwa einem Jahr. Auch wenn dieser Benchmark nicht für jeden ITler von Bedeutung ist, so ist er für meine Projekte sehr zentral. Er ist im SAP-Umfeld der Standard, und er ist zentral für Sizings und Architekturen.
Es gab tiefgreifende Änderungen zu Beginn des Jahres gegenüber dem vorhergehenden Benchmark, die Benchmarkteams mussten sich erst auf diese Veränderungen einstellen. Alles in allem ein spannendes Jahr.
Nachdem im Jahr 2009 rund 40 Ergebnisse veröffentlicht wurden, ist es also Zeit für ein kleines Resümee. Was fällt also so auf?
- Eine wirkliche Aussage, wieviel mehr „Last“ der neue Benchmark bedeutet, oder wie der „Umrechnungsfaktor ist“, ist immer noch kaum möglich. Es gibt sehr viele Benchmarks mit Intel Xeon und AMD Opteron, aber außer ein paar SPARC- und einem einzelnen Power-Ergebnis ist es recht ruhig um die RISC-Architekturen. Also weiter die Vermutung Irgendwo zwischen 25 und 35% wird er wohl liegen.
- Vor allem drei Änderung, und zwar der Unicode-Zwang, das neue Hauptbuch und die erweiterte Kreditoren-Prüfung, sorgen für weitere Prozessschritte. Diese Änderungen sorgen für eine reale Mehrlast auf den Prozessoren der Systeme. Mehr Speicher bringt dabei nicht unbedingt was, die Rekorde auf 48GB zeigen.
- Eine Änderung sorgt für lustige Warteschlangen-Effekte: Durch die Verkürzung der Antwortzeit von zwei auf eine Sekunde verkürzt sich die Wartezeit, die ein Auftrag im System verbringen darf. Folglich verkürzen sich vor allem die Warteschlangen, und hier schlägt dann die Warteschlangentheorie zu. Je mehr simultane Verarbeitungen möglich sind, desto eher kommen erstaunlich niedrige SAPS-Werte heraus. Kann man mit einem Warteschlangensimulator mal nachspielen.
Okay, das waren sehr generelle Auffälligkeiten. Nun ein paar Anmerkungen zu einigen Resultaten (die ich hier noch nicht diskutiert habe).
Schaut man auf das Feld der Benchmarker, fällt einer nicht auf: IBM. Ich habe mit unseren Benchmarkern mal diskutiert, warum IBM sich im 2-tier-Benchmark so bedeckt hält, aber statt dessen beispielsweise recht viele BI-XML-Benchmarks machen. Das erschwert den Vergleich – die Lasten sind recht unterschiedlich, an ein umrechnen ist nicht zu denken. Warum macht IBM nicht den „Standard-Benchmark“ und statt dessen diesen Exoten? Ich vermute mal, es liegt an ihrem Hang zum Paritionieren: Im SD-Benchmark sind Datenbank und Applikationsserver nicht voneinander getrennt. Doch wenn man trennen will, beispielsweise mit LPARs, weil man aus irgendeinem Grund nicht gut über die gesamte Maschine skaliert oder mehr Kontrolle über die Aufteilung der Ressourcen braucht, um gute Resultate zu erziehlen, dann muss man das seit diesem Jahr als einen 3-tier-Benchmark ausweisen. IBM, bekommt ihr die vielen SAPS eine p595 etwa nicht „am Stück“ auf die Straße?
Als zweites fällt die extreme Dominanz eines einzelnen Prozessors auf: Der Intel Xeon 5570, aka. Nehalem 2,93GHz, ist praktisch in jedem zweiten SD-Benchmark vertreten. Angeblich sind die Maschinen sehr sehr ähnlich, Resultate können fast immer auf die Software zurückgeführt werden. Im Dezember wurde dieser Glaube ein wenig erschüttert. Doch fangen wir langsam an.
Zunächst der ceteris-paribus-Beweis, dass Solaris mehr aus der Hardware rausholt als Windows:
- Zertifikat 2009048: Sun Fire X4270, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Windows 2008 Server & MS SQL-Server 2008: 3.416 User, 18.730 SAPS.
- Zertifikat 2009033: Sun Fire X4270, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Solaris 10 und Oracle 10g: 3.800 User, 21.000 SAPS.
Daraus lesen wir zunächst mal ab, dass Solaris/Oracle 2270 SAPS mehr aus gleicher 2-Sockel-Hardware herausholt (etwa 12%). Bei größeren Systemen steigt dieser Vorsprung auf 21%.
Der Windows-Benchmark von Sun kam – wie man an der recht hohen Zertifikatsnummer sehen kann – recht spät. Es war, so meine Kollegen aus dem Benchmarking, zunächst mal ein Zertifizierungsbenchmark.
Nur ein Zertifizierungs-Benchmark? Das ausstattungsmäßige Pendant zur Sun Fire X4270 ist die HP DL380 G6. Und die hat auch einen Windows-Benchmark:
- Zertifikat 2009004: HP ProLiant DL380 G6, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Windows 2008 Server & MS SQL-Server 2008: 3.300 User, 18.030 SAPS.
Also hat die X4270 mehr Windows-Power, 700 SAPS mehr sind immerhin 3,9%. Schaut man sich die Windows-Benchmarks anderer Hersteller an, sieht es immer ähnlich aus. Cisco erreicht stolze 3.200 User (Glückwunsch zum ersten Benchmark-Ergebnis!), Hitachi bietet 80 weniger, … lassen wir das.
Gut, HP kann auch mehr als 3300 SD-User. Sie haben ihr 2-Sockel-Blade antreten lassen:
- Zertifikat 2009031: HP ProLiant BL460c G6, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory,Windows 2008 Server & MS SQL-Server 2008: 3.415 User, 18.670 SAPS
Tja, immer noch einen User Vorsprung für Sun. Lustig, Sun hat den schnellsten Windows-2-Wege-2tier-SD-Benchmark des Jahres 2009!
Was kann man nun aus diesen Benchmarks ableiten?
- Der Solaris-Vorsprung beweist sich auf ein Neues. Bei identischer Hardware bringt Solaris ein mehr an Leistung, das beachtlich ist.
- Will man unbedingt Windows nutzen, bietet der Sun-Server die meiste Performance (wenn auch nur sehr knapp).
Ein paar weitere Erkenntnisse lassen sich aus den Ergebnissen auch ableiten:
- HP und Sun beherrschen aktuell den Benchmark. Im Jahr 2009 wurden 41 Resultate im 2tier SD-Benchmark veröffentlicht, die meisten davon waren von HP (17) und Sun (9). Es ist davon auszugehen, dass diese beiden Benchmark-Teams den Benchmark gut beherrschen, was gerade der hauchdünne Vorsprung von Sun im Windows-Benchmark beweist.
- Dennoch sind die anderen Nehalem-Benchmarks, insbesondere die unter 3300 SD-Usern liegen, kein Beweis für die Unfähigkeit der anderen Firmen. Sie beweisen nur, dass diese Firmen anscheinend weniger Arbeit in ihre SAP-Benchmarks stecken wollen. Sie fahren „Zertifizierungs-Benchmarks“, und gut ist.
- HP und Sun beweisen Engagement in ihren Benchmarks, HP beschränkt sich aber auf x86-Hardware (Intel und AMD) und sie beweisen nur mit Windows und Linux ihre Leistung. Auf einen Itanium-Benchmark wartet man vergebens. Okay, die aktuelle Itanium-Hardware hat schon ein paar Jahre auf dem Buckel und Gerüchten zufolge hat der neue Itanium „Tukwila“ mittlerweile den Codenamen „Godot“ bekommen.
- IBM – sorry Jungs – gibt ein schwaches Bild ab. Keinerlei x86-Benchmarks, weder Linux noch Windows noch Solaris. Ein einzelner SD-Benchmark, bei dem Power 6 schlechter abschneidet als der Xeon 5570. Statt dessen nur ein paar BI-Benchmarks, bei denen man sich nur mit sich selbst messen muss.
Schön für Sun, dass es gute x64-Hardware baut und Solaris richtig Leistung aus den Kisten zu kitzeln vermag – damit gewinnt man Benchmarks.
Aus Endkundensicht spielen ein paar Prozentpunkte Leistung aber nicht einzige Rolle beim Rechnerkauf.
Sun hat lange die Intel/AMD-Welt für weniger wichtig erachtet. Dieses Manko noch lastet immer an Solaris. Sei es, daß die eine oder andere Infrastruktursoftware unter Solaris x86 nicht unterstützt wird oder eben Versionen dafür mit deutlicher Verzögerung erscheinen – Suns spätes Engagement hat andere Firmen zögern lassen. Viele Kunden leben nun mal in einer heterogenen Welt wo es auch darauf ankommt wie gut ein System in die IT-Landschaft integriert werden kann.
Im Highend Sparc-Lager stünde man ohne Sparc64-Technik von Fujitsu ziemlich nackig da, die Rock Roadmap hatte mich zuletzt vor dem Abgang an die Roadmap des Itanium erinnert.
Dazu in den letzten Jahren nur rote Zahlen und ständige Reduzierung an Mitarbeitern.
Sun hat oft technologisch überzeugt, das reicht aber alleine nicht aus…
Ich hoffe für Sun, dass nach abgeschlossenem Deal mit Oracle die Zukunft wieder besser aussieht. Vielleicht hat Sun dann beim nächsten Deal in unserem Haus wieder mehr Glück…
Hallo Otmanix,
freut mich, mal wieder von Dir zu hören!
Mit Deiner Aussage, es läge nicht nur an ein paar Prozentpunkten, gebe ich Dir recht. Doch sind diese paar Punkte zum Teil halt ein Fünftel (die Acht-Sockel-Story) oder gar ein Drittel (bei Virtualisierung) – und das spielt dann häufig doch wieder eine Rolle.
Auch sehe ich das Problem nicht bei dem Stellenwert, der beim Sun-Engineering der x86-Plattform zugeflossen ist – auch ein Solaris 7 war auf x86er verfügbar (genau genommen alles seit Solaris 2.1).
Meiner Ansicht nach war es die Wahrnehmung seitens des Marktes – und hier hat Sun ganz klar durch schlechtes Marketing geglänzt. Ich frage mich immer wieder, was da eigentlich passiert ist (oder was da nicht passiert ist): Es gibt heute noch Kunden, die nicht wissen, dass Sun auch x86 hat. Wenn man dann erzählt, seit wann die Produkte da sind, merkt man schnell, das Berkeley mit „Esse est percipi“ sehr recht hat: Es bringt nichts, ein Produkt einfach nur zu haben – man muss dies potentiellen Kunden auch auf breiter Front mitteilen.
Daraus ergaben sich immense Henne-Ei-Probleme, was sich auch in den von Dir beschriebenen Problemen niederschlug. Von daher stimmen wir doch wieder überein.
Im High-End-Lager würde ich die Kooperation mit Fujitsu nicht als ein „Sun kauft bei Fujitsu ein“ abtun – es ist eine reale Kooperation. Ja, die Maschinen sind weitestgehend baugleich, doch steckt IP von beiden Beteiligten drin.
Auf Suns Zukunft bin ich auch schon gespannt. Vielleicht weiss man heute Abend schon mehr.
Deine „Abwanderung“ zu AIX fand ich traurig, auch wenn ich die Details nicht kenne. Ich hoffe, dass Du in ein paar Jahren zum Itler mit doppeltem Migrationshintergrund wirst. Auch ich habe Aix überlebt. Und nicht jedes Aix ist schlecht: Aix en provence ist ne schöne Stadt!
Hallo Jan, die Entscheidung in userem Hause sah in etwa so aus:
Bei vergleichbarer Hardware-Leistung waren HP und IBM etwa 20% billiger, zudem wurden Goodies wie Gratis-Schulungen und Dienstleistungs-Tage draufgelegt. Ein weiterer Punkt war die Situation bei Sun (rote Zahlen), auch die Zukunft der Hardware/OS-Sparte, die als ungewiß eingestuft wurde (das war zum Zeitpunkt des Oracle-Angebots).
Aus technischer Sicht war unsere Anforderung recht einfach – UNIX-basierende Systeme mit Vitualisierungstechnik, Möglichkeit zum manuellen Schwenk von VMs auf andere Hardware, SAP und Oracle zertifiziert, Anschluss an Cisco SAN und EMC Storage, EMC Replication Manager/Timefinder zertifiziert. Für diese Anforderungen war jeder der Kandidaten geeignet, von persönlichen Vorlieben einmal abgesehen.
Letztendlich sollte man sich die Sichtweise des Kostenstellenverantwortlichen zu Gemüte führen. Dieser möchte in unserem Fall Unternehmenssoftware auf Basis SAP/Oracle im Rahmen der technischen Anforderungen möglichst stabil und kostengünstig betreiben.
In ein paar Jahren wird sicherlich wieder eine Austauschaktion stattfinden, vielleicht kann Sun/Oracle dann ein unwiderstehliches Bundle schnüren 😉
Hat mir sehr gut gefallen die nette Zusammenfassung der SAP SD Benchmarks mit den unterschiedlichen OS der Maschinen.
Sind hier noch auf den alten Itaniums unterwegs (Codename „Itanic“ :-), die im Vergleich mit allen anderen CPUs nicht gut aussehen. Da tut HP ganz recht sich zurück zu halten. Stellen wir uns eine Nehalem X5570, die pro CPU so bummelig 9.000-10.000 SAPS macht neben eine Superdome, die pro CPU bei vielleicht mal 2.000-3.000 SAPS dümpelt, dann würde mir ganz Angst und Bange werden… Und vom Preis her liegen da auch Welten dazwischen.
Bin von den Nehalem Maschinen auf jeden Fall begeistert. Die haben für einen echten SAPS Nachschub gesorgt auf kleinem Kostenlevel. Da braucht an Applikationsserverleitung nicht gespart werden.
Hallo Jes,
sorry für die späte Antwort – viel um die Ohren.
In der Tat sind diese Nehalems gewaltige SAPS-Bomben. Ihre riesigen Werte erreichen sie letztlich vor allem durch die Parallelität, die sie haben (4 cores mit je 2 threads, also 8 quasi-parallele Prozesse). Dass davon ein SAP-SD-Benchmark profitiert, ist klar. Und da viele SAP-Systeme eine ähnliche Parallelität aufweisen wie der Benchmark, hat auch der Nutzer was davon.
Dennoch glaube ich, dass auch die High-End-Prozessoren Käufer finden werden (wenngleich es in dem Segment einen harten Konkurrenzkampf zwischen Power, SPARC und Itanium gibt). Hier zählt halt weniger die pure Leistung sondern mehr das Gesamtpaket. Was bringen mir 20.000 SAPS am Stück, wenn die Kiste beim ersten defekten DIMM-Modul oder bei einem Defekt im Chipsatz/in der CPU aussteigt? Diese Anforderung erfüllen erst mal nur die High-End-Prozessoren, und da haben sie ihre Stärken.