Es gab tiefgreifende Änderungen zu Beginn des Jahres gegenüber dem vorhergehenden Benchmark, die Benchmarkteams mussten sich erst auf diese Veränderungen einstellen. Alles in allem ein spannendes Jahr.

Nachdem im Jahr 2009 rund 40 Ergebnisse veröffentlicht wurden, ist es also Zeit für ein kleines Resümee. Was fällt also so auf?

• Eine wirkliche Aussage, wieviel mehr “Last” der neue Benchmark bedeutet, oder wie der “Umrechnungsfaktor ist”, ist immer noch kaum möglich. Es gibt sehr viele Benchmarks mit Intel Xeon und AMD Opteron, aber außer ein paar SPARC- und einem einzelnen Power-Ergebnis ist es recht ruhig um die RISC-Architekturen. Also weiter die Vermutung Irgendwo zwischen 25 und 35% wird er wohl liegen.
• Vor allem drei Änderung, und zwar der Unicode-Zwang, das neue Hauptbuch und die erweiterte Kreditoren-Prüfung, sorgen für weitere Prozessschritte. Diese Änderungen sorgen für eine reale Mehrlast auf den Prozessoren der Systeme. Mehr Speicher bringt dabei nicht unbedingt was, die Rekorde auf 48GB zeigen.
• Eine Änderung sorgt für lustige Warteschlangen-Effekte: Durch die Verkürzung der Antwortzeit von zwei auf eine Sekunde verkürzt sich die Wartezeit, die ein Auftrag im System verbringen darf. Folglich verkürzen sich vor allem die Warteschlangen, und hier schlägt dann die Warteschlangentheorie zu. Je mehr simultane Verarbeitungen möglich sind, desto eher kommen erstaunlich niedrige SAPS-Werte heraus. Kann man mit einem Warteschlangensimulator mal nachspielen.

Okay, das waren sehr generelle Auffälligkeiten. Nun ein paar Anmerkungen zu einigen Resultaten (die ich hier noch nicht diskutiert habe).

Schaut man auf das Feld der Benchmarker, fällt einer nicht auf: IBM. Ich habe mit unseren Benchmarkern mal diskutiert, warum IBM sich im 2-tier-Benchmark so bedeckt hält, aber statt dessen beispielsweise recht viele BI-XML-Benchmarks machen. Das erschwert den Vergleich – die Lasten sind recht unterschiedlich, an ein umrechnen ist nicht zu denken. Warum macht IBM nicht den “Standard-Benchmark” und statt dessen diesen Exoten? Ich vermute mal, es liegt an ihrem Hang zum Paritionieren: Im SD-Benchmark sind Datenbank und Applikationsserver nicht voneinander getrennt. Doch wenn man trennen will, beispielsweise mit LPARs, weil man aus irgendeinem Grund nicht gut über die gesamte Maschine skaliert oder mehr Kontrolle über die Aufteilung der Ressourcen braucht, um gute Resultate zu erziehlen, dann muss man das seit diesem Jahr als einen 3-tier-Benchmark ausweisen. IBM, bekommt ihr die vielen SAPS eine p595 etwa nicht “am Stück” auf die Straße?

Als zweites fällt die extreme Dominanz eines einzelnen Prozessors auf: Der Intel Xeon 5570, aka. Nehalem 2,93GHz, ist praktisch in jedem zweiten SD-Benchmark vertreten. Angeblich sind die Maschinen sehr sehr ähnlich, Resultate können fast immer auf die Software zurückgeführt werden. Im Dezember wurde dieser Glaube ein wenig erschüttert. Doch fangen wir langsam an.

Zunächst der ceteris-paribus-Beweis, dass Solaris mehr aus der Hardware rausholt als Windows:

• Zertifikat 2009048: Sun Fire X4270, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Windows 2008 Server & MS SQL-Server 2008: 3.416 User, 18.730 SAPS.
• Zertifikat 2009033: Sun Fire X4270, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Solaris 10 und Oracle 10g: 3.800 User, 21.000 SAPS.

Daraus lesen wir zunächst mal ab, dass Solaris/Oracle 2270 SAPS mehr aus gleicher 2-Sockel-Hardware herausholt (etwa 12%). Bei größeren Systemen steigt dieser Vorsprung auf 21%.

Der Windows-Benchmark von Sun kam – wie man an der recht hohen Zertifikatsnummer sehen kann – recht spät. Es war, so meine Kollegen aus dem Benchmarking, zunächst mal ein Zertifizierungsbenchmark.

Nur ein Zertifizierungs-Benchmark? Das ausstattungsmäßige Pendant zur Sun Fire X4270 ist die HP DL380 G6. Und die hat auch einen Windows-Benchmark:

• Zertifikat 2009004: HP ProLiant DL380 G6, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory, Windows 2008 Server & MS SQL-Server 2008: 3.300 User, 18.030 SAPS.

Also hat die X4270 mehr Windows-Power, 700 SAPS mehr sind immerhin  3,9%. Schaut man sich die Windows-Benchmarks anderer Hersteller an, sieht es immer ähnlich aus. Cisco erreicht stolze  3.200 User (Glückwunsch zum ersten Benchmark-Ergebnis!), Hitachi bietet 80 weniger, … lassen wir das.

Gut, HP kann auch mehr als 3300 SD-User. Sie haben ihr 2-Sockel-Blade antreten lassen:

• Zertifikat 2009031: HP ProLiant BL460c G6, 2 processors / 8 cores / 16 threads, Intel Xeon Processor X5570, 2.93 GHz, 64 KB L1 cache and 256 KB L2 cache per core, 8 MB L3 cache per processor, 48 GB main memory,Windows 2008 Server & MS SQL-Server 2008: 3.415 User, 18.670 SAPS

Tja, immer noch einen User Vorsprung für Sun. Lustig, Sun hat den schnellsten Windows-2-Wege-2tier-SD-Benchmark des Jahres 2009!

Was kann man nun aus diesen Benchmarks ableiten?

1. Der Solaris-Vorsprung beweist sich auf ein Neues. Bei identischer Hardware bringt Solaris ein mehr an Leistung, das beachtlich ist.
2. Will man unbedingt Windows nutzen, bietet der Sun-Server die meiste Performance (wenn auch nur sehr knapp).

Ein paar weitere Erkenntnisse lassen sich aus den Ergebnissen auch ableiten:

• HP und Sun beherrschen aktuell den Benchmark. Im Jahr 2009 wurden 41 Resultate im 2tier SD-Benchmark  veröffentlicht, die meisten davon waren von HP (17) und Sun (9). Es ist davon auszugehen, dass diese beiden Benchmark-Teams den Benchmark gut beherrschen, was gerade der hauchdünne Vorsprung von Sun im Windows-Benchmark beweist.
• Dennoch sind die anderen Nehalem-Benchmarks, insbesondere die unter 3300 SD-Usern liegen, kein Beweis für die Unfähigkeit der anderen Firmen. Sie beweisen nur, dass diese Firmen anscheinend weniger Arbeit in ihre SAP-Benchmarks stecken wollen. Sie fahren “Zertifizierungs-Benchmarks”, und gut ist.
• HP und Sun beweisen Engagement in ihren Benchmarks, HP beschränkt sich aber auf x86-Hardware (Intel und AMD) und sie beweisen nur mit Windows und Linux ihre Leistung. Auf einen Itanium-Benchmark wartet man vergebens. Okay, die aktuelle Itanium-Hardware hat schon ein paar Jahre auf dem Buckel und Gerüchten zufolge hat der neue Itanium “Tukwila” mittlerweile den Codenamen “Godot” bekommen.
• IBM – sorry Jungs – gibt ein schwaches Bild ab. Keinerlei x86-Benchmarks, weder Linux noch Windows noch Solaris. Ein einzelner SD-Benchmark, bei dem Power 6 schlechter abschneidet als der Xeon 5570. Statt dessen nur ein paar BI-Benchmarks, bei denen man sich nur mit sich selbst messen muss.

Mergers: Commission clears Oracle’s proposed acquisition of Sun Microsystems

The European Commission has approved under the EU Merger Regulation the proposed acquisition of US hardware and software vendor Sun Microsystems Inc. by Oracle Corporation, a US enterprise software company. After an in-depth examination, launched in September 2009 (see IP/09/1271 ), the Commission concluded that the transaction would not significantly impede effective competition in the European Economic Area (EEA) or any substantial part of it.

http://europa.eu/rapid/pressReleasesAction.do?reference=IP/10/40&format=HTML&aged=0&language=EN&guiLanguage=en

Somit ist es absehbar, dass Oracle bald Sun übernimmt…

Minuszwölfkommasechs

Temperatur am 19. Dezember 2009. Laut Wetterbericht sollte es ca. 15°C wärmer sein…