Die Suche nach dem heiligen Gral

Die SPOX-Themenwoche "Analytics" macht sich zum Abschluss auf die Suche nach dem heiligen Gral der Advanced Stats: einer Metrik, die in einer einzigen Zahl den Wert eines NBA-Spielers messen kann. Player Efficiency Rating (PER), Regularized Adjusted Plus-Minus (RAPM), Box Plus-Minus (BPM) und Real Plus-Minus (RPM) - Was sagen all diese Zahlen aus, und welche Schwächen haben sie?

PER: Das soll Effizienz sein?

In den Worten seines Schöpfers John Hollinger ist das Player Efficiency Rating (PER) eine Statistik, die "alle positiven Beiträge eines Spielers zusammenfasst, die negativen abzieht und dadurch eine Bewertung seiner Leistung pro Minute zulässt." Seit seiner Einführung vor über zehn Jahren ist das PER die wohl am häufigsten zitierte Einzahlmetrik in der Berichterstattung über die NBA.

Es kombiniert die Boxscore-Zahlen eines Spielers - Punkte, Rebounds, Assists Blocks, Steals, Fehlwürfe, Turnover und Fouls - mithilfe verschiedener Gewichtungen zu einem einzigen Wert. Dieser wird auch für gespielte Minuten und Pace normiert, um die Leistungen aller aktuellen und früheren Spieler vergleichbar zu machen.

Der PER-Wert eines komplett "durchschnittlichen" Spielers liegt in jeder Saison bei 15. Die "besten" Spieler der Liga erreichen Werte von über 25, ein PER von unter 10 wird als katastrophal angesehen. Das höchste PER der NBA-Geschichte erreichte Wilt "the Stilt" Chamberlain (1962/63) gefolgt von LeBron James (2008/09) und Michael Jordan (1987/88), in der vergangenen Saison führte MVP Russell Westbrook die Liga mit einem Wert von 30,6 an.

Den Vergleich mit dem Eye Test besteht John Hollingers Metrik also auf den ersten Blick, die größten Stars belegen Jahr für Jahr die Spitzenplätze seines Rankings. Dennoch leidet das Player Efficiency Rating unter einigen offensichtlichen Schwächen. Irreführend ist bereits der Name, da anstelle der Effizienz viel eher die Produktivität von Spielern gemessen wird. Kurz gesagt: Wer den Boxscore füllt, wird belohnt.

getty

Draymond Green vs. Enes Kanter: Offense bevorzugt

Dies wirkt sich vor allem auf dominante Scorer aus. Deren Wert wird weniger durch besonders gute Wurfquoten, sondern durch möglichst viele Wurfversuche in die Höhe getrieben, da erfolgreiche Würfe deutlich stärker gewichtet werden als Fehlversuche. Entsprechend finden sich unter den Top 25 der vergangenen Saison mit JaVale McGee, Enes Kanter und Rudy Gobert nur drei Spieler mit einer Usage Percentage von weniger als 25 Prozent.

Der Name Enes Kanter wirft auch ein Schlaglicht auf die zweite Schwachstelle des Player Efficiency Rating. Es legt ein höheres Gewicht auf die Offensive, während gute Verteidiger häufig unterbewertet werden. Während der Big Man der Oklahoma City Thunder 2016/17 mit einem PER von 23,7 ligaweit auf Platz 19 landete, teilte sich Defensive Player of the Year Draymond Green (PER: 16,5) Platz 96 mit Steven Adams.

Der Grund dafür liegt auf der Hand: Die defensive Leistung wird im Boxscore ausschließlich durch Rebounds, Blocks und Steals abgebildet. Während Spieler, die wie Hassan Whiteside (22,7), Andre Drummond (20,9) oder Kenneth Faried (20,4) in diesen Kategorien auftrumpfen, trotz ihres begrenzten offensiven Talents deutlich überdurchschnittliche PER-Werte aufweisen, werden die vielen kleinen (und größeren) Dinge, die Green zu einem der besten Verteidiger und Spieler der NBA machen, ganz einfach übersehen.

Zudem wird Hollinger vorgeworfen, bei der Entwicklung willkürlich "an den Faktoren geschraubt" zu haben, "bis eben Michael Jordan auf Platz eins war", so Jeremias Engelmann im SPOX-Interview. Dennoch war der Versuch, anhand einer einzelnen Metrik Spieler verschiedener Teams und Epochen vergleichbar zu machen, ein wichtiger Schritt für die Evolution der Analytics. Denn die Suche nach einer besseren Möglichkeit, Spieler und deren Beitrag zum Teamerfolg zu bewerten, beschäftigt inzwischen zahllose (meist) kluge Köpfe an Universitäten, in einschlägigen Foren und in den Front Offices vieler NBA-Teams.

* Spieler mit mind. 1000 gespielten Minuten

Die genaue Formel zur Berechnung des PER findet sich auf basketball-reference.com.

Plus/Minus und RAPM: Sind Boxscore-Stats überflüssig?

Das zentrale Problem bei dieser Suche: Wie misst man diejenigen Leistungen, die nicht im Boxscore auftauchen? Screens, die dem Mitspieler seinen Gegner vom Hals halten; die Angst der Defense vor einem starken Schützen, selbst wenn dieser letztlich keinen Wurf nimmt; das Ausboxen unter dem Korb, um einem Teamkollegen das Einsammeln des Rebounds zu ermöglichen. Kein Basketball-Fan würde behaupten, diese Dinge hätten keinen Einfluss auf den Erfolg eines Teams.

Der Gedanke liegt also Nahe, eben diesen Erfolg zu messen - und welche Spieler daran einen Anteil hatten. Einfache Plus/Minus-Werte (die inzwischen sogar in die Boxscores auf nba.com aufgenommen wurden) tun zunächst genau das. Sie zählen, wie viele Punkte Vorsprung beziehungsweise Rückstand eine Mannschaft herausspielt, während ein bestimmter Spieler auf dem Platz steht. Wird beispielsweise Stephen Curry nach wenigen Minuten beim Stand von 10:5 erstmals ausgewechselt, so verlässt er den Platz mit einem Plus/Minus von +5.

Allerdings ist völlig unklar, welchen Anteil daran Curry selbst hatte und wie groß der Einfluss seiner vier Mit- und fünf Gegenspieler war. Diesen Einfluss versuchen aufwändigere Plus/Minus-Modelle zu schätzen, indem sie alle der mehr als 60.000 unterschiedlichen Lineup-Konstellationen in die Berechnung einbeziehen, in denen die über 400 NBA-Spieler in jährlich 1230 Spielen mit- und gegeneinander antreten. Die Variation der Mit- und Gegenspieler ermöglicht es, den individuellen Wert eines Spielers von denen seiner Teamkollegen zu trennen.

Trotz dieser enormen Datenmenge bleiben die beiden größten Probleme dieses sogenannten Adjusted Plus-Minus (APM) jedoch bestehen. Zunächst hängt die Verlässlichkeit der Ergebnisse von der Stichprobengröße, also der Anzahl der gespielten Minuten beziehungsweise Ballbesitze (Possessions) und unterschiedlichen Lineups ab. Als Faustregel gilt, dass die Ergebnisse erst für Spieler einigermaßen verlässlich werden, die im Laufe der Saison mindestens 1.000 Minuten auf dem Feld standen.

Golden State Warriors: Das "Death Lineup" hält zusammen

Ein extremes Beispiel: Würde Curry nach seiner Auswechslung beim Stand von 10:5 (nach zehn gespielten Possessions) keine weitere Minute mehr spielen, müsste man davon ausgehen, dass die Starter der Warriors mit Curry das gegnerische Team in einem Spiel mit 100 Possessions mit 100:50 besiegen würden. Da dieses Ergebnis in Currys Abwesenheit wohl niemals zustande käme, wäre der Point Guard - statistisch gesehen - für einen Großteil der hypothetischen 50-Punkte-Führung alleine verantwortlich.

Solche Verzerrungen aufgrund geringer Spielzeit versucht das sogenannte Regularized Adjusted Plus-Minus (RAPM)zu bekämpfen, in dem es die Werte von wenig eingesetzten Spielern an den Ligadurchschnitt angleicht. Dies verhindert zwar absurde Ausreißer, kann das Ergebnis in manchen Fällen aber auch verfälschen. So war Rookie Joel Embiid von den Philadelphia 76ers in seiner begrenzten Spielzeit wohl einer der besten Verteidiger der NBA.

Interpretation: Ein komplett durchschnittlicher Spieler erhält den Wert 0. Er macht ein Team weder besser noch schlechter. Wird er jedoch durch Stephen Curry ersetzt, so verbessert sich die Punktedifferenz des Teams gegen einen durchschnittlichen Gegner um 7,57 Punkte pro 100 Ballbesitze.

Kein Anderer blockte so viele Würfe wie der junge Big Man, kein Spieler hatte den gleichen Einfluss auf die Trefferquote seiner Gegner am Ring. Zudem war die Defense der Sixers mit Embiid eine der besten der gesamten Liga und ließ ganze 9 Punkte pro 100 Ballbesitzen weniger zu als ohne ihn. Aufgrund seiner geringen Spielzeit "vertraut" RAPM diesen Zahlen allerdings nicht vollständig und korrigiert das Ergebnis, sodass Embiid letztlich nicht einmal die Top 30 der der besten Defensivwerte 2016/17 knackte.

Das zweite große Problem entsteht durch Spieler, die den Großteil ihrer Minuten gemeinsam auf dem Platz stehen und deren Einfluss auf das Team dadurch kaum zu unterscheiden ist. Die Auswirkungen verdeutlicht das berühmt-berüchtigte "Death Lineup" des amtierenden Champions aus Golden State.

Curry (Platz 1), Green (3), Kevin Durant (11) und Klay Thompson (14) finden sich allesamt unter den laut RAPM "besten" 15 Spielern der vergangenen Saison, Andre Iguodala folgt immerhin auf Rang 27. Natürlich sind alle fünf großartige Spieler, funktionieren aber gerade gemeinsam besonders gut und profitieren teils auch von ihren Mitspielern.

BPM: Back to the Box?

So endet der Versuch, "alle" Leistungen eines Spielers völlig unabhängig von seinen Boxscore-Statistiken zu messen, in einem neuen Problem, dessen Lösung aus Mangel an Alternativen zurück in den Boxscore führen muss. Das sogenannte Box Plus-Minus (BPM) nutzt weitestgehend die gleichen Statistiken wie das PER, berechnet die Gewichtung der einzelnen Elemente - Punkte, Rebounds, Steals etc. - jedoch mithilfe historischer RAPM-Werte.

Haben Spieler, die viele Steals holen, einen besonders positiven Einfluss auf die Anzahl der Punkte, die ihr Team zulässt? Besteht ein starker oder geringer Zusammenhang zwischen eingesammelten Rebounds und dem defensiven Plus/Minus? Anhand solcher Fragen versuchten die Schöpfer des BPM, den unterschiedlichen "Wert" dieser Aktionen möglichst objektiv zu bewerten.

Das Ergebnis ist eine Metrik, die - ebenso wie RAPM - den Beitrag eines Spielers zum Teamerfolg auf 100 Ballbesitze normiert angibt. Grob gesagt entspricht der Wert 0 einem durchschnittlichen Spieler. Solche Durschnittsspieler waren 2016/17 beispielsweise Andre Roberson von den Oklahoma City Thunder und Julius Randle von den Los Angeles Lakers.

Wenig überraschend legte Russell Westbrook im Zuge seiner unglaublichen Triple-Double-Saison das mit Abstand höchste Box Plus-Minus aller Zeiten auf - schließlich basiert die Statistik letztlich doch vollständig auf dem Boxscore, den der MVP wie kaum ein Spieler zuvor füllte.

Eine detaillierte Beschreibung des BPM liefert erneut basketball-reference.com.

RPM: Das "echte" Plus/Minus?

Das sogenannte Real Plus-Minus (RPM) versucht nun, das "Beste beider Welten" - die Boxscore-Statistik BPM und die Plus/Minus-Metrik RAPM - zu einer noch aussagekräftigeren Zahl zu vereinen. Der Name, den ESPN der von Engelmann entwickelten Formel gab, erscheint zwar etwas überheblich. Die Idee dahinter klingt jedoch einleuchtend: Je mehr Informationen man sammelt und nutzt, desto genauer lässt sich die Realität abbilden.

In den an das Box Plus-Minus angelehnten Boxscore-Teil fließen auch Faktoren wie die Größe, das Gewicht und das Alter eines Spielers sowie dessen Leistungsniveau aus der Vorsaison ein. Zudem wird der Wert von Blocks unterschieden, je nachdem ob der Ball im Anschluß bei einem Verteidiger oder einem gegnerischen Angreifer landet. Auch Defensiv-Rebounds nach Freiwürfen werden geringer gewichtet als solche nach Fehlversuchen aus dem Feld.

Abgesehen von solchen öffentlich bekannten Details müssen sich ESPN, Engelmann und ihr RPM jedoch einen grundlegenden Vorwurf gefallen lassen. Die genaue Formel ist bisher geheim, Fans und Journalisten müssen den Ergebnissen also in gewisser Hinsicht "blind" vertrauen. Außerdem leidet die Metrik natürlich - wenn auch möglicherweise in geringerem Maße als viele andere - unter allen Problemen, die sowohl Boxscore- als auch Plus/Minus-Daten mit sich bringen.

Abhängig von äußeren Faktoren

Die Leistungen von Spielern sind abhängig vom Kontext, werden von ihren Mitspielern, ihrer Rolle im Team, dem Coaching und vielen weiteren Faktoren beeinflusst. Trotz möglichst objektiver Gewichtungen werden außerdem auch weiterhin Aktionen tendenziell unterbewertet, die selbst in detaillierteren Boxscore-Statistiken nicht beobachtet werden können. Dies wirkt sich wie bei allen hier beschriebenen Metriken insbesondere in der Defensive aus. Auf dieser Seite des Feldes sind die Ergebnisse also stets mit besonderer Vorsicht zu genießen.

Darüber hinaus sind statistische Modelle wie RPM immer anfällig für Verzerrungen. Um die angegebenen Werte der Spieler herum liegen daher sogenannte "Vertrauensbereiche", die von der Anzahl der gespielten Minuten abhängen. James Hardens Real Plus-Minus von 4,8 basiert auf einer Spielzeit von beinahe 3.000 Minuten und ist damit relativ verlässlich.

Dagegen ist der Vertrauensbereich bei Joel Embiid, der in seinem Rookie-Jahr in lediglich 786 Minuten ein RPM von 1,7 auflegte, deutlich größer. So lässt sich grob schätzen, dass sein tatsächlicher Einfluss auf die Punktedifferenz der 76ers mit großer Wahrscheinlichkeit im Bereich zwischen 0 und 3 Punkten pro 100 Ballbesitzen lag. Gerade bei der Bewertung von Spielern, deren Werte nahe beieinander liegen, sollte man also mit definitiven Aussagen und Rankings vorsichtig sein.

Trotz dieser gebotenen Vorsicht liefern Einzahlmetriken wie RPM, BPM und RAPM wertvolle Informationen und Diskussionsgrundlagen für NBA-Fans, Medien, Scouts und Manager. Sie können in Verbindung mit anderen Statistiken den Eye Test ergänzen, bestätigen oder entkräften und auf Spieler hinweisen, deren Rolle und Bewertung man noch einmal überdenken sollte. Der heilige Gral, der endgültige Aussagen über die "besten" oder "schlechtesten" Spieler der NBA zulässt, sind sie jedoch nicht.

So endet die SPOX-Themenwoche genau da, wo sie begonnen hat: bei Warriors-GM Bob Myers und dessen Erkenntnis: "Statistiken sind wie ein Bikini. Sie zeigen viel, aber sie zeigen nicht alles."