MySPOX-User Moo und ich haben uns über die letzten Monate intensiv mit der Suche nach dem dominantesten Wide Receiver des aktuellen Jahrzehnts und der letzten Saison beschäftigt. Um die Leistungen miteinander möglichst wertfrei vergleichen zu können, sammelten wir große Menge an Daten, um dann zum Ergebnis zu kommen, dass uns keine Receiving Statistik genügt. So bauten wir uns einfach eine eigene.
Adjusted Net Yards+ per Route Run (ANY+/RR)
Um eine möglichst exakte Receiver-Statistik aufzustellen, ist die Frage nach der Datenbasis essentiell. In führenden Medien werden immer wieder die gleichen Messzahlen zur Evaluierung der Passempfänger benutzt: Die Gesamtzahl der gefangenen Yards und Receptions, sowie eine Yards pro Catch Zahl, die jedoch nur Aufschluss über die Tiefe der angekommenen Pässe gibt und keine qualitativen Schlüsse zulässt. So fließen Drops beispielsweise überhaupt nicht in die Statistik ein. Grundsätzlich sollte Yards per Catch bei jedem analytischen Fan aus dem Wortschatz gestrichen werden.
Wenn keine Receptions, dann vielleicht Targets als Basis?
Nun, Targets (im deutschen wohl Ziele oder Anwürfe) haben den Nachteil, dass ein Spieler der durch gutes Freilaufen einen geringen Raumgewinn von beispielsweise fünf Yards erzielt, in dieser Statisitik ein unterdurchschnittliches Play verbucht. Der Receiver hätte also einen besseren Yards/Target-Wert, wenn er sich nicht freigelaufen und so den Ball nicht gefangen hätte. Ein immenser Fehler in der Messzahl. Das Receiver-Play vor dem Wurf des Quarterbacks wird nicht in Betracht gezogen, dabei ist Route Running eine der wichtigsten (wenn nicht das wichtigste) Attribut eines dominanten Wide Receivers.
Desweiteren sind Targets subjektiv. Wer bestimmt, ob der Ball einfach nur ungenau in Richtung des Receivers flog oder es ein Throw-Away des Quarterbacks war? Im Einzelfall ist das kaum zu enscheiden.
Targets sind als Basis einer Receiver-Statistik zwar deutlich aussagekräftiger als Total Yards oder Yards per Reception, trotzdem hat Yards/Target noch erhebliche Schwächen, die wir nicht ignorieren wollen. Geht das nicht noch besser?
Ja, mit gelaufenen Passing Routes. Die Vorteile sind massiv: Die Sample Size ist groß, so gab es etwa 2017 91 WR's mit mindestens 200 gelaufenen Pass-Routen. Dadurch haben einzelne Ausreißer kaum Auswirkung und konstante Leistungen dominieren die Evaluation.
Weiterhin werden Targets nicht grundsätzlich als negatives Element angesehen. Spieler, die im Kurzpassspiel vermehrt eingesetzt werden, erleiden keine ungerechte Abwertung, da selbst ein minimaler Raumgewinn besser als eine gelaufene Route ohne gefangenen Ball bewertet wird. Und das zu Recht.
Gelaufene Routen sind die ideale Basis für unsere Statisitk. Einziger Minuspunkt ist die wirklich mühsame Beschaffung der notwendigen Zahlen.
<h3> </h3>
<h3>ANY+/RR und seine theoretische Begründung</h3>
Nachdem geklärt ist, dass wir Route Runs anstelle von Targets als Basis für unsere Statistik verwenden wollen, stellt sich die Frage, welche Werte in die Statistik eingehen sollen. Wir haben uns für Yards, 1stDowns, Touchdowns, DPIs, Drops und Fumbles entschieden. Die fertige Formel sieht folgendermaßen aus:
Die Grundlage unserer Statistik bilden also weiterhin die Receiving Yards. Darüber hinaus gibt es jedoch Boni für 1stDowns und Touchdowns. Defensive Pass Interferences werden angerechnet als wären es Catches, denn der dadurch gewonnene Raumgewinn hat auf dem Feld exakt denselben Wert. Und während der Wide Receiver hier zwar nicht seine sicheren Hände unter Beweis stellen musste, hat er die DPI aber meist durch sein Route Running erzwungen bzw. provoziert. Drops und Fumbles gehen natürlich negativ in die Statistik ein. Zunächst stellt sich die Frage: Warum fließen Interceptions, die in die Richtung des Receivers geworfen wurden, nicht in die Rechnung mit ein? Und warum werden DPIs belohnt, aber OPIs nicht bestraft?
Wir haben uns gegen Interceptions entschieden, weil es ohne Tape unmöglich zu entscheiden ist, ob die Schuld beim Fänger oder Passer liegt. Und selbst mit Tape ist es oft schwer herauszufinden, da man das Playcalling nicht kennt. So bekommt der Receiver von uns den "Benefit of the doubt", da der QB hauptverantwortlich für den Pass ist. OPIs rechnen wir einem Receiver nicht negativ an, da sie per Definition den Verteidiger am Fangen des Balls hindert, also dazu da ist um eine Interception zu vermeiden.
Die nächste brennende Frage ist: Wie zur Hölle kommt man auf diese Koeffizienten? Warum wird ein Drop mit 21 Yards bestraft? Ist das etwa willkürlich? Die Antwort ist natürlich nein. Wie auch bei ANY/A oder TAY/P bei Quarterbacks (aber im Gegensatz
zum völlig willkürlichen Passer Rating!) sind diese Gewichtungen der einzelnen Teile durch Analyse dessen entstanden, was die Spieler uns an Daten auf dem Feld generieren. Um das zu verstehen, machen wir einen kleinen Exkurs zum Konzept der "Expected Points Added", kurz EPA.
Jede Spielsituation (Down, Distance & Fieldposition) gab es in der NFL schon Tausende Male. Daher können wir aufgrund aller dieser Daten eine Vorhersage treffen wie viel Punkte eine bestimmte Spielposition im Schnitt Wert ist, indem wir uns anschauen wie oft Teams aus dieser Spielposition wie gescored haben. Diesen Wert nennt man die "Expected Points" einer Spielsituation. Jedem Play (egal ob Pass, Lauf, Punt, Fieldgoal oder Kickoff) kann man so ein EPA-Wert zuweisen, indem man die Expected Points vor und nach dem Play voneinander abzieht. Mehr dazu kann man hier nachlesen: http://www.advancedfootballanalytics.com/index.php/home/stats/stats-explained/expected-points-and-epa-explained
So stellt sich etwa heraus: Ein First Down an der eigenen 20 Yard-Linie ist ca. 0.4 Punkte wert. Ein 1st&Goal an der 1 ist 5.5 Punkte wert. Ein Touchdown ist 6.4 Punkte wert. Man erkennt: Die ersten 79 Yards eines Touchdowns bei 1st&10 von der eigenen 20 sind 5.1 EPA wert, das allerletzte Yard ist 0.9 EPA wert. Das allerletzte Yard ist also viel wertvoller als jedes einzelne Yard davor. EPA weiß: Der Wert eines Raumgewinns hängt nicht nur von den gewonnenen Yards ab. Chase Stuart von Pro Football Reference hat dies 2008 konsequent für alle Downs analysiert und kam so zur Erkenntnis: Im Schnitt ist ein Touchdown 1.325 EPA mehr wert als dasselbe Play bis zur gegnerischen 1-Yard-Linie. Dies entspricht ca. 20 Yards. Die genaue Analyse findet man hier: https://www.pro-football-reference.com/blog/index4db6.html?p=633.
2014 hat derselbe Autor mit derselben Methode herausgefunden, dass ein 1stDown im Schnitt 9 Yards wert ist: http://www.footballperspective.com/the-value-of-a-first-down/. So ergeben sich die Koeffizienten vor 1stDowns und Touchdowns: 9 Yards für jedes 1stDown und da Pro Football Reference, woher wir die Daten für 1stDowns beziehen, jeden Touchdown als auch 1stDown zählt, vergeben wir für einen Touchdown 11 zusätzliche Yards, sodass man insgesamt einen 20 Yard-Bonus erhält.
Die Boni für DPIs sind damit auch klar: Jede Pass Interference ist ein automatisches First Down, daher bekommt der Receiver 9 Yards für jede DPI und zusätzlich noch die Yards, die er dadurch gewonnen hat.
Die Abzüge für Fumbles und Drops basieren auf demselben Konzept. Schon in "The Hidden Game of Football" von Bob Carroll, John Thorn und Pete Palmer - die Bibel der statistischen Analyse des American Footballs, in der auch das EPA-Konzept das erste Mal erwähnt wurde - haben die Autoren den Wert eines Turnovers (egal ob INT oder Fumble) auf ca. 45 Yards beziffert. Wir übernehmen diesen Wert.
Für die Drops müssen wir schließlich selbst an die Arbeit und stellen folgende Überlegung an:
Die durchschnittliche Reception ist 0.9 EPA wert, die durchschnittliche Incompletion ist -1.1 EPA wert. In dem Moment, in dem der Receiver einen fangbaren Ball nicht fängt, verliert er also für sein Team im Schnitt 2 EPA. Wie übersetzt man dies nun in Yards? Wie man in den beiden verlinkten Artikeln von Chase Stuart nachlesen kann, ist ein Yard Feldposition im Schnitt 0.063 EPA wert. Demnach entspricht dies einem Verlust von 32 Yards. Die durchschnittliche Reception in der NFL gewinnt ca. 11 Yards. Da ein Receiver diese 11 Yards bei einem Drop im Schnitt schon automatisch dadurch verliert, dass er sie nicht angerechnet bekommt, müssen wir ihm also noch 21 Yards für den Drop abziehen.
Und schon ist die Formel für ANY+/RR fertig!
Genug der grauen Theorie, im nächsten Abschnitt erfahren wir endlich die besten Receiver nach ANY+/RR:
<h3> </h3>
Bestenlisten, Fazit und die Bedeutung für Fantasy Football
Zunächst einmal nehmen wir die Top 20 in Yards/Target mit mind. 40 Targets in der Saison 2017:
Es fällt auf: Viele #1 Receiver (Etwa Antonio Brown, Michael Thomas, Keenan Allen), die gemeinhin als die besten ihres Teams und sogar als die besten der Liga angesehen werden, sind deutlich hinter ihren #2 Receivern gelistet. Allen (#25), Thomas (#32) sowie DeAndre Hopkins (#44) und A.J. Green (#52) tauchen in der Liste gar nicht auf. War die Rookiesaison von Cooper Kupp wirklich so gut, dass er das herausragende Receiver-Duo aus Minnesota outperformed hat? Wir schauen uns die Top 20 in ANY+/RR an (mind. 200 Routes):
Eine Receiving-Statistik, die als beste Receiver Julio Jones und Antonio Brown hervorbringt, kann schon mal nicht gänzlich verkehrt sein. Auch die Monstersaisons von Hopkins, Allen und Thomas sowie die Effektivität von Thielen und Diggs werden gewürdigt. Aufstrebende Rookies mit starken Leistungen wie Schuster, Godwin und Kupp kommen dennoch nicht zu kurz.
Spieler wie Cooks, Golladay und T. Benjamin, die vor allem wegen ihrer durchschnittlichen Routentiefe einen hohen Yards/Target-Wert aufweisen, fallen aus der Top 20 raus.
Nun schauen wir uns dieselben Bestenlisten für den Zeitraum von 2010 bis 2017 an:
Wir bezweifeln, dass dies die Liste ist, die man sich vorstellt, wenn man an die besten Receiver der letzten 8 Jahre denkt. Wo sind Odell Beckham Junior, A.J. Green und Mike Evans? Calvin Johnson und Antonio Brown nur an #12 bzw. #18? Auch ein Andre Johnson taucht hier gar nicht auf.
Dies ist die Liste für ANY+/RR im selben Zeitraum. Und tatsächlich befinden sich nun diejenigen Receiver auf der Liste, die seit 2010 bzw. ihrem NFL-Einstieg konstant dominiert haben bzw. hatten.
Die kompletten Listen sowie die besten Saisons seit 2010 findet ihr hier.
Dieses bisherige Fazit ist natürlich zum Teil subjektiver Natur, weswegen wir nun den praktischen Nutzen der beiden Statistiken noch objektiv bewerten wollen. Wir schauen uns alle aufeinanderfolgenden Saisons von Receivern mit je mind. 200 Route Runs an und beobachten den Zusammenhang zwischen zwei aufeinander folgenden Jahren an:
Schon auf den Plots ist zu erkennen: Der Zusammenhang bei ANY+Y/RR zwischen zwei aufeinanderfolgenden Jahren ist deutlich stärker und dies sieht man auch an den Korrelationen: Für Yards/Target liegt sie bei 0.20 und für ANY+/RR liegt bei 0.48. Man sagt auch: Die Statistik ist stabiler in sich selbst. Sie beschreibt daher eher die Fähigkeiten eines Spielers als eine Statistik die hohen Schwankungen unterliegt. Dies bedeutet: ANY+/RR beschreibt nicht nur besser, was ein Receiver in einer Saison geleistet hat, sie vermag auch besser vorherzusagen, was der Receiver in der nächsten Saison leisten wird.
Zum Abschluss wollen wir den Fantasy-Liebhabern unter euch auch noch den Zusammenhang zur Fantasy Production vorstellen. Sollte ich lieber einen Wide Receiver draften, der einen hohen Wer...ards/Target hatte oder einen, der einen hohen Wert in ANY+/RR hatte? Die Antwort ist eindeutig:
Die Korrelation liegt bei 0.24 für Yards/Target und bei 0.46 für ANY+/RR. Es ist also eine gute Strategie auf WR zu setzen, die in ANY+/RR dominiert haben und von denen ihr euch natürlich auch wieder viele Einsätze und somit Route Runs erhofft.
Abschließend lässt sich zusammenfassen, dass alle in der Theorie beschriebenen Vorteile von einer auf Route Runs basierenden Statistik sich in der Praxis bewährt haben: Es gibt keinen Bias mehr aufgrund von Routentiefen und das qualitative Gesamtpaket eines Receivers scheint besser beschrieben zu sein. Dies zusammen mit der großen Samplesize sorgt dafür, dass die Statistik auch prädiktiver ist: Sowohl für sich selbst als auch für die totale Produktion - gemessen in Fantasy Points.
Wem die Statistik gefällt, der sollte nächste Saison (was man sowieso tun sollte) regelmäßig in den Kommentarspalten vorbeischauen und/oder uns auf Twitter folgen. Jede Woche präsentieren wir die Top 10 Receiver der Woche sowie der laufenden Saison.
Eine Idee für eine Präsentation habe ich aber noch. Macht es weniger im PFF Sytle und vergebt keine Platzierungen bzw "Ranks". Dadurch, dass durch die Einwände mancher User hier schon gezeigt wurde, dass die Statistik (wie alle anderen Metriken übrigens auch) fehlerbehaftet ist, ist es wahrscheinlich, dass ANY+/RR -Werte ebenso Fehlerintervalle haben, die sich mit anderen Werten überschneiden. Was meine ich damit? Lässt sich wirklich ein quantitativer Unterschied zwischen Platz 1 (Julio) und Platz 2 (Brown) ausmachen, wenn die Differenz erst in der 2. Nachkommastelle zu sehen ist?
Man kann die Werte ja durchaus "ranken" und es so präsentieren. Aber weniger mit "bester" etc argumentieren. Ob es einen qualitativen Unterschied zwischen Julio und Brown gibt, lässt sich durch diese Metrik auch nicht zeigen.
DPIs sind mithin die am meisten diskutierten Strafen und bei einem Ref fliegen sie lockerer als bei nem anderen. Wie oft wird bei sowas ignoriert, ob ein Ball fangbar war? Wir kennen doch die Diskussionen nach jedem Spieltag auch hier auf Spox.
Bei der DPI sagt ihr jedoch pauschal, dass dies die Qualität des WRs ist (für euch schlichtweg route running). Natürlich ist die Strafe positiv für sein Team. Der QB wird aber hier von seinem Anteil am Play für eure Betrachtung entbunden.
Bei der OPI dreht ihr den Spieß um und unterstellt, dass das alleinig dem QB des Team anzulasten ist. Dabei kann es ja auch gut und gerne sein, dass der WR eine Route falsch gelaufen ist. Für euch liegt der Fehler dennoch beim QB und ihr lasst die Strafe weg. OPI heißt ja auch nicht, dass der Ball zu einer INT führte, sondern lediglich, dass er als fangbar galt. Das Play muss also per se keine negativen Konsequenzen haben, aber die gibt es durch das Eingreifen des WRs.
Da Strafen oft einen subjektiven Wert enthalten, würde ich diese einfach weglassen.
Und es gibt ja keinesfalls nur OPIs, die WRs verursachen, sondern auch Offensive Holdings, False Starts, Illegal Shifts etc. (ja, ich weiß, dass Receiver für all das nur selten geflaggt werden und es aufgrund der großen Basis sicher nur einen kleinen Effek hätte).
Ansonsten gute Arbeit.
Alle Input-Daten sind frei verfügbar, bis eben auf die Anzahl der gelaufenen Routen. Bei PFF steht, dass man die Daten nur für private Zwecke nutzen darf. Einen Spox Blog sehen wir noch als privat an. In den englischsprachigen Raum wollen wir damit aber erstmal nicht.
------
Noch eine kleine Anmerkung bevor es auffällt
: Die Career-Liste hat eine Grenze von 1000 Route Runs (ca. 2 Saisons für Starter). Deswegen sind Godwin umd Schuster nicht dabei, obwohl ihr 2017-Wert ausreichen würde für die Top 20. Auch Tyreek Hill hat den Cut knapp verpasst, er wäre sonst oben dabei.
Einige sehr interessante Einblicke in die Welt der Zahlen, auch wenn ich als relativer Neuling nicht alles verstehe.
Das dürfte die bisher beste und aussagekräftigste Statistik für Receiver sein, die es gibt.
"Wird ein Receiver, welcher bei gleicher Anzahl gelaufener Routen weniger targets bekommt, hier nicht benachteiligt?"
Das ist das grundsätzliche Problem von allen produktionsbasierten Statistiken, die einen einzelnen Spieler betrachten.
Z.B. dürften die Gründe für das gute Abschneiden von Robert Woods eher Sean McVay und die Präsenz von Todd Gurley und Sammy Watkins sein als seine eigene Leistung (die aber immer noch gut genug war, daraus Kapital zu schlagen).
Das ist in meinen Augen aber eher ein Problem der Interpretation. Wenn man bei der Analyse diese äußeren Faktoren berücksichtigt und abwägt, sollte ANY+/RR immer noch genug Aussagekraft haben. Man darf ANY+/RR (sowie auch alle anderen Statistiken) natürlich nicht als alleiniges Argument bei der Bewertung einzelner Spieler sehen.
@ElMito:
Mit deinen Einwänden hast du sicherlich zum Teil Recht, aber die Daten sprechen dafür, das Problem auf jeden Fall kleiner ist als das im Blog beschriebene Problem der Targets.
Dass es insgesamt immer eine Abhängigkeit von individuellen Statistiken zum Team gibt, ist nicht abzustreiten. Das Problem hat man immer und das können natürlich auch wir nicht loswerden. Aber wir können es verbessern. Und genau dazu ist der allerletzte Abschnitt gut: Eine Statistik, die stabiler von Jahr zu Jahr ist, beschreibt eher die inhärente Fähigkeit eines Spielers als eine, die es nicht ist. Alle anderen Faktoren um den Spieler herum wechseln ständig durch Verletzungen, neue Coaches oder sonst was. Wenn dann eine Statistik stabiler unter diesen Veränderungen ist, macht sie ja genau das weniger, was du befürchtest: Dass man mit schlechtem QB oder Scheme benachteiligt wäre.
Zu den #2/#3 Receivern: Klar kriegen #1 Receiver mehr Targets. Aber sie sind in diese Rolle ja nicht hineingeboren. Hier z.B. mal die Targets per Route Run von Mike Evans:
2014: 22%
2015 u. 2016: 29%
2017: 22%
Hier sieht man zwei Dinge:
1. Viele Targets muss man sich erstmal verdienen. Das spiegelt also schon die Fähigkeiten eines Receivers wieder. Ein Target ist keine "Möglichkeit", sondern tatsächlich schon eine Art von Production (Eben Route Running). Das was im Nenner steht, sollten immer die Möglichkeiten sein. Klar gibt es hier und da mal Dummy Routen, aber das sollte eine geringe Zahl sein. Die Sample Size ist ja riesig!
2. Sobald der Receiving Room talentierter wird (2016 -> 2017), kriegt der Spieler mit den meisten Targets im Vorjahr plötzlich weniger Targets. Ein anderer talentierter Spieler wird dem QB im Training zeigen können, dass auch eher ein paar Targets wert ist und (am wichtigsten!) erzielt halt ebenfalls Separation. Die Beispiele Godwin und Kupp zeigen das ja. Beide konnten jeweils Jackson und Watkins outperformen.
aber muss auch nicht unbedingt immer alles verstehen, die Statistik klingt auf jeden Fall vernünftig
Hut ab!
Bitte nicht als Kritik sehen:
Ich bin da bei Dan mit DPI. Eine 100% "Verursachung" beim WR zu sehen, ist nicht ganz richtig. Aber auch nicht falsch.
Einen gewissen Anteil würde ich da schon dem QB zugestehen, der ja auch mal durch den Pass eine PI ziehen kann, wenn er sieht, dass gehalten wird.
Eventuell kann man den Parameter reduzieren. Von 9 auf 4,5 um den Einfluss des WR zu reduzieren.
Was mich noch interessieren würde in Bezug auf die erste Grafik mit dem Einfluss der Vorsaison.
Habt ihr auch ausprobiert, wie es sich verhält, wenn man den Mittelwert zweier Saisons nimmt und darauf auf das Folgejahr schließt? Das müsste den Eindruck noch bestätigen.
Sprich:x-Achse: ANY+/RR von 2015 UND 2016
y-Achse: ANY+/RR von 2017