WTF - Die EM war zu 87% geil

Nach 51 Spielen und 108 Toren ist es endlich soweit: wir haben einen Fußball-Europameister und der heißt Portugal! Es war ein Turnier mit vielen Überraschungen und auch Fußball-Uninteressierten ist wahrscheinlich, bei der gezeigten Power des Isländischen Teams oder bei Christiano Ronaldo’s Heulkrampf im Finale, das Herz aufgegangen. Nur über unser Nationalteam sollten wir vielleicht lieber nicht reden…Ich sag nur #wm2018 🙂

Vorhandene Text APIs bringen nichts bei einer Zeichenbeschränkung von 140 Zeichen. Da hilft nur selber bauen.

What The Rückblick

Nicht nur in den französischen Stadien ging es heiß her: auch auf Twitter war einiges los und das haben wir uns mit unserem What The Feeling (WTF) Projekt angesehen. Über den Zeitraum der gesamten Europameisterschaft haben wir über 5 Millionen Europäische Tweets zur EM analysiert. Die Emotionen darin haben uns dabei besonders interessiert. Wir haben die Texte auf die Gefühle “Happy”, “Surprised”, “Sad” und “Angry” hin überprüft, um diese anschließend auf einer Europakarte in Echtzeit anzuzeigen. So konnte man live erleben, wie die Twitter-Welt auf die Spiele reagiert.
 

Bild

What The Zahlen

Nicht jeder mag Zahlen, aber im richtigen Kontext können sie extrem spannend oder auch lustig sein. Beginnen wir mit ein paar Gesamtzahlen:

Bild

 

Auf den ersten Blick sticht die hohe Anzahl an Happy-Tweets heraus, die einige Fragen mit sich bringt: Ist Twitter eine Happy-Zone, in der alle glücklich sind? Ist eine EM ein Nährboden für Freude und Glückseligkeit? Oder war diese EM etwas Besonderes? Oder ist es vielleicht einfacher, Momente des Glücks in Tweets zu erkennen, als Trauer- oder Überraschungsmomente?

Ein bisschen was von Allem ist dabei. Diese Daten können demnach der Ausgangspunkt für weitere Tests sein, die diese Theorien vielleicht bestätigen.

Der Überraschungsmoment
Überraschend, im wahrsten Sinne des Wortes, war auch das Viertelfinale zwischen Deutschland und Italien. Mit fast 500 Surprised-Tweets ist dieses Match Spitzenreiter in der Kategorie Überraschung. Dazu beigetragen hat mit Sicherheit das spektakuläre Handspiel vom deutschen Verteidiger Jerome Boateng.

EM der Freude? 87% aller aufgezeichneten EMotionen waren positiv!

Frankreich ärgere dich nicht
Die Franzosen waren neben ihrer Gastgeberrolle auch für einen Großteil der verärgerten Tweets verantwortlich. Spiele der „Les Bleus“ hatten mit Abstand die meisten Angry-Tweets. Höhepunkt war das Spiel Frankreich gegen Irland mit knapp 700 wütenden Kurztexten.

Man of the Tweets
Wenn es um Spieler geht, war Dimitri Payet das Maß der Dinge. Mit 8.802 Erwähnungen in den analysierten Tweets liegt er auf Platz 1 (Doch noch ein Titel für Frankreich!). Da musste sich auch CR7 geschlagen geben, der sich mit 6.434 auf Platz 2 befindet. Mit Griezmann haben wir einen weiteren Franzosen in den Top 3: Er wurde 4.333 Mal erwähnt. Von Alaba und Arnautovic gar nicht erst zu sprechen, mit 773 Erwähnungen (zusammen)! Ups 🙂

What The Learnings

What The Feeling war für uns ein Experiment, um das Potential von öffentlichen Daten in sozialen Netzwerken zu analysieren. Sind diese Daten hilfreich? Können wir eventuell den Gemütszustand von Plattformen oder Regionen damit in Echtzeit abbilden?

Ja und Nein. Über die Twitter Streaming API kann man auf diese öffentlichen Live-Daten zugreifen, jedoch bekommt man bei Weitem nicht alle Tweets. Hierfür wäre erstens der Aufwand für Twitter zu groß und zweitens könnte man so eine Datenmenge nicht verarbeiten. Auch, wenn die von uns verarbeiteten Daten nur ein Auszug dessen sind, was auf Twitter gepostet wird, sind sie natürlich relevant und eine gute Basis für weitere Tests. Trotzdem können wir hier festhalten, dass die EM auf Twitter durchaus ein Ereignis der Freunde war. 87% aller aufgezeichneten Emotionen waren positiv!

Emotionen
Kern von What The Feeling ist die Analyse der Emotionen. Besonders bei so kurzen Texten ist die Erkennung sehr schwierig. Wir haben uns dann entschieden, die Logik selbst zu implementieren, wobei wir uns auf Emojis und Textphrasen in verschiedenen Sprachen konzentriert haben – mit dem Resultat können wir durchaus zufrieden sein. Vorhandene Text APIs bringen nichts bei einer Zeichenbeschränkung von 140 Zeichen.

Bild

Real-Time
Die Daten wurden in Echtzeit dargestellt, was bei dieser Datenmenge gar nicht so einfach ist! Unterstützt hat uns dabei PubNub, ein Service, das sich genau auf solche Szenarien spezialisiert. Zusätzlich war Caching extrem wichtig: Bei jedem Tweet mussten wir die Geo-Daten ermitteln. Auch hier gibt es Services, die einem dabei helfen, wie Google Maps beispielsweise. Trotzdem muss man hier auch besonders auf die Performance achten. Nur durch gutes Caching der Geo-Daten konnten wir einen reibungslosen Ablauf gewährleisten. Der User stand für uns immer an erster Stelle.

Daten sammeln
Daten sammeln muss gelernt sein. Besonders bei WTF konnten wir unmöglich vorhersagen, wie sich Daten verhalten werden. Wieviele Tweets werden wir über die Twitter API bekommen? Wie verhält es sich während eines Spiels? Während des Finales? Keine Ahnung! Wir konnten nur versuchen uns so gut wie möglich darauf vorzubereiten und allzeit bereit für Adaptierungen zu sein. Gleich nach den ersten Tagen hat sich unser Server kurz verabschiedet, da die Datenbank platzte :-). Zum Glück war das schnell behoben und weitere Probleme blieben uns erspart.

Datenanalyse
Daten sammeln ist eine Sache, aber die Auswertung eine ganz andere. Nach dem Finale hatten wir zwar massenhaft Daten, aber die Frage war, wonach suchen wir? Einen Gesamtüberblick der Gefühle zu erstellen war eine logische Schlussfolgerung, aber sonst? Hier ist es auf jeden Fall wichtig, sich früh genug Gedanken darüber zu machen, wonach man sucht. Eine Garantie für Spannung und Aussagekraft der Daten gibt es aber nicht. Deshalb ist es wichtig in verschiedene Richtungen zu denken und andere Personen in die Überlegungen einzubeziehen. 

What The Abschluss

What The Feeling war ein Experiment, bei dem wir ein sportliches Großevent in Verbindung mit Twitter auf Emotionen analysiert haben. Besonders im Bereich Real-Time und Emotions-Analyse wurden wir vor große Herausforderungen gestellt und können viel für zukünftige Projekte mitnehmen. Ein wichtiger nächster Schritt wäre ein weiterer Live-Test der unsere Zahlen bestätigt. Gut, dass sich WTF auch für andere Großereignisse umsetzen lässt ;-).