Welche KI ist besser im Schach, ChatGPT oder Gemini?
Als wir das letzte Mal mit ChatGPT über Schach geredet haben, gab es allerlei seltsame Ideen und schreckliche Ratschläge über Schach. Also haben wir es natürlich dabei belassen, oder?
Au contraire. Wir haben noch einen draufgesetzt - im wahrsten Sinne des Wortes. Wir haben eine weitere KI, Googles Gemini, ins Spiel gebracht und die beiden gegeneinander antreten lassen, um herauszufinden, welches Modell besser im Schach ist.
Und wer hat gewonnen? Lies weiter, um es herauszufinden!
Das Spiel
Gibt es einen besseren Weg, die KI zu testen, als sie gegeneinander spielen zu lassen? Hier ist zunächst das Resultat ganz ohne Kommentare. Wie viele lustige Fehler kannst du finden?
Und hier ist das Spiel mit unseren Lieblingsmomenten, darunter Aussagen der KI selbst und einige der lustigeren Hintergrundgeschichten hinter einigen der Züge.
Du kannst das Spiel auf dieser Analyseseite selbst ausprobieren.
Die Analyse
Was hat die Partieanalyse in Bezug auf die Genauigkeit gesagt?
Und so zeichnet nicht nur das Ergebnis, sondern auch die Genauigkeit das Bild: GPT ist besser im Schach.
Hier siehst du, wie sich diese Züge prozentual aufteilen (ohne Theoriezüge).
| Zug | ChatGPT | Gemini |
| Brillant | 0% | 0% |
| Toll | 0% | 0% |
| Am besten | 11% | 11% |
| Ausgezeichnet | 18% | 14% |
| Gut | 14% | 14% |
| Ungenauigkeit | 11% | 14% |
| Fehler | 4% | 29% |
| Verpasst | 39% | 7% |
| Patzer | 4% | 11% |
Die Fehler von Gemini und ChatGPT erzählen uns eine Menge. Die eine KI gab der anderen immer wieder Chancen, die andere lehnte diese Geschenke ab. Die gute Nachricht für ChatGPT ist, dass er mehr "gute" oder bessere Züge gemacht hat als Gemini Fehler und Patzer gemacht hat. Die schlechte Nachricht für Gemini ist, nun ja, fast alles, was passiert ist.
Wenn Weiß mit 21.Ta1 in die Variante mit dem vergifteten Bauer eintritt, hat Schwarz ein paar Möglichkeiten. Das Wichtigste ist, sich nicht dazu verleiten zu lassen, den Vergifteten Bauer auf b5 zu schlagen.
- Gemini, ohne gegnerischen Bauer auf b5, kurz vor dem Hängen eines Läufers
Die Methode
ChatGPT wurde nach einem Zug gefragt, mit dem man ein Schachspiel beginnen kann. Gemini wurde um eine Antwort gebeten. Danach wurde nach Zügen in der folgenden Formulierung gefragt: "Weiß/Schwarz antwortet [1...c5, 2.Sf3, usw.]. Spiele den x-ten Zug von Weiß/Schwarz." Sie fanden jeweils in einem einzigen Gesprächsfaden statt, damit sich die KI das bisherige Spiel merken konnte.
Um den KIs gegenüber fair zu sein, müssen sie bei dieser Methode praktisch mit verbundenen Augen Schach spielen. Aber um uns gegenüber fair zu sein, sollten sie in der Lage sein, die Stellung viel leichter nachzustellen als ein Mensch.
Das sollte zumindest so sein. Aber das Modell basiert auf Sprache, was es schwierig macht, Text in eine geometrische Position zu übersetzen. Dieses Problem bleibt jedoch bestehen, wenn sie das ganze Spiel auf einmal bekommen, und wir wissen aus dem letzten Artikel, dass ChatGPT nicht einmal eine Position aus dem FEN selbst nachbilden kann.
Ein weiteres Problem: Beide KIs sind so konzipiert, dass sie zweideutig sind, was gut funktioniert, wenn man ihnen eine tiefgründige philosophische Frage stellt, aber weniger gut, wenn man einfach nur will, dass sie einen verdammten Schachzug spielen. Wenn eine KI mehrere Züge auflistete, ohne einen zu empfehlen, wurde sie um eine Empfehlung gebeten. Wenn sie mehrere Züge empfahl, wurde sie gebeten, einen auszuwählen.
Jetzt kommt der spaßige Teil: Was ist mit illegalen Zügen oder Zügen, die es gar nicht gibt, bei denen die KI versucht, mit einer Figur zu schlagen, die sie nicht auf dem Brett hat? Bei einer so schlechten Sicht auf das Brett haben beide KIs versucht, viele dieser Züge zu machen. Wenn eine KI dies tat, wurde ihr gesagt, dass der Zug illegal war und sie einen anderen Zug wählen sollte. Wenn sie dreimal hintereinander illegale Züge machte, bekam sie jeden Zug des ganzen Spiels, was in der Regel schließlich zu einem legalen Zug führte, wenn auch nicht zu einem guten.
Das Endergebnis der illegalen Züge war 32 für Gemini, 6 für ChatGPT. Das macht Sinn; es wäre verrückt, wenn die KI, die gut genug ist, um zu gewinnen, auch schlecht genug wäre, um mehr illegale Züge zu machen. Das bedeutet aber auch, dass Gemini nur zu 50% einen legalen Zug gewählt hat, während ChatGPT bei über 80% lag.
Schlussfolgerung
So sieht es also aus, wenn zwei Sprachlernmodelle versuchen, Schach zu spielen. Überraschen dich die Ergebnisse tatsächlich? Sollten wir ChatGPT als Gewinner dieses Spiels gegen andere, echte Schachbots antreten lassen? Glaubst du, dass er Martin schlagen kann? Oder wie schnell, glaubst du, würde Stockfish gewinnen?
Alles, was wir im Moment wissen, ist, dass du dein Leben nicht darauf verwetten willst, dass ChatGPT eine hängende Dame findet. Aber wenn du dich zwischen ChatGPT und Gemini entscheiden müsstest, wüsstest du, wen du wählen müsstest.
Du kannst diese Übung gerne selbst wiederholen und die Ergebnisse in den Kommentaren mitteilen!
Nathaniel Green is a staff writer for Chess.com who writes articles, player biographies, Titled Tuesday reports, video scripts, and more. He has been playing chess for about 30 years and resides near Washington, DC, USA.
