Stefan Pohl Computer Chess

private website for chessengine-tests


UHO Top 10 Ratinglist with Stockfish Dev progression 

 

 

The 10 strongest engines of my SPCC Ratinglist and the latest StockfishDev version are playing 1000 games vs. each opponent: 10000 games per engine are played. A RoundRobin Tournament with 55000 games overall !
Results evaluated by ORDO, reference engine is the latest official Stockfish (Stockfish 15.1 right now), its Elo is set to 0. Why? Because using my UHO openings spread Elo-results wider than balanced openings, so it makes no sense to set the reference-Elo to any "realistic" value of 3800 or so... And mention, that all Computer Elo (Celo) in the various ratinglists are fictional in these days of superstrong engines, because the Celos can not be compared with human Elos anymore and since a long time.

 

 

Latest testrun: 2023/03/19: Stockfish 230314 (0 Elo to Stockfish 230308)
Reference point (opponent) is the latest official SF-release (Stockfish 15.1 right now).

 

Hardware: AMD Ryzen 3900 12-core (24 threads) notebook with 32GB RAM. 20 games are played simultaneously

Speed: Singlethread, TurboBoost-mode switched off, chess starting position: Stockfish 15: 750000 n/s

Hash: 256MB per engine

GUI: Cutechess-cli (GUI ends game, when a 5-piece endgame is on the board)

Tablebases: None for engines, 5 Syzygy for cutechess-cli

Openings: My UHO_2022_6mvs_+120_+129 openings are used (first 500 lines) (part of my UHO 2022 download). 

Ponder, Large Memory Pages & learning: Off

Thinking time: 3min+1sec per game/engine (average game-duration: min 7sec (little bit longer than the games of the SPCC-Ratinglist take (7min 45sec), because using UHO-openings lowers the number of early 3fold-draws a lot))

The version-numbers of the Stockfish engines are the date of the latest patch, which was included in the Stockfish sourcecode, not the release-date of the engine-file, written backwards (year,month,day) (example: 200807 = August, 7, 2020). The used SF compile is the AVX2-compile, which is the fastest on my AMD Ryzen CPU. SF binaries are taken from abrok.eu (except the official SF-release versions, which are taken form the official Stockfish website).

 

ORDO calculation fixed to reference-engine (Elo = 0)

See the individual statistics of engine results here

See the EAS-Ratinglists of the UHO Top10 Ratinglist games here

You can download all played games from my Google-Drive. Download here

     Program                    Elo    +    -  Games    Score   Av.Op. Draws

   1 Stockfish 230314 avx2    :   14    5    5 10000    73.1%   -170   46.2%
   2 Stockfish 15.1 221204    :    0    5    5 10000    71.4%   -168   46.7%
   3 KomodoDragon 3.2 avx2    :  -52    5    5 10000    64.6%   -163   47.8%
   4 Berserk 11 avx2          : -129    5    5 10000    53.7%   -155   49.6%
   5 Ethereal 14.00 nnue      : -163    5    5 10000    48.8%   -152   49.9%
   6 Koivisto 9 avx2          : -190    4    4 10000    44.8%   -149   49.1%
   7 RubiChess 221120 avx2    : -214    5    5 10000    41.3%   -147   47.4%
   8 Revenge 3.0 avx2         : -214    4    4 10000    41.3%   -147   49.4%
   9 Rebel 16.1               : -236    4    4 10000    38.1%   -145   49.2%
  10 Fire 8.NN avx2           : -238    5    5 10000    37.9%   -144   47.7%
  11 Igel 3.4.0 popavx2       : -259    5    5 10000    35.0%   -142   48.2%


Games        : 55000 (finished)

White Wins   : 26643 (48.4 %)
Black Wins   : 1791 (3.3 %)
Draws        : 26566 (48.3 %)

 

Here the progress in regression-testing since Stockfish 15.1 (2022/12/04), with Elo of SF 15.1 set to 0 in a diagram:


Below the UHO Top10 gamebase recalculated with my Gamepairs Rescorer Batch-Tool. Realizing Vondele's (Stockfish maintainer) idea: "Thinking uniquely in game pairs makes sense with the biased openings used these days. While pentanomial makes sense it is a bit complicated so we could simplify and score game pairs only (not games) as W-L-D (a traditional  score of 2-0, or 1.5-0.5 is just a W)."

 

   # PLAYER                   :  RATING  ERROR  PLAYED     W     D     L   (%)  CFS(%)
   1 Stockfish 230314 avx2    :      57     17    5000  4322   590    88  92.3     100
   2 Stockfish 15.1 221204    :       0   ----    5000  4124   710   166  89.6     100
   3 KomodoDragon 3.2 avx2    :    -215     16    5000  3342   989   669  76.7     100
   4 Berserk 11 avx2          :    -461     17    5000  2016  1565  1419  56.0     100
   5 Ethereal 14.00 nnue      :    -533     17    5000  1581  1666  1753  48.3     100
   6 Koivisto 9 avx2          :    -610     17    5000  1150  1671  2179  39.7     100
   7 RubiChess 221120 avx2    :    -651     18    5000   891  1721  2388  35.0     100
   8 Revenge 3.0 avx2         :    -666     18    5000   808  1717  2475  33.3     100
   9 Rebel 16.1               :    -714     17    5000   595  1614  2791  28.0      66
  10 Fire 8.NN avx2           :    -717     17    5000   593  1593  2814  27.8     100
  11 Igel 3.4.0 popavx2       :    -760     18    5000   426  1468  3106  23.2     ---

 

You can download my Gamepairs Rescorer Tool right here


Below the head to head statistics of the Gamepairs-rescoring, with all WDL-statistics:

Head to head statistics:


 1) Stockfish 230314 avx2   57 :   5000 (+4322,=590,-88),  92.3 %

    vs.                         :  games (    +,   =,  -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 15.1 221204       :    500 (  142, 290, 68),  57.4 :    +57,    9,  100.0
    KomodoDragon 3.2 avx2       :    500 (  340, 144, 16),  82.4 :   +271,    9,  100.0
    Berserk 11 avx2             :    500 (  450,  48,  2),  94.8 :   +518,    9,  100.0
    Ethereal 14.00 nnue         :    500 (  469,  31,  0),  96.9 :   +590,   10,  100.0
    Koivisto 9 avx2             :    500 (  477,  22,  1),  97.6 :   +667,   10,  100.0
    RubiChess 221120 avx2       :    500 (  488,  12,  0),  98.8 :   +708,   10,  100.0
    Revenge 3.0 avx2            :    500 (  482,  17,  1),  98.1 :   +723,   10,  100.0
    Rebel 16.1                  :    500 (  490,  10,  0),  99.0 :   +771,    9,  100.0
    Fire 8.NN avx2              :    500 (  492,   8,  0),  99.2 :   +773,    9,  100.0
    Igel 3.4.0 popavx2          :    500 (  492,   8,  0),  99.2 :   +817,   10,  100.0


 2) Stockfish 15.1 221204    0 :   5000 (+4124,=710,-166),  89.6 %

    vs.                         :  games (    +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   68, 290, 142),  42.6 :    -57,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (  284, 197,  19),  76.5 :   +215,    8,  100.0
    Berserk 11 avx2             :    500 (  431,  67,   2),  92.9 :   +461,    9,  100.0
    Ethereal 14.00 nnue         :    500 (  456,  42,   2),  95.4 :   +533,    9,  100.0
    Koivisto 9 avx2             :    500 (  472,  27,   1),  97.1 :   +610,    9,  100.0
    RubiChess 221120 avx2       :    500 (  476,  24,   0),  97.6 :   +651,    9,  100.0
    Revenge 3.0 avx2            :    500 (  484,  16,   0),  98.4 :   +666,    9,  100.0
    Rebel 16.1                  :    500 (  485,  15,   0),  98.5 :   +714,    9,  100.0
    Fire 8.NN avx2              :    500 (  481,  19,   0),  98.1 :   +717,    9,  100.0
    Igel 3.4.0 popavx2          :    500 (  487,  13,   0),  98.7 :   +760,    9,  100.0


 3) KomodoDragon 3.2 avx2 -215 :   5000 (+3342,=989,-669),  76.7 %

    vs.                         :  games (    +,   =,   -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   16, 144, 340),  17.6 :   -271,    9,    0.0
    Stockfish 15.1 221204       :    500 (   19, 197, 284),  23.5 :   -215,    8,    0.0
    Berserk 11 avx2             :    500 (  311, 175,  14),  79.7 :   +246,    7,  100.0
    Ethereal 14.00 nnue         :    500 (  361, 125,  14),  84.7 :   +319,    7,  100.0
    Koivisto 9 avx2             :    500 (  411,  86,   3),  90.8 :   +395,    8,  100.0
    RubiChess 221120 avx2       :    500 (  427,  70,   3),  92.4 :   +437,    8,  100.0
    Revenge 3.0 avx2            :    500 (  432,  65,   3),  92.9 :   +452,    8,  100.0
    Rebel 16.1                  :    500 (  448,  48,   4),  94.4 :   +500,    7,  100.0
    Fire 8.NN avx2              :    500 (  448,  49,   3),  94.5 :   +502,    7,  100.0
    Igel 3.4.0 popavx2          :    500 (  469,  30,   1),  96.8 :   +546,    8,  100.0


 4) Berserk 11 avx2       -461 :   5000 (+2016,=1565,-1419),  56.0 %

    vs.                         :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (    2,   48,  450),   5.2 :   -518,    9,    0.0
    Stockfish 15.1 221204       :    500 (    2,   67,  431),   7.1 :   -461,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   14,  175,  311),  20.3 :   -246,    7,    0.0
    Ethereal 14.00 nnue         :    500 (  181,  242,   77),  60.4 :    +73,    6,  100.0
    Koivisto 9 avx2             :    500 (  266,  200,   34),  73.2 :   +149,    6,  100.0
    RubiChess 221120 avx2       :    500 (  253,  209,   38),  71.5 :   +191,    6,  100.0
    Revenge 3.0 avx2            :    500 (  284,  186,   30),  75.4 :   +206,    6,  100.0
    Rebel 16.1                  :    500 (  331,  157,   12),  81.9 :   +254,    6,  100.0
    Fire 8.NN avx2              :    500 (  331,  153,   16),  81.5 :   +256,    6,  100.0
    Igel 3.4.0 popavx2          :    500 (  352,  128,   20),  83.2 :   +300,    6,  100.0


 5) Ethereal 14.00 nnue   -533 :   5000 (+1581,=1666,-1753),  48.3 %

    vs.                         :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (    0,   31,  469),   3.1 :   -590,   10,    0.0
    Stockfish 15.1 221204       :    500 (    2,   42,  456),   4.6 :   -533,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   14,  125,  361),  15.3 :   -319,    7,    0.0
    Berserk 11 avx2             :    500 (   77,  242,  181),  39.6 :    -73,    6,    0.0
    Koivisto 9 avx2             :    500 (  189,  242,   69),  62.0 :    +76,    5,  100.0
    RubiChess 221120 avx2       :    500 (  203,  229,   68),  63.5 :   +118,    6,  100.0
    Revenge 3.0 avx2            :    500 (  231,  217,   52),  67.9 :   +133,    6,  100.0
    Rebel 16.1                  :    500 (  272,  193,   35),  73.7 :   +181,    6,  100.0
    Fire 8.NN avx2              :    500 (  278,  182,   40),  73.8 :   +183,    6,  100.0
    Igel 3.4.0 popavx2          :    500 (  315,  163,   22),  79.3 :   +227,    6,  100.0


 6) Koivisto 9 avx2       -610 :   5000 (+1150,=1671,-2179),  39.7 %

    vs.                         :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (    1,   22,  477),   2.4 :   -667,   10,    0.0
    Stockfish 15.1 221204       :    500 (    1,   27,  472),   2.9 :   -610,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (    3,   86,  411),   9.2 :   -395,    8,    0.0
    Berserk 11 avx2             :    500 (   34,  200,  266),  26.8 :   -149,    6,    0.0
    Ethereal 14.00 nnue         :    500 (   69,  242,  189),  38.0 :    -76,    5,    0.0
    RubiChess 221120 avx2       :    500 (  160,  237,  103),  55.7 :    +41,    6,  100.0
    Revenge 3.0 avx2            :    500 (  166,  246,   88),  57.8 :    +56,    6,  100.0
    Rebel 16.1                  :    500 (  223,  213,   64),  65.9 :   +104,    6,  100.0
    Fire 8.NN avx2              :    500 (  225,  208,   67),  65.8 :   +107,    6,  100.0
    Igel 3.4.0 popavx2          :    500 (  268,  190,   42),  72.6 :   +151,    6,  100.0


 7) RubiChess 221120 avx2 -651 :   5000 (+891,=1721,-2388),  35.0 %

    vs.                         :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   0,   12,  488),   1.2 :   -708,   10,    0.0
    Stockfish 15.1 221204       :    500 (   0,   24,  476),   2.4 :   -651,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   3,   70,  427),   7.6 :   -437,    8,    0.0
    Berserk 11 avx2             :    500 (  38,  209,  253),  28.5 :   -191,    6,    0.0
    Ethereal 14.00 nnue         :    500 (  68,  229,  203),  36.5 :   -118,    6,    0.0
    Koivisto 9 avx2             :    500 ( 103,  237,  160),  44.3 :    -41,    6,    0.0
    Revenge 3.0 avx2            :    500 ( 137,  247,  116),  52.1 :    +15,    6,   99.6
    Rebel 16.1                  :    500 ( 167,  236,   97),  57.0 :    +63,    6,  100.0
    Fire 8.NN avx2              :    500 ( 170,  246,   84),  58.6 :    +65,    6,  100.0
    Igel 3.4.0 popavx2          :    500 ( 205,  211,   84),  62.1 :   +109,    6,  100.0


 8) Revenge 3.0 avx2      -666 :   5000 (+808,=1717,-2475),  33.3 %

    vs.                         :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   1,   17,  482),   1.9 :   -723,   10,    0.0
    Stockfish 15.1 221204       :    500 (   0,   16,  484),   1.6 :   -666,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   3,   65,  432),   7.1 :   -452,    8,    0.0
    Berserk 11 avx2             :    500 (  30,  186,  284),  24.6 :   -206,    6,    0.0
    Ethereal 14.00 nnue         :    500 (  52,  217,  231),  32.1 :   -133,    6,    0.0
    Koivisto 9 avx2             :    500 (  88,  246,  166),  42.2 :    -56,    6,    0.0
    RubiChess 221120 avx2       :    500 ( 116,  247,  137),  47.9 :    -15,    6,    0.4
    Rebel 16.1                  :    500 ( 154,  254,   92),  56.2 :    +48,    6,  100.0
    Fire 8.NN avx2              :    500 ( 175,  233,   92),  58.3 :    +50,    5,  100.0
    Igel 3.4.0 popavx2          :    500 ( 189,  236,   75),  61.4 :    +94,    6,  100.0


 9) Rebel 16.1            -714 :   5000 (+595,=1614,-2791),  28.0 %

    vs.                         :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   0,   10,  490),   1.0 :   -771,    9,    0.0
    Stockfish 15.1 221204       :    500 (   0,   15,  485),   1.5 :   -714,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   4,   48,  448),   5.6 :   -500,    7,    0.0
    Berserk 11 avx2             :    500 (  12,  157,  331),  18.1 :   -254,    6,    0.0
    Ethereal 14.00 nnue         :    500 (  35,  193,  272),  26.3 :   -181,    6,    0.0
    Koivisto 9 avx2             :    500 (  64,  213,  223),  34.1 :   -104,    6,    0.0
    RubiChess 221120 avx2       :    500 (  97,  236,  167),  43.0 :    -63,    6,    0.0
    Revenge 3.0 avx2            :    500 (  92,  254,  154),  43.8 :    -48,    6,    0.0
    Fire 8.NN avx2              :    500 ( 129,  247,  124),  50.5 :     +2,    6,   66.3
    Igel 3.4.0 popavx2          :    500 ( 162,  241,   97),  56.5 :    +46,    6,  100.0


10) Fire 8.NN avx2        -717 :   5000 (+593,=1593,-2814),  27.8 %

    vs.                         :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   0,    8,  492),   0.8 :   -773,    9,    0.0
    Stockfish 15.1 221204       :    500 (   0,   19,  481),   1.9 :   -717,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   3,   49,  448),   5.5 :   -502,    7,    0.0
    Berserk 11 avx2             :    500 (  16,  153,  331),  18.5 :   -256,    6,    0.0
    Ethereal 14.00 nnue         :    500 (  40,  182,  278),  26.2 :   -183,    6,    0.0
    Koivisto 9 avx2             :    500 (  67,  208,  225),  34.2 :   -107,    6,    0.0
    RubiChess 221120 avx2       :    500 (  84,  246,  170),  41.4 :    -65,    6,    0.0
    Revenge 3.0 avx2            :    500 (  92,  233,  175),  41.7 :    -50,    5,    0.0
    Rebel 16.1                  :    500 ( 124,  247,  129),  49.5 :     -2,    6,   33.7
    Igel 3.4.0 popavx2          :    500 ( 167,  248,   85),  58.2 :    +44,    6,  100.0


11) Igel 3.4.0 popavx2    -760 :   5000 (+426,=1468,-3106),  23.2 %

    vs.                         :  games (   +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish 230314 avx2       :    500 (   0,    8,  492),   0.8 :   -817,   10,    0.0
    Stockfish 15.1 221204       :    500 (   0,   13,  487),   1.3 :   -760,    9,    0.0
    KomodoDragon 3.2 avx2       :    500 (   1,   30,  469),   3.2 :   -546,    8,    0.0
    Berserk 11 avx2             :    500 (  20,  128,  352),  16.8 :   -300,    6,    0.0
    Ethereal 14.00 nnue         :    500 (  22,  163,  315),  20.7 :   -227,    6,    0.0
    Koivisto 9 avx2             :    500 (  42,  190,  268),  27.4 :   -151,    6,    0.0
    RubiChess 221120 avx2       :    500 (  84,  211,  205),  37.9 :   -109,    6,    0.0
    Revenge 3.0 avx2            :    500 (  75,  236,  189),  38.6 :    -94,    6,    0.0
    Rebel 16.1                  :    500 (  97,  241,  162),  43.5 :    -46,    6,    0.0
    Fire 8.NN avx2              :    500 (  85,  248,  167),  41.8 :    -44,    6,    0.0