Stefan Pohl Computer Chess

Home of famous UHO openings and EAS Ratinglist


Lc0 or other GPU-Neural Nets versus Stockfish 15.1 testing

 

 

Playing conditions:

 

Hardware: Ryzen 7 6800H 2.6GHz Notebook, RTX 3060 GPU, Windows 11 64bit, 32GB RAM

Cuda version installed: Cuda 11.7

Speed:  Stockfish 15.1 plays with 14 Threads (=7 cores) and reaches 10 MN/s in the middlegame. Lc0 minibatchsize parameter is set to the best value for each netsize, depending on Lc0's benchmark with backendbench --clippy.

Hash: 2 GB Hash for Stockfish 15.1 / (NNCacheSize 1000000 or 8192 RamLimitMb for Lc0)

GUICutechess-cli (GUI ends game, when a 5-piece endgame is on the board)

Tablebases: None for engines, 5 Syzygy for cutechess-cli

Openings: UHO_2022_6mvs_+120_+129.pgn. Download my UHO 2022 openings here

Ponder, Large Memory Pages & learning: Off

Thinking time: 2min+2sec for Lc0 and 1min+1sec for Stockfish 15.1: I measured nps on my system and compared these values with the TCEC: My CPU is way too fast, compared with Lc0 running on my RTX 3060 GPU, so it makes sense to set the thinking-time of Stockfish to only 50% of the thinking-time of Lc0. For compensating the fast CPU and the fact, that in TCEC Lc0 benefits from fast hardware and long thinking-time (both is better for Lc0, not for Stockfish)

One testrun takes around nearly 5 days. Average game-duration: 6min 45sec

 

Each Lc0 / Neural Net plays 1000 games vs. Stockfish 15.1 with my UHO 2022 openings

 

Learn more about Lc0 (getting started in a GUI, links to net-downloads, FAQs, development-informations and the Leela-Blog) here

 

Latest update: 2024/02/26: Lc0 0.31dev BT4-6077500 (the BT4-nets make really good progress)

 

Download all played games (games of the old test-setups, too): here

    Program                       Elo    +    -  Games    Score   Av.Op. Draws

   1 Stockfish 15.1 avx2         :    0    3    3 22000    57.3%    -52   49.4%
   2 Lc0 0.31dev T3-2815         :  -14   15   15  1000    48.0%      0   47.7%
   3 Lc0 0.31dev BT4-6077500     :  -14   16   16  1000    48.0%      0   48.7%
   4 Lc0 0.31dev BT4-5757500     :  -21   15   15  1000    47.0%      0   52.1%
   5 Lc0 0.31dev TCEC 25 SuFi    :  -21   15   15  1000    47.0%      0   49.8%
   6 Lc0 0.31dev TCEC 25         :  -22   15   15  1000    46.9%      0   52.3%
   7 Lc0 0.31dev BT4-5000        :  -33   15   15  1000    45.3%      0   49.4%
   8 Lc0 0.31dev BT3-2860        :  -35   16   16  1000    45.0%      0   50.6%
   9 Lc0 0.31dev BT4-3400        :  -37   15   15  1000    44.8%      0   49.6%
  10 Lc0 0.31dev 817477          :  -38   16   16  1000    44.6%      0   48.2%
  11 Lc0 0.30dev T1-4000         :  -39   16   16  1000    44.5%      0   49.8%
  12 Lc0 0.30dev 811107          :  -41   15   15  1000    44.1%      0   46.1%
  13 Lc0 0.30dev TCEC 24         :  -42   15   15  1000    44.1%      0   51.0%
  14 Lc0 0.30rc1 T1-4000         :  -44   15   15  1000    43.7%      0   49.8%
  15 Lc0 0.30dev BT2-4510        :  -45   16   16  1000    43.5%      0   47.5%
  16 Lc0 0.30dev T1-30875        :  -45   15   15  1000    43.5%      0   47.5%
  17 Lc0 0.30.0 815863           :  -73   15   15  1000    39.8%      0   47.8%
  18 Lc0 0.30rc2 814174          :  -80   16   16  1000    38.8%      0   51.0%
  19 Lc0 0.30dev 813207          :  -84   15   15  1000    38.3%      0   49.6%
  20 Lc0 0.30dev TCEC 20         :  -90   15   15  1000    37.5%      0   50.5%
  21 Lc0 0.30dev T1-2432500      :  -94   16   16  1000    36.9%      0   47.2%
  22 Lc0 0.30dev TCEC 22         :  -95   16   16  1000    36.8%      0   49.4%
  23 Lc0 0.30dev TCEC 18         : -133   15   15  1000    31.9%      0   50.5%


Games        : 22000 (finished)

White Wins   : 11057 (50.3 %)
Black Wins   : 82 (0.4 %)
Draws        : 10861 (49.4 %)

 

Below the gamebase recalculated with my Gamepairs Rescorer Batch-Tool. Realizing Vondele's (Stockfish maintainer) idea: "Thinking uniquely in game pairs makes sense with the biased openings used these days. While pentanomial makes sense it is a bit complicated so we could simplify and score game pairs only (not games) as W-L-D (a traditional  score of 2-0, or 1.5-0.5 is just a W)."

   # PLAYER                      :  RATING  ERROR  PLAYED     W     D     L   (%)  CFS(%)
   1 Stockfish 15.1 avx2         :       0   ----   11000  4406  5383  1211  64.5      99
   2 Lc0 0.31dev T3-2815         :     -27     21     500    89   283   128  46.1      57
   3 Lc0 0.31dev BT4-6077500     :     -30     21     500    95   267   138  45.7      77
   4 Lc0 0.31dev BT4-5757500     :     -42     23     500    83   274   143  44.0      53
   5 Lc0 0.31dev TCEC 25 SuFi    :     -44     22     500    78   282   140  43.8      52
   6 Lc0 0.31dev TCEC 25         :     -44     21     500    85   267   148  43.7      91
   7 Lc0 0.31dev BT4-5000        :     -66     23     500    66   275   159  40.7      60
   8 Lc0 0.31dev BT3-2860        :     -70     22     500    72   257   171  40.1      61
   9 Lc0 0.31dev BT4-3400        :     -75     22     500    64   267   169  39.5      58
  10 Lc0 0.31dev 817477          :     -78     21     500    61   269   170  39.1      54
  11 Lc0 0.30dev T1-4000         :     -79     23     500    62   265   173  38.9      59
  12 Lc0 0.30dev 811107          :     -83     21     500    53   278   169  38.4      61
  13 Lc0 0.30dev TCEC 24         :     -87     22     500    56   266   178  37.8      57
  14 Lc0 0.30rc1 T1-4000         :     -90     23     500    62   250   188  37.4      56
  15 Lc0 0.30dev T1-30875        :     -93     22     500    60   251   189  37.1      54
  16 Lc0 0.30dev BT2-4510        :     -94     21     500    60   249   191  36.9     100
  17 Lc0 0.30.0 815863           :    -151     25     500    34   229   237  29.7      83
  18 Lc0 0.30rc2 814174          :    -168     24     500    28   221   251  27.7      68
  19 Lc0 0.30dev 813207          :    -176     25     500    21   226   253  26.8      78
  20 Lc0 0.30dev TCEC 20         :    -190     24     500    25   203   272  25.3      76
  21 Lc0 0.30dev T1-2432500      :    -202     25     500    20   200   280  24.0      59
  22 Lc0 0.30dev TCEC 22         :    -206     25     500    25   186   289  23.6     100
  23 Lc0 0.30dev TCEC 18         :    -315     31     500    12   118   370  14.2     ---


------------------------------------------------------------------- 
--- Number of all Gamepairs          : 11000 
--- Number of drawn Gamepairs overall: 5383 (= 48.94%) 
--- Number of 1:1 drawn Gamepairs    : 2743 (= 24.94%) 
--- Number of 2-draws drawn Gamepairs: 2640 (= 24.00%) 
------------------------------------------------------------------- 

You can download my Gamepairs Rescorer Tool right here