Stefan Pohl Computer Chess

Home of famous UHO openings and EAS Ratinglist


Lc0 or other GPU-Neural Nets versus Stockfish 15.1 testing

 

 

Playing conditions:

 

Hardware: Ryzen 7 6800H 2.6GHz Notebook, RTX 3060 GPU, Windows 11 64bit, 32GB RAM

Cuda version installed: Cuda 11.7

Speed:  Stockfish 15.1 plays with 14 Threads (=7 cores) and reaches 10 MN/s in the middlegame. Lc0 minibatchsize parameter is set to the best value for each netsize, depending on Lc0's benchmark with backendbench --clippy.

Hash: 2 GB Hash for Stockfish 15.1 / (NNCacheSize 1000000 or 8192 RamLimitMb for Lc0)

GUICutechess-cli (GUI ends game, when a 5-piece endgame is on the board)

Tablebases: None for engines, 5 Syzygy for cutechess-cli

Openings: UHO_2022_6mvs_+120_+129.pgn. Download my UHO 2022 openings here

Ponder, Large Memory Pages & learning: Off

Thinking time: 2min+2sec for Lc0 and 1min+1sec for Stockfish 15.1: I measured nps on my system and compared these values with the TCEC: My CPU is way too fast, compared with Lc0 running on my RTX 3060 GPU, so it makes sense to set the thinking-time of Stockfish to only 50% of the thinking-time of Lc0. For compensating the fast CPU and the fact, that in TCEC Lc0 benefits from fast hardware and long thinking-time (both is better for Lc0, not for Stockfish)

One testrun takes around nearly 5 days. Average game-duration: 6min 45sec

 

Each Lc0 / Neural Net plays 1000 games vs. Stockfish 15.1 with my UHO 2022 openings

 

Learn more about Lc0 (getting started in a GUI, links to net-downloads, FAQs, development-informations and the Leela-Blog) here

 

Latest update: 2024/05/14: Lc0 0.31dev 819344 (+8 Elo to last T80-net testrun (817886))

 

Download all played games (games of the old test-setups, too): here

     Program                       Elo    +    -  Games    Score   Av.Op. Draws

   1 Stockfish 15.1 avx2         :    0    3    3 26000    56.8%    -48   49.5%
   2 Lc0 0.31dev T3-2815         :  -14   15   15  1000    48.0%      0   47.7%
   3 Lc0 0.31dev BT4-6077500     :  -14   16   16  1000    48.0%      0   48.7%
   4 Lc0 0.31dev BT4-6315000     :  -20   15   15  1000    47.1%      0   51.4%
   5 Lc0 0.31dev BT4-5757500     :  -21   15   15  1000    47.0%      0   52.1%
   6 Lc0 0.31dev TCEC 25 SuFi    :  -21   15   15  1000    47.0%      0   49.8%
   7 Lc0 0.31dev TCEC 25         :  -22   16   16  1000    46.9%      0   52.3%
   8 Lc0 0.31dev BT4-6147500     :  -25   15   15  1000    46.5%      0   49.7%
   9 Lc0 0.31dev 819344          :  -31   16   16  1000    45.5%      0   49.5%
  10 Lc0 0.31dev BT4-5000        :  -33   15   15  1000    45.3%      0   49.4%
  11 Lc0 0.31dev BT3-2860        :  -35   15   15  1000    45.0%      0   50.6%
  12 Lc0 0.31dev BT4-3400        :  -37   15   15  1000    44.8%      0   49.6%
  13 Lc0 0.31dev 817477          :  -38   16   16  1000    44.6%      0   48.2%
  14 Lc0 0.30dev T1-4000         :  -39   16   16  1000    44.5%      0   49.8%
  15 Lc0 0.31dev 817886          :  -39   16   16  1000    44.4%      0   50.4%
  16 Lc0 0.30dev 811107          :  -41   15   15  1000    44.1%      0   46.1%
  17 Lc0 0.30dev TCEC 24         :  -42   15   15  1000    44.1%      0   51.0%
  18 Lc0 0.30rc1 T1-4000         :  -44   16   16  1000    43.7%      0   49.8%
  19 Lc0 0.30dev BT2-4510        :  -45   16   16  1000    43.5%      0   47.5%
  20 Lc0 0.30dev T1-30875        :  -45   16   16  1000    43.5%      0   47.5%
  21 Lc0 0.30.0 815863           :  -73   14   14  1000    39.8%      0   47.8%
  22 Lc0 0.30rc2 814174          :  -80   14   14  1000    38.8%      0   51.0%
  23 Lc0 0.30dev 813207          :  -84   15   15  1000    38.3%      0   49.6%
  24 Lc0 0.30dev TCEC 20         :  -90   16   16  1000    37.5%      0   50.5%
  25 Lc0 0.30dev T1-2432500      :  -94   16   16  1000    36.9%      0   47.2%
  26 Lc0 0.30dev TCEC 22         :  -95   16   16  1000    36.8%      0   49.4%
  27 Lc0 0.30dev TCEC 18         : -133   17   17  1000    31.9%      0   50.5%


Games        : 26000 (finished)

White Wins   : 13035 (50.1 %)
Black Wins   : 94 (0.4 %)
Draws        : 12871 (49.5 %)

 

Below the gamebase recalculated with my Gamepairs Rescorer Batch-Tool. Realizing Vondele's (Stockfish maintainer) idea: "Thinking uniquely in game pairs makes sense with the biased openings used these days. While pentanomial makes sense it is a bit complicated so we could simplify and score game pairs only (not games) as W-L-D (a traditional  score of 2-0, or 1.5-0.5 is just a W)."

   # PLAYER                      :  RATING  ERROR  PLAYED     W     D     L   (%)  CFS(%)
   1 Stockfish 15.1 avx2         :       0   ----   13000  5013  6499  1488  63.6      99
   2 Lc0 0.31dev T3-2815         :     -27     22     500    89   283   128  46.1      57
   3 Lc0 0.31dev BT4-6077500     :     -30     21     500    95   267   138  45.7      71
   4 Lc0 0.31dev BT4-6315000     :     -39     22     500    80   285   135  44.5      59
   5 Lc0 0.31dev BT4-5757500     :     -42     22     500    83   274   143  44.0      54
   6 Lc0 0.31dev TCEC 25 SuFi    :     -44     21     500    78   282   140  43.8      52
   7 Lc0 0.31dev TCEC 25         :     -44     22     500    85   267   148  43.7      63
   8 Lc0 0.31dev BT4-6147500     :     -49     22     500    80   270   150  43.0      82
   9 Lc0 0.31dev 819344          :     -64     22     500    64   282   154  41.0      55
  10 Lc0 0.31dev BT4-5000        :     -66     22     500    66   275   159  40.7      61
  11 Lc0 0.31dev BT3-2860        :     -70     23     500    72   257   171  40.1      60
  12 Lc0 0.31dev BT4-3400        :     -75     22     500    64   267   169  39.5      57
  13 Lc0 0.31dev 817477          :     -78     22     500    61   269   170  39.1      54
  14 Lc0 0.30dev T1-4000         :     -79     22     500    62   265   173  38.9      57
  15 Lc0 0.31dev 817886          :     -82     22     500    53   279   168  38.5      52
  16 Lc0 0.30dev 811107          :     -83     23     500    53   278   169  38.4      62
  17 Lc0 0.30dev TCEC 24         :     -87     21     500    56   266   178  37.8      57
  18 Lc0 0.30rc1 T1-4000         :     -90     23     500    62   250   188  37.4      56
  19 Lc0 0.30dev T1-30875        :     -93     23     500    60   251   189  37.1      54
  20 Lc0 0.30dev BT2-4510        :     -94     22     500    60   249   191  36.9     100
  21 Lc0 0.30.0 815863           :    -151     22     500    34   229   237  29.7      86
  22 Lc0 0.30rc2 814174          :    -168     24     500    28   221   251  27.7      67
  23 Lc0 0.30dev 813207          :    -176     24     500    21   226   253  26.8      78
  24 Lc0 0.30dev TCEC 20         :    -190     24     500    25   203   272  25.3      76
  25 Lc0 0.30dev T1-2432500      :    -202     25     500    20   200   280  24.0      59
  26 Lc0 0.30dev TCEC 22         :    -206     25     500    25   186   289  23.6     100
  27 Lc0 0.30dev TCEC 18         :    -315     30     500    12   118   370  14.2     ---


------------------------------------------------------------------- 
--- Number of all Gamepairs          : 13000 
--- Number of drawn Gamepairs overall: 6499 (= 49.99%) 
--- Number of 1:1 drawn Gamepairs    : 3291 (= 25.32%) 
--- Number of 2-draws drawn Gamepairs: 3208 (= 24.68%) 
------------------------------------------------------------------- 

You can download my Gamepairs Rescorer Tool right here