2020年から2022年の電竜戦、世界コンピュータ将棋選手権を経て、将棋AI界での覇権がNNUE型のやねうら王からディープラーニング型のdlshogiに移ったように思えます。
さて、そんなdlshogiですが、2年の間に複数のモデルが登場しています。
dr2-exhiが強いというのは知っているけれど、他のモデルはどうなのか？と気になったため、今回簡単に複数モデルのレーティングを調べてみました。
今回調べる各モデルは以下の表にまとめました。
| 時期 | 一言説明 | リンク | |
| GCT電竜(2020) | 2020/11/25 | 第1回の電竜戦(2020)で優勝したモデル | Release 世界将棋AI 電竜戦バージョン（「GCT電竜」同梱） · TadaoYamaoka/DeepLearningShogi · GitHub |
| Qhapaq(2022) | 2022/5/7 | Qhapaqさん作成。resnet の 20layersで書籍のデータから学習をしたもの。 | Release 追加学習用の深層学習評価関数群 · qhapaq-49/qhapaq-bin · GitHub |
| 創りかた本(2021) | 2021/12/20 | 付録として教師データと学習済モデルがついてくる。 | 【書籍の宣伝】強い将棋ソフトの創りかた – TadaoYamaokaの開発日記 |
| WCSC31(2021) | 2021/5/5 | 2種類のモデルがあり、今回はmodel-0000226kai.onnxを使用 | Release 第31回世界コンピュータ将棋選手権バージョン · TadaoYamaoka/DeepLearningShogi · GitHub |
| dr2-exhi(2021) | 2021/8/16 | ブロック数が10→15に変化、ライセンスに同意が必要。 | Release 第2回世界将棋AI電竜戦エキシビジョンバージョン · TadaoYamaoka/DeepLearningShogi · GitHub |
今回の調査は簡易的なものであるため、水匠5／やねうら王ver7.61に対する勝率から比較することにしました。
条件
CPU: Ryzen 7 3700X (8スレッドをやねうら王で使用)
GPU: GeForce RTX 3070
搭載メモリ：32GB
同一マシン内で連続対局
それぞれ先後50局ずつ計100局
持ち時間：1手5秒
GUI：ShogiGUI
使用エンジン: やねうら王ver7.61, dlshogi-wcsc32
山岡互角局面集を使用し、33手目から対局開始
レーティングの誤差は上下に25％信頼区間。
千日手・512手到達は引き分けとし、計算時引き分けは0.5勝と計算
レーティング計算には信頼区間計算機 (2016-12-10, LFICS) (techblog.jp)を使わせていただきました。
水匠5設定(デフォルト値からの変更箇所)
USI_Hash:1024MB
MaxMovesToDraw:512
FV_SCALE:24
NetworkDelay:0
NetworkDelay2:0
ResignValue:3000
dlshogi設定(デフォルト値からの変更箇所)
Byoyomi_Margin:0
Eval_Coef:285
Resign_Threshold:20
結果
| vs 水匠5/YO763 | レーティング差 | 誤差(25%信頼区間) | |
| GCT電竜(2020) | 19-5-76 | -230 | +20/-33 |
| Qhapaq(2022) | 23-4-73 | -191 | +18/-29 |
| 創りかた本(2021) | 22-8-70 | -182 | +18/-28 |
| WCSC31(2021) | 47-8-45 | 7 | +21/-21 |
| dr2-exhi(2021) | 50-12-38 | 42 | +21/-21 |
対局条件の都合上厳密な比較とはなりませんが、大雑把に見てdr2-exhi>WCSC31>創りかた本/Qhapaq/GCT電竜という序列になりました。この結果を見るに、水匠5と同等クラスのWCSC31版のdlshogi with GCTが、当時の大会で結果が振るわなかったのが意外でした。また、強い将棋ソフトの創りかた書籍のモデルはGCT電竜と同等以上の強さとの触れ込みでしたが、今回の計測ではその差を見ることはできませんでした。恐らく、直接対決やより対局数を増やすことで、その差ははっきりしてくると予想されます。
追記：QRLでのスクリプト処理での結果はこちらdata generated : 20/8/2022 total games: 500
| software | rating | error | games |
|---|---|---|---|
| dr2-exhi | 47 | +27/-36 | 100 |
| WCSC31 | 8 | +19/-25 | 100 |
| SuiSho5 | 0 | +0/-0 | 500 |
| Qhapaq | -195 | +34/-30 | 100 |
| Make | -199 | +35/-22 | 100 |
| GCTdenryu1 | -229 | +24/-34 | 100 |
追加分の棋譜
右クリックでダウンロード
コメント