ゲーミングPCを購入するうえでの参考指標として、ベンチマークソフトの結果を参照する方は多いと思います。

私も気になるタイトルがあると、ついベンチマークをチェックしてしまいます。しかし、一部のベンチマークは過度に信用しないほうが良い、と昔からよく言われます。

なぜでしょうか？今回はベンチマークを信用しすぎてはいけない理由を解説します。

標本の選択バイアス

標本の選択バイアスとは、「ある調査やテストを行う際に、標本（サンプル）の選定において、特定の特徴や条件に偏りがあること」を指します。

標本の選択バイアスがあると、調査結果やテスト結果が全体の実情を正確に反映しない可能性があるわけです。

例えば、ある学校でアンケートを行うと考えてみましょう。標本の選択バイアスがある場合、アンケートを受ける人たちがある特定の特徴を持つ可能性が高いです。

例えば、同じクラスの友達に声をかけやすい人が多いと、友達同士がアンケートを受ける可能性が高まります。その結果、アンケートの結果は友達同士の意見や特徴を多く含むことになり、学校全体の意見や特徴を正確に反映していない可能性があるのです。

ゲーム用ベンチマークソフトウェアは、特定のゲームタイトルやハードウェアの性能を評価するために特定のゲームやシナリオを使用します。

これは標本の選択バイアスを生み出し、一般的なゲームプレイとは異なる結果を導く可能性があるのです。よく言われるのが特定のGPUやCPUメーカーとの相性ですね。

世界最大手のCPUメーカーであるIntelは、多くのゲーム開発者やソフトウェア開発者と緊密に協力しており、彼らはIntelに最適化されたソフトウェアを提供することもあります。

この状態が続くと、IntelのCPUはその最適化によってベンチマークで高いスコアを出しやすくなるわけです。ちょっと陰謀論に近い面もあるのですが、ベンチマークの世界では根強く残る意見ですね。

ドライバーの最適化

GPUおよびCPUメーカーは、ベンチマーク結果を向上させるために、自社のハードウェアに特別に最適化されたドライバーを提供することがあります。

つまり「ベンチマーク専用ドライバ」のようなものです。専用ドライバを使用すると実際のゲームプレイとは異なる結果が生まれ、異様に高い（もしくは低い）スコアがでることもあります。

最近はあまり見かけませんが、私が自作PCにはまりだした10数年前にはちらほらと耳にした話題です。ドライバの出来でGPUの性能が大きく変わる時代だったことも影響しているのかもしれません。

ゲーム用ベンチマークの時期依存性

ハードウェアとソフトウェアは頻繁に更新されますが、ゲーム用ベンチマークソフトウェアもまた進化します。

新しいバージョンのベンチマークソフトウェアがリリースされると、それまでの結果と比較が難しくなり、信頼性が損なわれます。つまり、ベンチマークスコアの結果は、リリースされる時期にも依存するわけです。

環境の影響

ベンチマーク結果は、実際のゲームプレイと同じ環境でのみ信頼性があると言えます。しかし、ゲーム用ベンチマークソフトウェアは、異なるハードウェア・ドライバー・設定に対応しなければならないため、実際には環境の差を吸収しにくいのです。

さらに、温度や湿度などの外部要因も結果に影響を与え、信頼性を低下させます。雑誌やニュースメディアでの比較は環境をできるだけ統一しているようですが、大幅に構成が異なるPC同士の比較にはあまり意味を感じないですね。

それこそ、前述の選択バイアスやドライバーの影響をうけやすいからです。CPUもしくはGPU以外すべて同じ条件で比較するならば、まだ信用できるのですが…。

ベンチマークはあくまでも参考情報

私も性能評価にベンチマークスコアを使用するので大きなことは言えませんが、ベンチマークはあくまでも「参考情報」です。

最終的には実際の使用感を大切にしながらパーツを選定するのが良いと思います。とはいえ、「試しに使ってみる」ことが難しいのがゲーミングPCの世界。

やはり新しいパーツを選ぶ際にはベンチマークを参照せざるを得ません。単一のベンチマークだけを鵜呑みにせず、複数の結果を踏まえて判断していきたいですね。