前編【カメラを使うなら必読】DxOMarkに信憑性はあるのか!?評価方法から結論まで、徹底検証！

※誤解を未然に防ぐために先に述べておきますが、これはあくまで筆者の個人的な分析を行った結果の記事であり、この記事の評価は絶対ではありません。一個人の判断であるので、読者の方は鵜呑みにはせず、あくまで参考程度にお読みください。

今回の記事では、DxOMarkのスマートフォンカメラの評価方法を徹底解説。
そして、その評価と何人かの著名な海外ガジェットYoutuberの評価を比較。
これによって、DxOMarkの評価の信憑性を明らかにしていきます。
長い記事になりますので、今回は前編と後編にわけて記事をお送りします。最後までお付き合いください。

はじめに

カメラの良さを示すには

今やスマートフォンのスペックを決定づける重要な要素である、カメラ。
メーカー各社はカメラに対して、デザインやSoCと同様かそれ以上に重きを置いており、カメラの性能の熾烈な争いが続いています。新型スマートフォンの発表会では、わが社のカメラは何万画素だとか、センサーサイズは何分の1だとか、わかりやすい数字でカメラをアピール。

しかし、画素数やセンサーサイズなどの、数字で表せるスペックでは、カメラの優秀さを示すには限界があります。各社はそれぞれAIによる独自のチューニングで写真の色味は露出を工夫しており、同じ風景を撮っても結果は様々なのです。

そこで注目のDxOMark

そこで注目されているのが、DxOMarkです。
DxOMarkとは、主にスマートフォンのカメラを実機を使って評価して、点数化をしているベンチマークサイトです。2008年に設立され、自身を“カメラやレンズ、スマートフォンなどの質を科学的に評価する独立したベンチマーク機関”(原文訳)であるとしています。スマートフォンのカメラの評価は2017年頃から行われており、以前からマニアの間では有名でした。

特に有名になったのは、ごく最近のことです。メーカー各社の発表会で、DxOMarkが活用されるようになったのも、その一因でしょう。

• 

• 

DxOMarkの公式ホームページで実際に撮影した写真を確認できることもあって、特にXiaomiやOppoが、スコアを製品のアピールに多用しています。そのため以前よりDxOMarkでの評価が重要視されるようになり、海外のガジェットまとめサイトでもよく話題になっています。

DxOMarkは公平？

その一方で、ある疑念も生まれています。

それは、メーカーがDxOMarkに献金をして、自社の端末の評価を上げてもらっているのでは、と言うものです。DxOMarkは以前にメーカーから資金提供を受けていたことを2018年に明らかにしていますが、この資金提供が評価に影響しているのではないか、と言う声が多いのです。公式にはDxOMarkは賄賂の事実を否定していますが、真実は当然、当事者たちにしかわかりません。

そこで今回の記事では、DxOMarkのスマートフォンカメラの評価方法を徹底解説します。
また、その評価と、何人かの著名な海外ガジェットYoutuberの評価を比較。これによって、DxOMarkの評価の信憑性を明らかにしていきます。長い記事になりますので、今回は前編と後編にわけて記事をお送りします。最後までお付き合いください。

DxOMarkの評価方法を解説

前述のように、DxOMarkはスマートフォンカメラの質をを点数化して評価しています。全ての端末が掲載されているわけではありませんが、多くの有名端末は記載されています。点数は絶対評価のようです。

試しに、2020年5月11日現在にスコア1位に君臨する、Huawei P40 Proの記事を例に解説します。

記事のはじめには端末の概要と、カメラの特徴が説明されます。カメラの性能を測るサイトなだけあって、説明はやはりカメラに関するものが多いですね。

そして、具体的な評価の前に示されるのが、各項目に関するスコアの開示です。データの測定は大人数で10日近くをかけて行われるのだそう。手抜きをしてる様子は全くありません。

評価に際して、いくつかのチェック項目が設けられています。
写真に関しては、Exposure(露出)、Color(色)、Autofocus(オートフォーカス)、Texture(質感)、Noise(ノイズ)、Artifacts(人工物)、Night(夜景)、Zoom(ズーム)、Bokeh(ボケ)、Wide(広角カメラ)、の10項目。
ビデオに関しては、写真の露出から人工物までの6項目に、Stabilization(手ブレによる安定性)を加えた全7項目になっています。

この項目を総合したスコアが、端末ごとの評価に使用されます。

この後は、各項目に関して、実際に撮影された画像を使って評価がされます。ノイズやズーム、夜景など端末ごとの差がわかりやすい項目では、発売日が近い同世代の端末を含めた3台での画質比較が記載。
画像やグラフがあるので、英語を読むのが苦手な方でも視覚的かつ理論的に、各端末の特徴が理解できる構成になっています。

そして最後に、評価のまとめが書かれています。
上になんだかごちゃごちゃ書かれていますが、下にPros and Cons(良い点と悪い点)が簡潔に表にまとめられているので、そこを読めば十分です。
ちなみに結びには、スマートフォンにベストなカメラを求めるのであれば、P40 Proの代わりはいない(それくらいP40 Proが突き抜けて優秀だ)、と書いてあります。べた褒めですね。

検証方法の説明

DxOMarkの評価方法を理解したところで、本題に入りましょう。

記事冒頭で述べた、DxOMarkの信憑性とは何でしょうか。

私見ですがそれはこの場合、

①特定のメーカーの端末に対して、明らかなスコアの優遇をしていないかどうか(公平性)
②スコアの差がユーザーの声に見合ったものなのかかどうか、つまり素人目で見てわかる違いがあるのか(有効性)

になるのではないでしょうか？

そのためには、こちらもできる限り筋が通る検証が必要です。
そこで、２種類のグループを設けることにします。

グループ1は、
Huawei P40 Pro(DxOMark スコア128)
Samsung S20 Ultra(同122)
Apple iPhone 11 Pro Max(同117)
という、DxOMarkのスコアにやや差が見られる3端末のグループ。

グループ2は、
Oppo Find X2 Pro(DxOMark スコア124)
Xiaomi Mi 10 Pro(同124)
という、DxOMarkのスコアが同点の2端末のグループ。

この２つのグループについて、それぞれで撮影した写真について、DxOMarkの評価と海外のガジェット系YouTubeチャンネルの評価を比較することで、DxOMarkに対してできる限り信憑性のある評価をしていきたいと思います。
なお、動画の評価もDxOMarkは行っていますが、今回は割愛することにします。写真と比較すると動画の評価に関する情報量が少なく、記事で伝えることが難しいこと。そして写真のスコアと動画のスコアに大きな乖離がないことが、大きな理由です。

もし①と②が保たれている場合、グループ1はほぼスコア通りの写真のクオリティ差が私の目で確認できて、グループ2では写真のクオリティに関してほぼ同じ評価が得られるはずです。また、YouTubeからも私と同じような評価が得られれば完璧です。

逆に、グループ1で明らかなクオリティ差が確認できなかったり、グループ2で2端末の写真に大きなクオリティ差が感じられた場合、①は検証できなかったことになります。また、DxOMarkが撮影した写真がYouTuberの撮影した写真と明らかなクオリティの違いが見られる場合は、②は検証できなかったことになります。

では、条件を整理したところで、検証を始めましょう。

DxOMarkの評価はいかに

グループ1(P40 Pro S20 Ultra iPhone 11 Pro Max)

この3端末の比較では、Galaxy S20 Ultraの記事を使用して、DxOMarkの評価を確認していきます。

• 

• 

• 

まず、それぞれのスコアは上記のようになっています。
写真だけでのスコアも総合点と同じような差がありますね。それでは詳しい評価を見ていきます。本当は全ての項目をチェックしていきたいのですが、そうすると内容が倍以上に膨れ上がってしまうので、今回はスコアの差がわかりやすい一部項目のみの解説になります。

Exposure

S20 Ultraは日向と日陰が共存したダイナミックな風景の撮影が得意なようです。iPhoneと比べると色の鮮明さが際立ちます。しかし、室内の写真を見ると、壁に反射した光が若干気になります。細かい部分の処理はP40 Proが一枚上手なようです。
しかしどの写真も素晴らしい出来栄えなので、点数に差はあまり見られず。

Color

室内での一枚で、座っている女性の後ろには様々な色のインテリアが置いてあります。左の2枚と比べると、やはりiPhoneの写真はコントラストが薄い気がします。また、S20 UltraはP40 Proに比べると肌色の表現が今ひとつなようです。女性の顔色に少し黄色味がかかりすぎています。個人的には苦手ですが、DxOMarkはあまり気にしていない様子です。
ここも点差はあまり見られず。

Night

夜景の評価では、iPhoneは対象にされていません。よって2端末での比較になります。
どちらも空の色がわかるほどの明るさの綺麗な写真で、一見違いがわかりません。しかし大きく拡大すると、S20 Ultraにはノイズが。空の明るさも、少しではありますがP40 Proの方が自然です。
ここはP40 Proの圧勝で、6点もの差がついています。

Zoom

違いが最もわかりやすいのが、このズームテストです。
やはり頭一つ抜きん出ているのはP40Proですね。素晴らしいディテールです。S20 Ultraも健闘していますが、DxOMarkによると、4倍ズームにおいて極端な色の潰れが起こるとのこと。iPhoneは少し比べる相手が悪かったようです。iPhoneが70点台、S20 Ultraが80点台なのに対し、P40 Proはなんと115点。

Wide

広角のテストについてですが、これはS20 Ultraの圧勝です。
一目でわかると思いますが、画角が広く、色彩が豊かです。細部の質はやはりP40 Proが一番ですが、点数は低いようです。そもそも広角カメラは遠近感を強調したり広がりを見せるために使うもので、ズームのために使うのではありません。P40 Proは強みが裏目に出ましたね。iPhoneは画角だけで言えばS20 Ultraより広いのですが、全体的に少し黄色味がかかって暗くなってしまいました。

グループ2(Find X2 Pro Mi10 Pro)

この2端末の比較では、Oppo Find X2 Proの記事を使用して、DxOMarkの評価を確認していきます。

Exposure

息をのむほどの素晴らしいクオリティです。
どちらもほとんどクオリティに差は感じられません。細かいことを言えば、Find X2 Proの方が、空の色が鮮やかな気がします。

Night

この夜景では、2枚の写真に大きな差が現れました。
Find X2 Proは実際より写真に若干の黄色味がかかりますが、良い雰囲気の写真が撮れます。背景なども派手すぎず、良い出来です。
それに対して、Mi 10は全体的に少し暗めです。暗さは許容範囲ですが、明らかに背景が白とびしているのがわかります。どうやら露出補正が暴走しているようです。
評価ではここで5点の差がついています。

Zoom

ここでも大きな差が出ました。
どちらもノイズが少ない良い写真ですが、Find X2 Proの方が実際に近い暗さを表現できています。しかし文字が読みづらい他、ディテールが少し潰れてしまっているようです。
Mi 10 Proは実際より少し明るいかと思われます。しかしそれを覆すほどの、圧巻のディテール。意外なところで圧倒的な強さを発揮しました。
ここでMi 10 Proに、Find X2 Proよりも13点の加点。

Bokeh

昼間の光の多い写真では、あまり差は現れないようです。
上のポートレート写真ですが、Mi10の方が髪1本1本のディテールは上のようです。しかし背景がボケすぎなようにも思えます。
ここは好みの差であろうとして、DxOMarkは同点を与えています。

前編はここまで

記事の前半はこの辺で終了です。
この次は、海外の著名なYoutubeチャンネルの動画を見ていきます。その後、筆者の見解も踏まえて、DxOMarkの信憑性について考察していきます。

後半もぜひお読みください！

後編【カメラを使うなら必読】DxOMarkに信憑性はあるのか!?評価方法から結論まで、徹底検証！

source(1)(2)