43デジカメ*ラボ: Pixelmator Proでハイレゾショット

Pixelmator Proがどんどん進化してます。今回はML Super Resolution機能について。

ベータプログラム参加

昨年Pixelmatorに感動して、Pro版を購入。そのときベータテスターを募集していたので参加しました。基本はペイントソフトだけど写真のRAW現像ソフトとしての可能性を感じたので、あんな機能が欲しいとかこんな機能が欲しいとお願いしていたのですが、自分が必要としているRAW現像の最低限の機能については、最初の数バージョンであっという間に解決してくれました。凄いぜPixelmator team!

MLSR機能を試す

いまはディープラーニングを活用したML機能が進化し続けていて、色調整〜ノイズ除去ときて、v1.5.4で”ML Super Resolution”が搭載されました。

ミラーレス一眼カメラ「OM-D E-M1 Mark II」のJPEGデータを使って実行してみたのですが、うちのMacbook Airではすんごく時間がかかりました。（Ver.1.7以降はRAWも遅くなった）

以下、MLSR解説サイトからの引用です。外付けGPUまたはApple M1を購入した方がいいんでしょうか。とりあえずバッチ処理に対応して欲しいとお願いしたところ、次のアップデートで対応してくれました。→ その後、Apple M2を購入しました。

Mac

Compute time¹

Compute time with eGPU²

MacBook Pro (13-inch, Mid 2012)

61.6s

N/A³

MacBook Air (13-inch, 2018)

13.7s

0.58s

MacBook Pro (16-inch, 2019)

2.4s

0.4s

iMac Pro (2017)

0.56s

0.31s

M1 MacBook Air (2020)

0.51s

iPad mini (Sixth generation)

0.41s

1. 今回は、30万画素の画像を3倍にアップスケーリングしてテストしました。

2. AMD Radeon RX 5700 XT eGPUを使用したテストです。

3.外付けGPUを使用するには、Thunderbolt 3を搭載したMacが必要です。

オリジナル

ML Super Resolution

これ、実際にやってみてどんな気持ちが芽生えたかというと、元の素材は「最高のレンズを使った写真を使いたい」ということです。オールドレンズで撮影された写真をMLSRしたあと拡大して見ていくと、色収差とか粗が目立つんですね。広告などの仕事に携わっている人は、収差の少ないレンズを使ってきっちり素材を撮るべきなのかなと思いました。

最近のデジタルカメラは、人体認識や瞳AFなどディープラーニングを活用したオートフォーカスが主流となっている。マイクロフォーサーズの高画素化については、カメラ内で写真16枚を自動合成する「手持ちハイレゾショット」があります。しかし、撮影から生成までの待ち時間は「OM-D E-M1X」で16秒です。もっと待ち時間を短縮できれば気軽にスナップ撮影に使用できるので、それを支えるGPUの進化に期待です。→2022年3月、「OM SYSTEM OM-1」で5秒に短縮！

MLSRの実用的な使い道

真っ先に思いついたのが昔の写真や縮小加工された劣化データを高画素化する用途です。まさか、撮影してから10年後に人が写っていると気づくとは・・MLSR化することで、そんな発見がありました。

こちらは1000万画素のデジタル一眼レフ「E-420」で遊んでいた「Microsoft ICE」で写真を4枚合成したパノラマ写真です。これを更にMLSR化してみました。こちらは縦長すぎてMLSRしたあとの用途が思いつかず。でも、スマホ画面にはピッタリでしょうか？

1600〜2000万画素のデジタルカメラで飛行機、野鳥、ポートレートを被写体にしている人はもっと効果がありそうです。元々高性能レンズで撮影している人達ばかりですから、再利用可能なデータが豊富にあるはず。切り出したクローズアップ写真は、もう別の写真です。

オリジナル

E-M1 Mark II + M.ZUIKO 40-150mm F2.8 PRO + MC-20 + MLSR

大きくしてから小さくすべし？

デジタルカメラには、JPEGを低画素で出力するモードが用意されている。OM-D E-M1 Mark IIだと、ピクセルサイズはL, M, S。圧縮率はSuper Fine, Fine, Normal, Basicの4段階が選択可能です。

画像サイズ

L：2015万画素
M：768万画素
S：122万画素

圧縮率

SF：1/2.7
F ：1/4
N ：1/8
B ： 1/12

Sサイズ（左）、Lサイズ（右）

人形を使って全モードを撮影したところ、Sサイズで撮影したデータは詳細情報が失われてしまうことが分かった。そのため、Sサイズを後からMLSR化してMや Lサイズに変換しても、失われた情報をAIが正確に復元することは不可能でした。

Sサイズ＋MLSR（左）、Mサイズ（右）

ハイレゾショット VS MLSR

紅白を見ながらテーブルのみかんをOM-D E-M1 Mark IIの三脚ハイレゾショット！OM-D E-M1 Mark IIの三脚ハイレゾショットで高画質に撮るためには、少しの揺れも許しません。おすすめは液晶モニターをちょんと触るタッチシャッターです。

高画素化と共に詳細情報が8枚の写真情報を使って復元できるのが、デジタルカメラの三脚ハイレゾショット。単純にオリジナルの写真情報を高画素化して、不足部分はAIが補うのがPixelmator ProのMLSRという結果となった。

オリジナル20MP（左）、50MPハイレゾ（右）

RAW現像80MPハイレゾ（左）、20MPをMLSRで181MP化（右）

写真の正確性は、8枚合成の三脚ハイレゾショットに軍配が上がる。しかし、１枚のみの写真情報からここまで復元したMLSRのAI技術にも驚いた。

拡大縮小機能

メニューバー/画像/ML超解像は、元画像を3倍に拡大する機能だが、少しだけ解像度を上げたい場合は、メニューバー/画像/画像サイズで解像度を指定することができます。

拡大縮小のアルゴリズムは「バイリニア」、「ランチョス」、「最近隣」、「超解像技術（MLSR）」の4タイプから選択できます。

バイリニア：写真向け。ただし拡大サイズによっては画像がぼやける場合あり。
ランチョス：グラフィック向け。稀にエッジの輪郭にハロが発生する場合があるので注意する。
最近隣：ピクセルアート向け
MLSR：画像のパターンとテクスチャを分析し、視覚的に重要な詳細をより大きな次元で再作成する。3倍に拡大したときに最大の効果を得られる

写真の解像度を300dpiから450dpiに上げる検証をした結果、元の写真をベースとして自然に拡大できたのは「ランチョス」でした。このような使い方であれば古いMacでも簡単に変換できます。

ということで、超高画素化から劣化したデータのリカバリー用途まで、今後も様々な場面で役に立ちそうなPixelmator Proの新機能「ML Super Resolution」でした。

Pixelmator Proでハイレゾショット