RAW 現像ソフト「pRAWPro」をつくっています(全3回の2)現像の中身

開発中の RAW 現像ソフト pRAWPro の連載、2 回目は現像の中身です。写真を解析する自動補正、部分だけを整えるマスク、切り抜き、HDR とパノラマの合成、そして端末の中だけで動く AI を、画面と一緒に紹介します。

RAW 現像ソフト「pRAWPro」の開発記録、全 3 回の 2 回目です。第 1 回では、作り始める前に決めたことと、画面の見た目が決まるまでを書きました。今回は、その画面の中で動いている現像の機能の話です。

この記事の画面に写っている湖の写真は、画面の説明用に画像生成 AI で作った架空の風景です。図形の画像は、機能の確認用に作った試験画像です。どちらも、実際のカメラの RAW の画質を示すものではありません。

自動補正:まず写真を「数える」

自動補正の前後比較。左に自動補正前、右に現在の調整が並ぶ
自動補正の前後比較。左が実行する直前、右が今の調整です。右側はその後の微調整や取り消しにも追いかけて変わります。

杖のアイコン(または ⌘⇧A)を押すと、写真の明るさと色の分布を調べて、露光量・コントラスト・ハイライト/シャドウ・白/黒レベル・彩度、それにホワイトバランスをまとめて決めます。

中身は、AI ではなく統計による解析です。明るさのばらつき方、白飛びしかけている画素の量、白や灰色であるはずの部分の色の偏り、といった数字から値を決めています。Lightroom の自動補正と同じ結果になることは目指していませんし、確かめてもいません。

何度押しても、結果は同じ自動補正をもう一度押したとき、今の調整の上にさらに補正を重ねると、押すたびに写真がどんどん明るくなってしまいます。pRAWPro では、毎回元の写真から計算し直すので、何度押しても同じ値になります。白い部分が見つからない写真では、色を無理に動かさずホワイトバランスを据え置きます。

手元の Mac(Apple M5)で、普段のカメラ α7 IV の RAW 16 枚を使って試したところ、解析して値を決めるまでの時間は 1 枚あたり 30 ミリ秒ほどでした(RAW の読み込みと書き出しは除いた時間です)。

調整パネル:1 行に名前・スライダー・数値

右のパネルには、基本補正、トーンカーブ、8 色の HSL、白黒ミキサー、カラーグレーディング、シャープとノイズ軽減、レンズ補正、周辺光量、粒子などが並びます。項目が多いので、1 行の高さをそろえて詰めて並べ、見出しをクリックすると折りたためるようにしました。

スライダーを右クリックすると初期値に戻り、数値は直接入力して Enter で確定できます。項目の名前にマウスを重ねると、その調整が何をするのかを説明する小さなカードが開きます。同じ「適用量」でも、グループによって意味が違うので、説明もグループごとに書き分けています。

切り抜きと傾きの補正

切り抜きの画面。傾いた試験画像の上に、2.5 対 1 の切り抜き枠と黄金比のガイドが表示されている
切り抜きの画面(試験画像)。写真の上に線を引くと、その線が水平になるように傾きを直します。

切り抜きは、4:3 などの固定比率と自由比率、よく使う比率の登録に対応しています。枠を動かしたり、四隅や辺で大きさを変えたりでき、三分割・黄金比などの構図ガイドも出せます。

あとから切り抜きを広げ直せるように、切り抜く前の写真全体を見ながら枠を編集できるようにしています。回転や遠近の補正で四隅にできる空白を避けて、枠を自動で内側へ縮める機能もあります。

マスク:写真の一部だけを整える

円形マスクの範囲を白黒で表示した画面。楕円の中心と端に操作用の点がある
円形マスクの範囲を白黒で表示したところ(試験画像)。白いところほど補正が強くかかります。

空だけ暗く、顔だけ明るく、のように写真の一部だけを調整するのがマスクです。ブラシ・線形・円形のほか、明るさや色で範囲を選ぶマスクがあり、追加・削除・交差で組み合わせることもできます。範囲の中では、明るさや色だけでなく、質感・明瞭度・かすみの除去・シャープ・ノイズの軽減まで調整できます。

マスクは、元の写真の上の位置として保存しています。あとで切り抜きや回転を変えても、マスクは写真の同じ場所についてきます。

HDR とパノラマ

露出を変えて撮った写真(2〜12 枚)を重ねて、明るいところから暗いところまで残す HDR 合成と、何枚かをつないで広い 1 枚にするパノラマも入っています。両方を組み合わせた HDR パノラマも作れます。

  • HDR は撮影情報(シャッター速度・絞り・ISO)から明るさをそろえ、手ぶれのずれを合わせ、動いたものの二重写りを抑えます
  • パノラマは、写真どうしの同じ点を探してつなぎます。平面・円筒・球面に対応し、球面では真上・真下まで含む全天球も作れます
  • 結果は、明るさの幅を切り捨てない 32bit の TIFF として、別のファイルに保存します

全天球のつなぎ方は、撮った角度が分かっている試験画像を作って確かめました。たとえば 20 度回して撮ったことにした画像を、20.0016 度と推定できています。ただし、これは試験画像での話です。実際に撮った写真での仕上がりの評価は、まだこれからです。

端末の中で動く AI

最初の版に入れる AI は 2 つです。

  • レンズぼかし:写真から奥行き(どこが手前でどこが奥か)を推定し、ピントの合っていない部分をぼかします。ぼけの形や玉ぼけの強調も選べ、推定がずれたところはブラシで直せます
  • 超解像:写真を縦横 2 倍の大きさにします。ただの引き伸ばしではなく、AI で細部を補います

どちらも、公開されている AI モデル(奥行きの推定は MiDaS、超解像は ESPCN)を使い、写真を外へ送らずに端末の中だけで計算します。モデルは初回に取得するとき、決めておいたハッシュ値と照らし合わせて、中身が差し替わっていないことを確かめます。モデルも、ライセンスの条件を確かめてから選びました。

そのほかの AI(自動補正の AI 化、ノイズ除去、不要物の消去、好みの学習など)は、次の段階で取り組む予定です。

動画も、少しだけ

動画の編集画面。再生位置のバー、開始と終了の秒数、露出・コントラスト・彩度・色温度の入力欄
動画の編集画面。説明用に、同じ生成画像から作った短い動画を読み込んでいます。

カメラで撮った動画の簡単な編集もできます。再生、使う区間の指定、明るさや色の補正をして、音声付きの MP4 に書き出します。圧縮は、Mac では VideoToolbox、Windows では Media Foundation という、OS が標準で持つ仕組みに任せています。

ほかにも

写真の一覧と星評価・旗・色ラベルでの選別、プリセット、複数の写真への調整の同期、書き出しの順番待ち(キュー)、Lensfun のデータベースによるレンズ補正、カメラを USB でつないだ撮影(テザー)なども入っています。ただし、テザー撮影は実際のカメラをつないだ確認がまだで、「作ってはあるが、実機で確かめていない」状態です。

この「作ってある」と「確かめた」の違いが、次の第 3 回のテーマです。Mac と Windows の両方でどう確かめているか、GPU で本当に速くなるのか、配るための準備で何をしているのかを書きます。