43デジカメ*ラボ: iOS17: 新ニューラルエンジンで実現するカメラ機能

2023年9月13日（水）のApple Event で iPhone 15 Pro/Pro Maxが正式発表されました。

iPhone 15 Pro/Pro Maxの主な強化ポイント

ハイエンドデスクトップPCに迫る最新の6コアモバイルCPU
新Neural Engine（以下NE）により従来より2倍の35兆/秒の演算が可能
120mmの望遠撮影が可能（Pro Maxのみ）

ニューラルエンジン【Neural Engine】とは

AppleのiPhoneやMacの半導体チップに搭載されている機械学習（ML)のタスク処理を行うための仕組み。ニューラルは、脳の神経細胞を意味する。「ニューラルエンジン」は、2017年11月発売のiPhone X「A11 Bionic」に初搭載されました。

演算処理性能（NPU）は、A11：1.83兆/秒、A12：5.79兆/秒と順当に進化。2020年11月発売のMacBook「M1チップ」で11兆/秒と飛躍的に向上すると、2021年9月発売のiPhone 13「A15 Bionic」とMacBook「M2チップ」で15.8兆/秒、今回のiPhone15「A17 Pro」でなんと35兆/秒の演算処理が可能になりました。

さ、さんじゅうごちょー？？？

NPUの歴史

2017 iPhone8, A11：1.83兆/秒
2018 iPhoneX, A12：5.79兆/秒
2019 iPhone11, A13：6兆/秒
2020 iPhone12, A14/M1：11兆/秒
2021 iPhone13, A15/M2：15.8兆/秒
2022 iPhone14, A16：17兆/秒
2023 iPhone15, A17：35兆/秒

ニューラルエンジンが進化するとどんな事が出来るようになるのかというと、、、

ナイトモード

iPhone 11以降の機種で使用できる「ナイトモード」ですが、iPhone 13から望遠と広角を含む全てのカメラでナイトモードを撮影できるようになりました。iPhone 14 Pro、iPhone 15シリーズでは、LiDARスキャナとコンピュテーショナルフォトグラフィ技術により、暗所撮影はiPhone 13より2倍の画質向上を実現しています。

ナイトモードは、カメラAppが暗所と認識すると自動で検知してONになります。露出時間も自動（1〜5秒）で判断してくれますが、以下の操作でナイトモードのオフと最大（1〜30秒）の設定ができます。「最大」は、長秒撮影となるため三脚が必要になります。

カメラAppを開く
画面下の「写真」を選択します
画面を上にスワイプ
画面下のアイコンをタップ
スライダー左：オフ、中央：自動（デフォルト）、右：最大
（任意）画面下のオプションを左にスワイプしてセルフタイマー（3秒、10秒）を設定する事もできます

フォーカス切り替え

10数年前のカメラ好き達が予想していた未来のデジカメ機能である「撮影後にフォーカスを切り替える」がついに登場です。カメラAppの「ポートレート」で画面の被写体をタッチすると、被写界深度エフェクトがより自然にかつ瞬時に生成されます。

ライブ留守番電話

iOS17 &「A16 Bionic」では、留守番電話メッセージを着信したときに、リアルタイムでディスプレイ上にテキストメッセージを書き起こしてくれます。

空間ビデオ撮影

NEとは直接関係ありませんが、iPhone 15シリーズはUSB-Cポートを初採用しました。

これにより、(Pro/Pro Maxシリーズのみ）Apple ProRAW写真やApple ProResビデオなどの大容量データの高速転送が可能になりました。

スタジオでのCapture Oneを使用したMacへのリモート転送や、最大4K/60fpsのProResビデオ撮影のSSD外部ストレージ記録にも対応しています。

これだけでもなかなかの衝撃ですが、さらに2つのカメラを駆使してVR撮影を手軽に行えるようになります。未来のコンテンツ作成を支援する「空間ビデオ」撮影機能は、年末までにリリースされる予定です。

以下は、従来の機種で使用できるNE機能です。

声を分離

iOS16 ＆ iPhone XS以降は、電話をかけているときにノイズキャンセリングできるようになりました。もう街の雑踏だろうが、どこからでも会議に出席できてしまいます。

通話中にコントロールセンターを呼び出す
右上のマイクモードをタップ
「声を分離」をタップ

テキスト認識表示（Live text）

外出先でカメラをテキストに向けて即座にチケットを購入したり道順を知ることができます。「A12 Bionic」を搭載したiPhone XSから利用可能になった機能です。

AI分析アプリの動作向上

「SwingVision」では、リアルタイムでショット追跡、映像分析、遠隔コーチングなどを滑らかに動かす事ができます。

「PeakVisor」では、ハイキング中に山を識別して詳細な3Dマップを提供します。

「Seek」では、2,000万枚以上の写真で学習したMLモデルを使って植物や動物を瞬時に特定できます。

シネマティックモード

カメラAppを開いて「シネマティック」を選択すると、被写体を予測してピントを合わせ続けたビデオを撮影できます。いつでも画面をタップして手動でピントを変えたり、２回タップしてトラッキング対象をロックすることもできます。

フォトグラフスタイル

撮影前に4つのスタイル（標準、リッチなコントラスト、鮮やか、温かい、冷たい）から１つを選ぶと、肌のトーンを維持したまま背景を調整できる。従来のフィルターでは得られないような写真の効果が可能になります。オプション機能で「トーン」と「温かみ」を調整して、自分好みのスタイルを保存すると、他のすべての写真にも適用できます。

カメラAppを開く
画面下の「写真」を選択します
画面を上にスワイプ
レイヤーアイコンをタップ
画面を左右にスワイプしてスタイルを選択
スライダーで「トーン」と「温かみ」を調整

iPhone 15 Pro/Pro Maxの主なカメラ仕様

Pro

48MP 広角レンズ：24mm F1.78、新型2.44μmセンサー、センサーシフト式手ぶれ補正（第2世代）、28mmと35mmの画角切り替え付き
12MP 望遠レンズ：77mm F2.8、1μmセンサー

Pro Maxのみ

12MP 超広角レンズ：13mm F2.2、1.4μmセンサー
12MP 望遠レンズ：120mm F2.8、1.12μmセンサー

Pro Maxの120mm F2.8レンズはテトラプリズムデザインで小型化に成功

更新履歴

2021年9月15日（水）のApple Event で iPhone 13が正式発表されました。

A15 Bionic搭載：64bit ARMベースのシステム・オン・チップ（SoC）
最新の6コアCPU、4コアGPU（Proシリーズは5コアGPU）
新しい16コアNeural Engine（以下NE）により15.8兆/秒の演算が可能
NEはカメラのハードウェア／ソフトウェアチームと共同で開発
2021年9月24日（金）発売、iOS15は9/21リリース予定
新ラインナップ

新ラインナップ

超広角レンズ：13mm F2.4、レンズ構成5枚
広角レンズ：26mm F1.6、レンズ構成7枚、新型1.7μmセンサー、センサーシフト式手ぶれ補正

iPhone 13 Pro, iPhone 13 Pro Max カメラの主な仕様（35mm判換算）

超広角レンズ：13mm F1.8、レンズ構成6枚、マクロモード（最短撮影距離2cm）
広角レンズ： 26mm F1.5、レンズ構成7枚、1.9μmセンサー、センサーシフト式手ぶれ補正
望遠レンズ：77mm F2.8、レンズ構成6枚（iPhone12 Pro は52mm）

ふと2時に目が覚めて、久々にリアルタイムでApple Eventを視聴しました。iPhoneが従来よりヌルヌル動くと言われてしまうとちょっと欲しくなる。写真は「コンピュテーショナルフォトグラフィ」を中心とした内容で、機械学習やAR技術がうまい具合に融合して新体験ができるようになっている。
シネマティックモードの一部や星空の写真のサンプルには「ん？」と改善の余地があると感じたが、それ以外は大型のモニターでもまったく分からない。むしろ使えるなら積極的に使いたいと思わせる仕上がりです。