2024年9月23日月曜日 更新:

iOS18: 新Apple Intelligenceで実現するカメラ機能

2024年9月10日(水)のApple Event で iPhone 16 Pro/Pro Maxが正式発表されました。

 

iPhone 16 Pro/Pro Maxの主な強化ポイント

  • ハイエンドデスクトップPCに迫る最新の6コアモバイルCPU 最大30%高速化
  • GPUパフォーマンス 最大40%高速化
  • Apple Intelligenceにて生成AIをiOS18に統合 ※日本は来年に対応予定
    • 2024年12月(対象:🇺🇸、🇦🇺、🇨🇦、🇳🇿、🇿🇦、🇬🇧)
    • 2025年中(対象:🇨🇳、🇫🇷、🇯🇵、🇪🇸)
  • 120mmの望遠撮影が可能(Pro/Pro Max)  
  • iOS18カメラアプリ関連
    • 「カメラコントロール」ボタン新搭載
    • ビデオ録画で一時停止可能
    • セルフタイマー5秒が新追加
    • 左上フラッシュ長押しで詳細メニュー

 

Apple Intelligenceとは

AppleのiPhone、iPad、Macデバイスのための個人向け生成AIエコシステムです。年末のiOS 18、iPadOS 18、macOS Sequoia アップデートで新搭載される予定です。従来の生成AIとは異なり、個人のプライバシー保護を重視しています。メール本文を校正したり、Siriとより人間らしく会話する、ラフなスケッチから画像を生成するなど、AIによる多くの処理をデバイス上で実現します。
 
複雑で高品質な処理は、専用のAppleシリコン搭載のプライベートクラウドサーバー上で解決します。様々な分野で、外部の大規模言語モデルであるChatGPTを参考または使用する可能性があり、どの部分で連携するのか詳細はまだ不明です。


対応機種
  • iPhone 15 Pro/Max以降
  • iPad Air(第5世代)、iPad Pro(第5世代) 以降 
  • MacBook Air (M1 2020) 以降
  • MacBook Pro (M1 2020) 以降
  • Mac mini (M1 2020) 以降
  • Mac Pro (M2 Ultra 2023)
  • Mac Studio (M1 Max/Ultra 2022) 以降
  • iMac (M1 2021) 以降
 
Apple Intelligenceでどんな事が出来るようになるのかというと、、、
 

新クリーンアッププツール

Google Pixelの消しゴムマジックが、ついにiPhoneにやってきます。また、画像検索で写真の特徴を文字で伝えるだけで、画像ファイルを見つけ出してくれる。新規に設置された「カメラコントロール」ボタンでは、Googleレンズのようにお店を特定したり、イベントのスケジュールをカレンダーに自動登録するデモが紹介されていました。
 
こりゃ便利♪

 
写真界隈では数年前から、AIによる消しゴムツールやノイズリダクションはもちろん、超解像度から自動色補正など、RAW現像ソフトウェアの画像処理のレベルが進化し続けています。日本のカメラメーカーについても、こういった画像処理技術だけでなく、鳥認識AFなど被写体認識にAI技術を取り入れているため、まあ10年前とは比較できないくらい面白い状況になっています。
 
今回のApple Eventでは、最新のA18のニューラルエンジンの性能は従来と同じで、あまり詳しく触れられませんでした。iPhone 15, 16のNEの性能をおさらいしておくと、、、
 

ニューラルエンジン【Neural Engineとは

AppleのiPhoneやMacの半導体チップに搭載されている機械学習(ML)のタスク処理を行うための仕組み。ニューラルは、脳の神経細胞を意味する。「ニューラルエンジン」は、2017年11月発売のiPhone X「A11 Bionic」に初搭載されました。

演算処理性能(NPU)は、A11:1.83兆/秒、A12:5.79兆/秒と順当に進化。2020年11月発売のMacBook「M1チップ」で11兆/秒と飛躍的に向上すると、2021年9月発売のiPhone 13「A15 Bionic」とMacBook「M2チップ」15.8兆/秒、2023年9月発売のiPhone15「A17 Pro」でなんと35兆/秒の演算処理が可能になりました。


最新のA18は従来と同じ35兆/秒
 

NPUの歴史
  • 2017 iPhone8, A11:1.83兆/秒
  • 2018 iPhoneX, A12:5.79兆/秒
  • 2019 iPhone11, A13:6兆/秒
  • 2020 iPhone12, A14/M1:11兆/秒
  • 2021 iPhone13, A15/M2:15.8兆/秒
  • 2022 iPhone14, A16:17兆/秒
  • 2023 iPhone15, A17:35兆/秒

ニューラルエンジンが進化するとどんな事が出来るようになるのかというと、、、
 

ナイトモード

iPhone 11以降の機種で使用できる「ナイトモード」ですが、iPhone 13から望遠と広角を含む全てのカメラでナイトモードを撮影できるようになりました。iPhone 14 Pro、iPhone 15シリーズでは、LiDARスキャナとコンピュテーショナルフォトグラフィ技術により、暗所撮影はiPhone 13より2倍の画質向上を実現しています。

 




ナイトモードは、カメラAppが暗所と認識すると自動で検知してONになります。露出時間も自動(1〜5秒)で判断してくれますが、以下の操作でナイトモードのオフと最大(1〜30秒)の設定ができます。「最大」は、長秒撮影となるため三脚が必要になります。

  1. カメラAppを開く
  2. 画面下の「写真」を選択します
  3. 画面を上にスワイプ
  4. 画面下のアイコンをタップ 
  5. スライダー左:オフ、中央:自動(デフォルト)、右:最大
  6. (任意)画面下のオプションを左にスワイプしてセルフタイマー(3秒、10秒)を設定する事もできます


フォーカス切り替え

10数年前のカメラ好き達が予想していた未来のデジカメ機能である「撮影後にフォーカスを切り替える」がついに登場です。カメラAppの「ポートレート」で画面の被写体をタッチすると、被写界深度エフェクトがより自然にかつ瞬時に生成されます。






ライブ留守番電話

iOS17 &「A16 Bionic」以降は、留守番電話メッセージを着信したときに、リアルタイムでディスプレイ上にテキストメッセージを書き起こしてくれます。

 

空間ビデオ撮影

NEとは直接関係ありませんが、iPhone 15からUSB-Cポートを初採用しました。

これにより、(Pro/Pro Maxシリーズのみ)Apple ProRAW写真やApple ProResビデオなどの大容量データの高速転送が可能になりました。

スタジオでのCapture Oneを使用したMacへのリモート転送や、 最大4K/60fpsのProResビデオ撮影のSSD外部ストレージ記録にも対応しています。




 

これだけでもなかなかの衝撃ですが、さらに2つのレンズを駆使してVR撮影を手軽に行えます。未来のコンテンツ作成を支援する「空間ビデオ」撮影機能は、2023年12月にリリースされました。


以下は、従来の機種で使用できるNE機能です。

 

声を分離

iOS16 & iPhone XS以降は、電話をかけているときにノイズキャンセリングできるようになりました。もう街の雑踏だろうが、どこからでも会議に出席できてしまいます。
  1. 通話中にコントロールセンターを呼び出す
  2. 右上のマイクモードをタップ
  3. 「声を分離」をタップ
 

テキスト認識表示(Live text)

外出先でカメラをテキストに向けて即座にチケットを購入したり道順を知ることができます。「A12 Bionic」を搭載したiPhone XSから利用可能になった機能です。


 

AI分析アプリの動作向上

SwingVision」では、リアルタイムでショット追跡、映像分析、遠隔コーチングなどを滑らかに動かす事ができます。


PeakVisor」では、ハイキング中に山を識別して詳細な3Dマップを提供します。


Seek」では、2,000万枚以上の写真で学習したMLモデルを使って植物や動物を瞬時に特定できます。
 

 

 

 

シネマティックモード

カメラAppを開いて「シネマティック」を選択すると、被写体を予測してピントを合わせ続けたビデオを撮影できます。いつでも画面をタップして手動でピントを変えたり、2回タップしてトラッキング対象をロックすることもできます。




フォトグラフスタイル

撮影前に4つのスタイル(標準、リッチなコントラスト、鮮やか、温かい、冷たい)から1つを選ぶと、肌のトーンを維持したまま背景を調整できる。従来のフィルターでは得られないような写真の効果が可能になります。オプション機能で「トーン」と「温かみ」を調整して、自分好みのスタイルを保存すると、他のすべての写真にも適用できます。


  1. カメラAppを開く
  2. 画面下の「写真」を選択します
  3. 画面を上にスワイプ
  4. レイヤーアイコンをタップ
  5. 画面を左右にスワイプしてスタイルを選択
  6. スライダーで「トーン」と「温かみ」を調整

更新履歴  

  • 2021年9月15日(水)のApple Event で iPhone 13が正式発表されました。
  • A15 Bionic搭載:64bit ARMベースのシステム・オン・チップ(SoC)
  • 最新の6コアCPU、4コアGPU(Proシリーズは5コアGPU)
  • 新しい16コアNeural Engine(以下NE)により15.8兆/秒の演算が可能
  • NEはカメラのハードウェア/ソフトウェアチームと共同で開発
  • ラインナップ
    新ラインナップ

  • 超広角レンズ:13mm F2.4、レンズ構成5枚
  • 広角レンズ:26mm F1.6、レンズ構成7枚 、新型1.7μmセンサー、センサーシフト式手ぶれ補正 
  • iPhone 13 Pro, iPhone 13 Pro Max カメラの主な仕様(35mm判換算)
  • 超広角レンズ:13mm F1.8、レンズ構成6枚、マクロモード(最短撮影距離2cm)
  • 広角レンズ: 26mm F1.5、レンズ構成7枚、1.9μmセンサー、センサーシフト式手ぶれ補正
  • 望遠レンズ:77mm F2.8、レンズ構成6枚(iPhone12 Pro は52mm)
  • ふと2時に目が覚めて、久々にリアルタイムでApple Eventを視聴しました。iPhoneが従来よりヌルヌル動くと言われてしまうとちょっと欲しくなる。写真は「コンピュテーショナルフォトグラフィ」を中心とした内容で、機械学習やAR技術がうまい具合に融合して新体験ができるようになっている。
  • シネマティックモードの一部や星空の写真のサンプルには「ん?」と改善の余地があると感じたが、それ以外は大型のモニターでもまったく分からない。むしろ使えるなら積極的に使いたいと思わせる仕上がりです。

 

  • 2023年9月13日(水)のApple Event で iPhone 15 Pro/Pro Maxが正式発表されました。
  • iPhone 15 Pro/Pro Maxの主な強化ポイント
  • ハイエンドデスクトップPCに迫る最新の6コアモバイルCPU
  • 新Neural Engine(以下NE)により従来より2倍の35兆/秒の演算が可能
  • 120mmの望遠撮影が可能(Pro Maxのみ)
  • iPhone 15 Pro/Pro Maxの主なカメラ仕様
  • Pro
  • 48MP 広角レンズ:24mm F1.78、新型2.44μmセンサー、センサーシフト式手ぶれ補正(第2世代)、28mmと35mmの画角切り替え付き
  • 12MP 望遠レンズ:77mm F2.8、1μmセンサー
  • Pro Maxのみ
  • 12MP 超広角レンズ:13mm F2.2、1.4μmセンサー
  • 12MP 望遠レンズ:120mm F2.8、1.12μmセンサー

Pro Maxの120mm F2.8レンズはテトラプリズムデザインで小型化に成功