Google Pixel 9のAIカメラ機能で現実を再現

GoogleのPixelスマートフォンは長年、優れたカメラシステムで知られていますが、近年、同社は画像処理プラットフォームにAI機能を搭載し、その機能を拡張してきました。写真を撮ることは、もはやシャッターボタンを押して美しい写真を撮るだけではありません。不要なものを消去したり、写真内の被写体を動かしてAIに背景を補わせたり、動画からサイレンなどの不快な音を除去したりといったことも可能です。今年のPixel 9シリーズはさらに進化し、AIによる生成機能を強化し、写真の加工、改善、そしてより自然な仕上がりを実現します。

Googleは、Pixel 9シリーズのHDR+パイプライン（写真のコントラスト、露出、色、影を適切なレベルに保つ画像処理アルゴリズム）を完全に再構築したと発表しました。しかし、「Add Me」「Reimagine」「Autoframe」「Zoom Enhance」といった新機能は、撮影段階にとどまらず、これまで写真編集アプリで多少の技術的な知識が必要だった作業を、誰でも簡単に実行できるようになります。その詳細は以下の通りです。

これらの機能がどのように開発されたかについて詳しく知りたい方は、Google の Pixel カメラ チームのメンバーとの独占インタビューをお読みください。

記事内のリンクから商品やサービスを購入された場合、手数料が発生する場合があります。これは私たちのジャーナリズムを支えるものです。詳細はこちらをご覧ください。

私を追加してください

パートナーや家族と一緒にエッフェル塔などの被写体の前で自撮りをしたいのに、誰かに撮ってもらいたい、そんな状況に陥ったことがあるでしょう？1,000ドルもするスマホを知らない人に渡す代わりに、「Add Me」を使えば同じことができます。

これはPixel 9スマートフォンの特別なモードで、まず周囲をざっとスキャンするように求められます。次に、被写体の前で愛する人の写真を撮り、その後、位置を交換します。撮影を引き継ぐと、カメラのプレビューに自分の写真がぼやけて表示され、カメラアプリが2人目の人物に立つ場所を提案します。シャッターボタンを押すと、2人の画像が重ね合わせられ、実際には隣同士でなくても、まるで隣同士に立っているかのように見えます。

簡単なテストではうまくいきました。当然のことながら、自分の姿を複製できるか試してみました。一度はうまくいきましたが、その後はどれも失敗しました。Googleによると、同じ人物が2回表示されるようには設計されていないとのことです。シャツの色を変えたり、見た目を少し変えてみたりすれば、うまくいくかもしれません。他の人の肩に手を回したいときにどれだけうまく機能するかを確認するには、さらにテストを重ねる必要があります。

マジックエディターで再考

Reimagineは、GoogleのMagic Editorに新たに追加された機能です。Magic Editorは現在、写真上の被写体を移動させたり、オブジェクトを消したりすることができます。この新しいツールを使うと、写真の領域を選択するとテキストプロンプトがポップアップ表示され、最終結果に何を加えたいかを入力できます。写真を昼間から夜に変えたり、嵐の雲を追加したり、私が試したようにエンパイア・ステート・ビルの上にUFOを追加したりと、何でも可能です。

より詳細に描写すればするほど、より良い結果が得られます。ただし、Googleによると、この機能は人物ではなく背景やオブジェクトで最も効果的に機能するとのことです。人物の見た目を変えないようにガードレールが設置されているからです。これは、サムスンの最新折りたたみ式スマートフォンに搭載されている「Sketch to Image」機能に似ていますが、サムスンではテキストではなく、見たいものをスケッチするよう求められます。

Reimagineは完璧ではありません。入力した内容に合わない結果が返ってくることもあれば、全く良くない結果が返ってくることもありました。しかし、4つの結果から選択できるので、いつでもやり直して、より詳細な検索を行うことができます。

オートフレーム

写真撮影では構図が重要であり、カメラ アプリでグリッド ラインを追加しても位置合わせができない場合 (ほとんどのスマートフォン カメラではカメラ設定でこの機能が提供されています)、これは生成 AI が役立つもう 1 つのタスクであると Google は考えています。

オートフレームはReimagineと同様にMagic Editorに搭載されています。写真を編集中に、オートフレームを選択するオプションが表示されます。これをタップすると、異なるフレーミングの4枚の画像が生成されます。例えば、私は意図的にフレームの端に非常に近い位置に立って写真を撮りました。構図的にはあまり良くありませんが、オートフレームを使うと、私の上と右側にピクセルが生成され、古典的な三分割法に従って中央に近づきました。さらに、元々横向きだった写真を縦向きに切り抜くこともできました。

これらの「生成ピクセル」は、写真の文脈を理解し、フレームの端を拡張することで、たとえ人工的なものであっても自然に見えるようにしています。私がテストした画像では、木の実際の範囲が私の左側にどれくらいあるのか、フェンスがどれくらい伸びているのかが分からなかったため、ある程度の推測に基づいて処理されていました。よく見れば間違いが見つかるかもしれませんが、ほとんどの人は違いに気付かないでしょう。

ズーム強化機能がついに登場

GoogleはPixel 8で初めてズーム補正機能を発表しましたが、準備が整っていなかったため出荷されませんでした。そして今、ついにPixel 9シリーズで搭載されます（Pixel 8にも後日搭載される予定です）。現在、撮影前に写真にズームインすると、GoogleはSuper Res Zoomアルゴリズムを使用して、通常のデジタルズームイン写真よりも鮮明な画像を実現します。一方、ズーム補正機能は撮影後に行う機能です。

Googleフォトアプリで、ズームインしたい写真を選択し、「編集」ボタンをタップして、 「ツール」から「ズーム補正」を選択します。ズームインしたい部分までズームインしてから「ズーム補正」をタップすると、2000年代初頭のCSIシリーズのように、ピクセルを生成して写真を鮮明に補正します。遠くの建物で試してみたところ、以前のピクセル化された画像よりもずっときれいな線がはっきりと表示されました。

その他のカメラの改善

Pixel 9 シリーズには、Pixel 9 Pro Fold を含め、他にも注目すべきカメラのアップグレードがいくつかあります。

ビデオブーストが強化される

昨年、GoogleのPixel 8 Proはビデオブーストを導入しました。この機能を有効にすると、動画はGoogleのクラウドサーバーに送信され、処理されます。これにより、動画の画質と明るさが向上し、ノイズが低減され、手ブレ補正も強化されます。しばらくすると、動画の準備ができたことを知らせる通知が届き、共有できるようになります。（ブーストされていない元の動画も引き続きアクセスでき、すぐに共有できます。）

Pixel 9 Proシリーズでは、ビデオブーストがアップグレードされ、処理速度が昨年比で2倍になりました。動画モードで「夜景」タブに移動すると、ビデオブーストが自動的にオンになります（覚えておく必要はありません）。望遠カメラでも機能し、超解像ズームで最大20倍ズームした場合でも、映像を8K解像度にアップスケールできます。Googleは「スマートフォンで最高の動画」を実現できると謳っていますが、実際に試してみないと分かりません。

さらに素晴らしいパノラマ

パノラマは、ハイキングの終わりに山頂に到着したときに、たまに使う機能の一つです。あまり人気がありませんでしたが、Googleによると、この機能は最新のHDR+とNight Sightパイプラインで完全に再構築され、写真の撮影方法も新しくなったとのことです。パノラマ撮影を開始すると、移動する方向（左または右）を選択すると、地平線に沿って一時停止するスポットが現れ、そこでスマートフォンが写真を撮影します。撮影プロセスはGoogleのPhotosphere機能と非常に似ています。