NVIDIAは、DLSS 5がどのように画像を「仕上げる」のかを明らかにし、2Dフレームとモーションベクトルのみでそれを行うことを示しました。

DLSS 5の仕組み：Nvidia担当者による解説

最近のインタビューで、Nvidia のジェイコブ・フリードマン（Jacob Freeman）が、新しい画像スケーリング技術「DLSS 5」の動作原理を説明しました。これは人工知能を利用しています。

システムに入力されるもの
* 2‑D フレーム – 通常の描画された画像。
* 動きベクトル – オブジェクトがフレーム間でどのように移動するかの情報。

三次元データは一切使用しません。モデルはシーンのジオメトリ、深度、マテリアルや法線マップを読み取らないため、DLSS 5 は完全に 2‑D 情報と動きに依存しています。

「場面」をどのように理解するか
* セマンティクス – AI が髪、布、皮膚などのオブジェクトタイプや照明条件を認識します。
* これには1フレームだけで十分です。モデルは金属感、粗さ、その他のマテリアル特性は考慮しません。

そのため結果が「予測不可能」に見えることがあります：
- キャラクターに存在しない場所に髪が出現する。
- 顔の特徴が変わる。

基本的なジオメトリには変更が加えられず、単なる AI の視覚解釈です。

開発者への制限と可能性
* 開発者は効果の強度、色補正、コントラスト、彩度、ガンマを調整できます。
* マスクを使用して特定オブジェクトを処理から除外することも可能です。
* ただし、顔の特徴修正や「メイクアップ」効果を直接削除することはできません。唯一の方法は強度を下げるかマスクを重ねるか、アルゴリズム自体を完全にオフにすることです。

結局のところ、顔は AI によって生成されますが、その外観は間接的にしか調整できません。