Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations

Raissi, M., Perdikaris, P., & Karniadakis, G. E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686-707.

Abstract

DeepL訳

物理情報ニューラルネットワークとは、一般的な非線形偏微分方程式で記述される物理法則を尊重しながら教師付き学習タスクを解くように学習されたニューラルネットワークのことです。本研究では、偏微分方程式のデータ駆動型解法とデータ駆動型発見という2つの主要な問題を解決するという文脈で開発を行っています。利用可能なデータの性質と配置に応じて、連続時間モデルと離散時間モデルという2つの異なるタイプのアルゴリズムを考案しています。前者のモデルは、データ効率の良い時空間関数近似の新しいファミリーを形成し、後者のモデルは、無制限のステージ数で任意の精度の陰的ルンゲクッタ時間ステップスキームを使用することができる。提案されたフレームワークの有効性は、流体、量子力学、反応拡散系、非線形浅水波の伝搬などの古典的な問題を集めて実証された。

Conclusions

Deepl訳

物理情報ニューラルネットワークは、与えられたデータセットを支配するあらゆる基礎的な物理法則を符号化することができ、偏微分方程式で記述することができる新しいクラスの普遍的な関数近似器であることを紹介した。本研究では、一般的な非線形偏微分方程式の解を推論し、計算効率の高い物理情報に基づく代理モデルを構築するためのデータ駆動型アルゴリズムを設計した。その結果、計算科学の多様な問題に対して一連の有望な結果が得られ、私たちを取り巻く世界をモデル化するために数学物理学の強力な能力を深層学習に与える道が開かれました。深層学習技術は、方法論的にもアルゴリズム的にも急速な発展を続けており、本論文は、幅広い科学領域の実務者に役立つタイムリーな貢献であると考えています。具体的には、データに基づいた物理プロセスの予測、モデル予測制御、マルチフィジックス／マルチスケールのモデリングとシミュレーションなどが挙げられますが、これらに限定されるものではありません。ただし，提案されている手法は，偏微分方程式を解くための古典的な数値手法（有限要素法，スペクトル法など）に取って代わるものではないことに注意しなければなりません．このような手法は過去50年間に成熟しており、多くの場合、実際に必要とされるロバスト性と計算効率の基準を満たしています。ここでのメッセージは、セクション3.2で提唱されているように、ルンゲクッタ時間ステップ法などの古典的手法は、ディープニューラルネットワークと調和して共存することができ、構造化された予測アルゴリズムを構築する上で非常に貴重な直感を提供するということです。さらに、後者の実装の簡便さは、新しいアイデアの迅速な開発とテストに大きく貢献し、データ駆動型科学技術計算の新時代への道を開く可能性があります。一連の有望な結果が提示されましたが、読者はこの作品が答えよりも多くの疑問を生み出していることに同意するかもしれません。ニューラルネットワークの深さや幅はどのくらいにすべきか？どのくらいのデータが本当に必要なのか？アルゴリズムが微分演算子のパラメータの一意の値に収束するのはなぜか、つまり、アルゴリズムが微分演算子のパラメータの局所最適に悩まされないのはなぜか？ネットワークは、より深いアーキテクチャや高次の微分演算子では、バニシング・グラジェントに悩まされるのでしょうか？これは、異なる活性化関数を使用することで軽減できますか？ネットワークの重みの初期化やデータの正規化は改善できるか？平均二乗誤差や二乗誤差の合計は、適切な損失関数でしょうか？なぜこれらの手法はデータのノイズに強いのでしょうか？予測に関連する不確実性をどのようにして定量化することができるのか？今回の研究では，これらの疑問に答えようと試みましたが，ある方程式で素晴らしい結果が得られた特定の設定が，別の方程式では失敗することがありました．この分野の基礎を固めるためには、さらに多くの作業が必要であることは間違いありません。今回の研究は、機械学習と古典的な計算物理学との間に実りある相乗効果をもたらすものであり、両分野を豊かにし、インパクトのある発展をもたらす可能性を秘めていると考えています。