generative-ai-for-beginners ナレッジベース解説ニューラルネットワークフレームワークTensorFlow / PyTorchと過学習の基礎【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners本記事は、generative-ai-for-beginners プロジェクトの第15課「Retrieval Augmented GenerationRAGとベクトルデータベース」のグラウンディングデータとして利用されるナレッジベース文書、ニューラルネットワークフレームワーク日本語訳frameworks.mdを主題に解説します。ニューラルネットワークを効率よく訓練するために必要なテンソル演算と勾配計算の仕組み、TensorFlowPyTorch の低レベル API と高レベル API の違い、そして機械学習の最重要概念である過学習とバイアス・バリアンストレードオフを、コードとともに体系的に学べます。読み終える頃には、フレームワークの設計思想を理解し、モデルの複雑さと汎化性能のバランスを診断・制御できるようになります。なぜニューラルネットワークフレームワークが必要か効率的にニューラルネットワークを訓練するためには、次の 2 つのことが必要です。テンソルに対する演算掛け算、足し算、シグモイドやソフトマックスなどの関数の計算すべての式に対する勾配計算勾配降下法による最適化を実行するためnumpyライブラリは前者を得意としますが、後者の「勾配を計算する仕組み」は持っていません。前段のレッスンで自作したフレームワークでは、逆伝播を行うbackwardメソッドの中にすべての微分関数を手動でプログラムしていました。理想的には、フレームワーク側が私たちが定義できるあらゆる式の勾配を計算できる機能を提供すべきです。もう 1 つ重要なのが、GPU や TPU などの専用計算ユニット上で計算できることです。深層ニューラルネットワークの訓練は膨大な計算量を必要とするため、GPU 上で計算を並列化できるかどうかが実用上の決定的な要素になります。✅ 「並列化parallelize」とは、計算を複数のデバイスに分散させることを意味します。2 大フレームワークと API 階層現在最も人気のあるニューラルネットワークフレームワークはTensorFlowとPyTorchの 2 つです。どちらも CPU・GPU の両方でテンソルを操作するための低レベル APIを提供し、その上に高レベル API としてそれぞれKerasとPyTorch Lightningが存在します。TensorFlowPyTorch低レベル APITensorFlow計算グラフ・テンソルPyTorchテンソル・autograd高レベル APIKerasPyTorch Lightning低レベル API計算グラフと勾配両フレームワークの低レベル APIは、いわゆる**計算グラフcomputational graph**を構築できます。このグラフは、与えられた入力パラメータから出力通常は損失関数をどのように計算するかを定義し、GPU が利用可能なら GPU 上で実行できます。さらに、この計算グラフを微分して勾配を計算する関数が用意されており、その勾配を使ってモデルパラメータを最適化できます。この設計は、同じレッスン群のown_framework.mdで扱う勾配降下法の定式化と直接対応しています。損失関数を ℒ、パラメータを w, b、学習率を η とすると、最適化ステップは以下のように表されます。w⁽ⁱ⁺¹⁾ w⁽ⁱ⁾ − η·∂ℒ/∂wb⁽ⁱ⁺¹⁾ b⁽ⁱ⁾ − η·∂ℒ/∂b現実には全データセットで損失を計算する代わりに、**ミニバッチminibatchと呼ばれる小さなデータの部分集合で勾配を計算します。部分集合は毎回ランダムに選ばれるため、この方法は確率勾配降下法SGDと呼ばれます。また、多層パーセプトロンでは連鎖律チェーンルールを用いて損失関数から「逆方向」に微分を伝播させるバックプロパゲーションbackprop**によって勾配を効率的に求めます。フレームワークの低レベル API は、まさにこの計算グラフ上の微分を自動化する仕組みを提供しているのです。高レベル API層の連なりと fit 関数高レベル APIはニューラルネットワークを層layerの連なりとして捉え、ほとんどのニューラルネットワークの構築を非常に簡単にします。モデルの訓練は通常、データを準備してfit関数を呼び出すだけで完了します。細部を気にせず典型的なネットワークを素早く構築できる一方、訓練プロセスへの細かい制御は低レベル API に委ねられます。そのため、新しいアーキテクチャを扱う研究分野では低レベル API がよく使われます。重要なのは、両 API は対立するものではなく併用できるという点です。例えば低レベル API で独自のネットワーク層アーキテクチャを開発し、それを高レベル API で構築・訓練する大きなネットワーク内で使う高レベル API で層の連なりとしてネットワークを定義し、独自の低レベル訓練ループで最適化する両 API は同じ基本的な概念を共有しており、連携して使えるよう設計されています。学習方針低レベルから高レベルへ本コースでは PyTorch と TensorFlow の両方でコンテンツを提供しています。好みのフレームワークを選び、対応するノートブックだけを進めてください。どちらを選ぶか迷った場合は、インターネット上のPyTorch vs. TensorFlowの議論を参照すると良いでしょう。両方に触れてみるのも理解の助けになります。可能な限り簡単さのために高レベル API を使いますが、ニューラルネットワークの仕組みを根本から理解することも重要です。そのため、最初は低レベル API とテンソルから学習を始めます。詳細を学ぶ時間をかけたくない場合は、低レベル API の部分を飛ばして高レベル API のノートブックに直接進んでも構いません。 これらのナレッジベース文書frameworks.md・own_framework.md・perceptron.mdは、第15課のノートブック notebook-rag-vector-databases.ipynb の中で実際に読み込まれ、チャンク分割・エンベディング変換されて RAG のナレッジベースとして利用されるデータそのものです。フレームワークや過学習の知識は、RAG アプリケーションのグラウンディング対象としてそのまま応用されます。過学習Overfitting過学習は機械学習において極めて重要な概念であり、正しく理解することが不可欠です。次の「5 つの点グラフ上では x で示される」を近似する問題を考えます。線形モデル、パラメータ数 2非線形モデル、パラメータ数 7訓練誤差 5.3訓練誤差 0検証誤差 5.1検証誤差 20左側は良い直線近似です。パラメータ数が適切なため、点の分布の傾向を正しく捉えています。訓練誤差も検証誤差も同程度5.3 と 5.1で、未知データに対する汎化性能が良好です。右側はモデルが強力すぎます。点は 5 つしかないのにパラメータが 7 つあるため、すべての点を通るように調整でき、訓練誤差は 0 になります。しかし、データ背後にある正しいパターンを理解できず、検証誤差が 20 と非常に大きくなっています。つまり、モデルの複雑さパラメータ数と訓練サンプル数のバランスを適切に取ることが重要です。パラメータ数がサンプル数を超えると、モデルはデータのノイズまで「記憶」してしまい、本質的なパターンを見失います。なぜ過学習が起こるのか過学習の主な原因は次の 3 つです。訓練データが不足しているモデルが強力すぎる入力データのノイズが多すぎる過学習の検出方法上記のグラフの例からわかるように、過学習は訓練誤差が非常に低く、検証誤差が高いことで検出できます。通常、訓練中は訓練誤差と検証誤差の両方が減少しますが、ある時点で検証誤差の減少が止まり、上昇し始めることがあります。これは過学習の兆候であり、その時点で訓練を止めるあるいはモデルのスナップショットを保存するべきサインです。実務では、訓練中の検証誤差を常にモニタリングし、検証誤差が上がり始めた時点で学習を早期停止early stoppingするのが定石です。過学習の防止方法過学習が起きていると判断できたら、次のいずれかを試します。訓練データの量を増やすモデルの複雑さを減らすDropoutなどの正則化手法を使う後のレッスンで扱います過学習とバイアス・バリアンストレードオフ過学習は、統計学でいうバイアス・バリアンストレードオフの問題の一例です。モデルの誤差の原因を考えると、2 種類の誤差があります。バイアス誤差アルゴリズムが訓練データの関係性を正しく捉えられないことによる誤差。モデルが十分に強力でない場合アンダーフィッティングに起こります。バリアンス誤差モデルが入力データのノイズを意味のある関係として近似してしまうことによる誤差過学習。訓練が進むと、モデルがデータを近似できるようになるためバイアス誤差は減少しますが、同時にバリアンス誤差は増加します。過学習を防ぐには、手動過学習を検出した時点で訓練を止めるまたは自動正則化を導入するで訓練を停止することが重要です。 周辺知識この概念の前提となるのが、perceptron.md で解説される単層パーセプトロンと、own_framework.md で解説される多層パーセプトロンMLPです。単層ネットワークは線形分離可能な 2 クラス分類に限定されますが、非線形活性化関数 α を挟んだ多層構造z₁w₁xb₁ → z₂w₂α(z₁)b₂ → fσ(z₂)により、多クラス分類・回帰・非線形分離問題を扱えるようになります。パラメータ数の増加は表現力を高めますが、同時に過学習のリスクも高める——このトレードオフこそ、本記事の中心テーマです。まとめ本レッスンでは、次の 2 点を学びました。フレームワークの API 設計TensorFlow と PyTorch という 2 つの人気 AI フレームワークにおいて、低レベル API計算グラフ・テンソル・勾配自動計算と高レベル APIKerasPyTorch Lightning、層の連なりとfit関数がどのように異なり、どのように併用できるか。過学習訓練誤差と検証誤差の乖離で検出し、データ量の増加・モデル複雑度の削減・正則化で防止する。その背後にあるバイアス・バリアンストレードオフまで理解した。 チャレンジ付属のノートブックの最後にある「課題」を、ノートブックを進めながら完了してください。フレームワークを習得したら、過学習の概念を復習しましょう。復習と自主学習以下のトピックについて調査してみましょう。TensorFlowPyTorch過学習次の質問を自問してみてください。TensorFlow と PyTorch の違いは何か過学習とアンダーフィッティングの違いは何か課題Assignmentこのラボでは、PyTorch または TensorFlow を使って、単層および多層の全結合ネットワークによる 2 つの分類問題を解くことが求められます。また、notebook-rag-vector-databases.ipynb では、本記事のもとになった文書群が実際にチャンク分割split_textによる 300〜400 文字単位の分割され、エンベディング化されて RAG パイプラインに組み込まれる流れを確認できます。フレームワークの知識と RAG の実装を橋渡しする、実践的な演習です。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
generative-ai-for-beginners ナレッジベース解説：ニューラルネットワークフレームワーク（TensorFlow / PyTorch）と過学習の基礎
generative-ai-for-beginners ナレッジベース解説ニューラルネットワークフレームワークTensorFlow / PyTorchと過学習の基礎【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners本記事は、generative-ai-for-beginners プロジェクトの第15課「Retrieval Augmented GenerationRAGとベクトルデータベース」のグラウンディングデータとして利用されるナレッジベース文書、ニューラルネットワークフレームワーク日本語訳frameworks.mdを主題に解説します。ニューラルネットワークを効率よく訓練するために必要なテンソル演算と勾配計算の仕組み、TensorFlowPyTorch の低レベル API と高レベル API の違い、そして機械学習の最重要概念である過学習とバイアス・バリアンストレードオフを、コードとともに体系的に学べます。読み終える頃には、フレームワークの設計思想を理解し、モデルの複雑さと汎化性能のバランスを診断・制御できるようになります。なぜニューラルネットワークフレームワークが必要か効率的にニューラルネットワークを訓練するためには、次の 2 つのことが必要です。テンソルに対する演算掛け算、足し算、シグモイドやソフトマックスなどの関数の計算すべての式に対する勾配計算勾配降下法による最適化を実行するためnumpyライブラリは前者を得意としますが、後者の「勾配を計算する仕組み」は持っていません。前段のレッスンで自作したフレームワークでは、逆伝播を行うbackwardメソッドの中にすべての微分関数を手動でプログラムしていました。理想的には、フレームワーク側が私たちが定義できるあらゆる式の勾配を計算できる機能を提供すべきです。もう 1 つ重要なのが、GPU や TPU などの専用計算ユニット上で計算できることです。深層ニューラルネットワークの訓練は膨大な計算量を必要とするため、GPU 上で計算を並列化できるかどうかが実用上の決定的な要素になります。✅ 「並列化parallelize」とは、計算を複数のデバイスに分散させることを意味します。2 大フレームワークと API 階層現在最も人気のあるニューラルネットワークフレームワークはTensorFlowとPyTorchの 2 つです。どちらも CPU・GPU の両方でテンソルを操作するための低レベル APIを提供し、その上に高レベル API としてそれぞれKerasとPyTorch Lightningが存在します。TensorFlowPyTorch低レベル APITensorFlow計算グラフ・テンソルPyTorchテンソル・autograd高レベル APIKerasPyTorch Lightning低レベル API計算グラフと勾配両フレームワークの低レベル APIは、いわゆる**計算グラフcomputational graph**を構築できます。このグラフは、与えられた入力パラメータから出力通常は損失関数をどのように計算するかを定義し、GPU が利用可能なら GPU 上で実行できます。さらに、この計算グラフを微分して勾配を計算する関数が用意されており、その勾配を使ってモデルパラメータを最適化できます。この設計は、同じレッスン群のown_framework.mdで扱う勾配降下法の定式化と直接対応しています。損失関数を ℒ、パラメータを w, b、学習率を η とすると、最適化ステップは以下のように表されます。w⁽ⁱ⁺¹⁾ w⁽ⁱ⁾ − η·∂ℒ/∂wb⁽ⁱ⁺¹⁾ b⁽ⁱ⁾ − η·∂ℒ/∂b現実には全データセットで損失を計算する代わりに、**ミニバッチminibatchと呼ばれる小さなデータの部分集合で勾配を計算します。部分集合は毎回ランダムに選ばれるため、この方法は確率勾配降下法SGDと呼ばれます。また、多層パーセプトロンでは連鎖律チェーンルールを用いて損失関数から「逆方向」に微分を伝播させるバックプロパゲーションbackprop**によって勾配を効率的に求めます。フレームワークの低レベル API は、まさにこの計算グラフ上の微分を自動化する仕組みを提供しているのです。高レベル API層の連なりと fit 関数高レベル APIはニューラルネットワークを層layerの連なりとして捉え、ほとんどのニューラルネットワークの構築を非常に簡単にします。モデルの訓練は通常、データを準備してfit関数を呼び出すだけで完了します。細部を気にせず典型的なネットワークを素早く構築できる一方、訓練プロセスへの細かい制御は低レベル API に委ねられます。そのため、新しいアーキテクチャを扱う研究分野では低レベル API がよく使われます。重要なのは、両 API は対立するものではなく併用できるという点です。例えば低レベル API で独自のネットワーク層アーキテクチャを開発し、それを高レベル API で構築・訓練する大きなネットワーク内で使う高レベル API で層の連なりとしてネットワークを定義し、独自の低レベル訓練ループで最適化する両 API は同じ基本的な概念を共有しており、連携して使えるよう設計されています。学習方針低レベルから高レベルへ本コースでは PyTorch と TensorFlow の両方でコンテンツを提供しています。好みのフレームワークを選び、対応するノートブックだけを進めてください。どちらを選ぶか迷った場合は、インターネット上のPyTorch vs. TensorFlowの議論を参照すると良いでしょう。両方に触れてみるのも理解の助けになります。可能な限り簡単さのために高レベル API を使いますが、ニューラルネットワークの仕組みを根本から理解することも重要です。そのため、最初は低レベル API とテンソルから学習を始めます。詳細を学ぶ時間をかけたくない場合は、低レベル API の部分を飛ばして高レベル API のノートブックに直接進んでも構いません。 これらのナレッジベース文書frameworks.md・own_framework.md・perceptron.mdは、第15課のノートブック notebook-rag-vector-databases.ipynb の中で実際に読み込まれ、チャンク分割・エンベディング変換されて RAG のナレッジベースとして利用されるデータそのものです。フレームワークや過学習の知識は、RAG アプリケーションのグラウンディング対象としてそのまま応用されます。過学習Overfitting過学習は機械学習において極めて重要な概念であり、正しく理解することが不可欠です。次の「5 つの点グラフ上では x で示される」を近似する問題を考えます。線形モデル、パラメータ数 2非線形モデル、パラメータ数 7訓練誤差 5.3訓練誤差 0検証誤差 5.1検証誤差 20左側は良い直線近似です。パラメータ数が適切なため、点の分布の傾向を正しく捉えています。訓練誤差も検証誤差も同程度5.3 と 5.1で、未知データに対する汎化性能が良好です。右側はモデルが強力すぎます。点は 5 つしかないのにパラメータが 7 つあるため、すべての点を通るように調整でき、訓練誤差は 0 になります。しかし、データ背後にある正しいパターンを理解できず、検証誤差が 20 と非常に大きくなっています。つまり、モデルの複雑さパラメータ数と訓練サンプル数のバランスを適切に取ることが重要です。パラメータ数がサンプル数を超えると、モデルはデータのノイズまで「記憶」してしまい、本質的なパターンを見失います。なぜ過学習が起こるのか過学習の主な原因は次の 3 つです。訓練データが不足しているモデルが強力すぎる入力データのノイズが多すぎる過学習の検出方法上記のグラフの例からわかるように、過学習は訓練誤差が非常に低く、検証誤差が高いことで検出できます。通常、訓練中は訓練誤差と検証誤差の両方が減少しますが、ある時点で検証誤差の減少が止まり、上昇し始めることがあります。これは過学習の兆候であり、その時点で訓練を止めるあるいはモデルのスナップショットを保存するべきサインです。実務では、訓練中の検証誤差を常にモニタリングし、検証誤差が上がり始めた時点で学習を早期停止early stoppingするのが定石です。過学習の防止方法過学習が起きていると判断できたら、次のいずれかを試します。訓練データの量を増やすモデルの複雑さを減らすDropoutなどの正則化手法を使う後のレッスンで扱います過学習とバイアス・バリアンストレードオフ過学習は、統計学でいうバイアス・バリアンストレードオフの問題の一例です。モデルの誤差の原因を考えると、2 種類の誤差があります。バイアス誤差アルゴリズムが訓練データの関係性を正しく捉えられないことによる誤差。モデルが十分に強力でない場合アンダーフィッティングに起こります。バリアンス誤差モデルが入力データのノイズを意味のある関係として近似してしまうことによる誤差過学習。訓練が進むと、モデルがデータを近似できるようになるためバイアス誤差は減少しますが、同時にバリアンス誤差は増加します。過学習を防ぐには、手動過学習を検出した時点で訓練を止めるまたは自動正則化を導入するで訓練を停止することが重要です。 周辺知識この概念の前提となるのが、perceptron.md で解説される単層パーセプトロンと、own_framework.md で解説される多層パーセプトロンMLPです。単層ネットワークは線形分離可能な 2 クラス分類に限定されますが、非線形活性化関数 α を挟んだ多層構造z₁w₁xb₁ → z₂w₂α(z₁)b₂ → fσ(z₂)により、多クラス分類・回帰・非線形分離問題を扱えるようになります。パラメータ数の増加は表現力を高めますが、同時に過学習のリスクも高める——このトレードオフこそ、本記事の中心テーマです。まとめ本レッスンでは、次の 2 点を学びました。フレームワークの API 設計TensorFlow と PyTorch という 2 つの人気 AI フレームワークにおいて、低レベル API計算グラフ・テンソル・勾配自動計算と高レベル APIKerasPyTorch Lightning、層の連なりとfit関数がどのように異なり、どのように併用できるか。過学習訓練誤差と検証誤差の乖離で検出し、データ量の増加・モデル複雑度の削減・正則化で防止する。その背後にあるバイアス・バリアンストレードオフまで理解した。 チャレンジ付属のノートブックの最後にある「課題」を、ノートブックを進めながら完了してください。フレームワークを習得したら、過学習の概念を復習しましょう。復習と自主学習以下のトピックについて調査してみましょう。TensorFlowPyTorch過学習次の質問を自問してみてください。TensorFlow と PyTorch の違いは何か過学習とアンダーフィッティングの違いは何か課題Assignmentこのラボでは、PyTorch または TensorFlow を使って、単層および多層の全結合ネットワークによる 2 つの分類問題を解くことが求められます。また、notebook-rag-vector-databases.ipynb では、本記事のもとになった文書群が実際にチャンク分割split_textによる 300〜400 文字単位の分割され、エンベディング化されて RAG パイプラインに組み込まれる流れを確認できます。フレームワークの知識と RAG の実装を橋渡しする、実践的な演習です。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
