PyTorchニューラルネットワーク実装ハンドブック

• 第1章：PyTorchと開発環境
• 第2章：PyTorchの基礎
• 第3章：PyTorchを使ったニューラルネットワーク基礎
• 第4章：畳み込みニューラルネットワーク
• 第5章：リカレントニューラルネットワーク
• 第6章：敵対的生成ネットワーク
• 第7章：物体検出
• 第8章〜11章：PyTorchのAPI

対応バージョン

本書のサンプルコードはPyTorch 0.4.1および、PyTorch 1.5.0の環境で動作することを確認しています。いずれかが動作する環境をご用意の上、コードを実行ください。

PyTorch 0.4.1

python==3.6

torch==0.4.1

torchvision==0.2.1

torchtext==0.3.1

numpy==1.14.6

matplotlib==2.1.2

Pillow==5.0.0

opencv-python==3.4.3.18

PyTorch 1.5.0

python==3.8

torch==1.5.0

torchvision==0.6.0

torchtext==0.3.1

numpy==1.21.6

matplotlib==3.2.2

Pillow==7.1.2

opencv-python==4.6.0

本書のサンプルコードはPyTorch 1.5.0でも動作することを確認していますが、コードの書き方は執筆時のバージョンであったPyTorch 0.4.1に合わせたものになっています。一部のコードは、最新のPyTorchを使えばよりスマートに記述できる場合がある点にご注意ください。

2023年2月現在、google colabではPyTorch 0.4.1をGPUで実行する環境を構築することが難しい状況です。本リポジトリのappendixに、PyTorch 0.4.1 CPU版をgoogle colabに導入するnotebookを用意しました。GPUが使用できないため学習することは困難ですが、google colabで0.4.1の挙動だけ確認されたい方はappendixのold_torch_setting.ipynbを御参考ください。

サンプルコードのnotebookの先頭セルには、google colabでPyTorch 1.5.0の環境を構築するセルが用意してあります。PyTorch 1.5.0ではGPUを使った学習と推論が可能です。google colabでPyTorch 1.5.0環境を用意されたい方は、それぞれのnotebookで先頭セルのコメントアウトを解除してセルを実行してください。

付録

紙面に記載できなかった内容を補足しています

• table_dataset.py テーブルデータを処理する例として、UCI Machine Learning RepositoryのIrisデータセットをMLPで学習する
• torch_utils_data.py torch.utils.dataパッケージのいくつかの機能を例示
• torch_utils_data.ipynb torch.utils.dataパッケージのいくつかの機能を例示(jupyternotebook版)
• old_torch.setting.ipynb google colabでPyTorch0.4.1をインストールする方法。ただしCPU版であることに注意

コードの変更

コードの修正履歴を記載します。

• 20190411：7章の物体検出SSDモデルのソースをPyTorch1.0で動くよう修正
• 20200506：7章の物体検出SSDモデルのソースをPyTorch1.5で動くよう修正
• 20230213: 文字列は基本的にシングルクォーテーションを使用するよう統一。一部のインデントが2スペースだったものを4スペースに修正。
• 20230221: すべてのnotebookをPyTorch 1.5.0に移行。

サポート

サンプルプログラムの間違いや動作不具合、書籍中の誤植については本リポジトリのIssuesに投稿ください。

動作不具合についての投稿では、以下を記載ください。

• 実行プログラム名
• エラーメッセージ
• Python、PyTorch、NumPy、Pillow、Matplotlibのバージョン　（必要であればOpenCVのバージョン）
• ハードウェア環境　（GoogleColab or ローカルマシン。　ローカルマシンであれば使用OS。　CPU使用 or GPU使用。）

正誤表

正誤表に記載されているサンプルコードの誤記は、本リポジトリのmasterブランチで修正されています。

2章 p51 誤

$$ l(y, t) = -\frac{1}{B}\sum_{i=1}^B \left[ \frac{\sum\nolimits_{k=0}^{N-1}w^k \cdot t_i^k \cdot \log(\exp(y_i^k))}{\sum\nolimits_{j=0}^{N-1}\exp(y_i^j)} \right] = -\frac{1}{B}\sum_{i=1}^B \left[ \frac{\sum\nolimits_{k=0}^{N-1}w^k \cdot t_i^k \cdot y_i^k}{\sum\nolimits_{j=0}^{N-1}\exp(y_i^j)} \right] $$

2章 p51 正

$$ l(y, t) = -\frac{1}{B} \sum_{i=1}^{B} \left[ \sum_{k=0}^{N-1}w^k \cdot t_i^k \cdot \log \left( \frac{\exp(y_i^k)}{\sum\nolimits_{j=0}^{N-1}\exp(y_i^j)} \right) \right] = -\frac{1}{B}\sum_{i=1}^B \left[ \sum_{k=0}^{N-1} w^k \cdot t_i^k \cdot \left( y_i^k - \log\left(\sum_{j=0}^{N-1}\exp(y_i^j) \right) \right) \right]$$