【仕組み解説】全結合層をゼロから実装しよう：全結合層の順方向だけ実装してみる。（NN #8）

import torch

class Affine:
    def __init__(self, W, b):
        # 初期化：重みとバイアスを受け取る
        self.W = W
        self.b = b
        
        # 逆伝播（Backward）の時に使う変数の入れ物
        self.x = None
        self.dW = None # 重みの傾き
        self.db = None # バイアスの傾き

    def forward(self, x):
        # 順伝播： Y = XW + b
        # あとで使うので x を覚えておく
        self.x = x
        
        # torch.matmul は行列積です
        out = torch.matmul(x, self.W) + self.b
        return out

    def forward(self, x):
        # 順伝播： Y = XW + b
        # あとで使うので x を覚えておく
        self.x = x
        
        # torch.matmul は行列積です
        out = torch.matmul(x, self.W) + self.b
        return out

class Relu:
    def __init__(self):
        # 順伝播の入力を覚えておくためのマスク（True/Falseの配列）
        self.mask = None

    def forward(self, x):
        # 順伝播： 0以下の場所を False にするマスクを作る
        self.mask = (x <= 0)
        
        out = x.clone() # 入力をコピー
        out[self.mask] = 0 # マスクがTrue（つまり0以下）の場所を0にする
        
        return out

# --- 実験スタート ---
# 1. データの準備 (適当な乱数)
torch.manual_seed(0) # 結果を毎回同じにするためシード値

# N=バッチサイズ(2件), D=入力次元(3), H=隠れ層のニューロン数(4)
X = torch.randn(2, 3)  
W = torch.randn(3, 4)  
b = torch.randn(4)     

print(f"入力 X の形: {X.shape}")
print(f"重み W の形: {W.shape}")
print("-" * 20)

# 2. レイヤーの作成
layer1 = Affine(W, b)
layer2 = Relu()

# 3. 順伝播 (Forward)
print("【順伝播 (Forward) スタート】")

# Affineを通す
out_affine = layer1.forward(X)
print(f"Affine後の形: {out_affine.shape}")
print(f"Affine後の値:\n{out_affine}") 

# ReLUを通す
out_relu = layer2.forward(out_affine)
print(f"ReLU後の形  : {out_relu.shape}")
print(f"出力結果:\n{out_relu}") 
# ↑ マイナスの値が0になっているか確認してみてください

print("-" * 20)

入力 X の形: torch.Size([2, 3])
重み W の形: torch.Size([3, 4])
--------------------
【順伝播 (Forward) スタート】
Affine後の形: torch.Size([2, 4])
Affine後の値:
tensor([[ 2.2385, -0.5385,  0.7473, -0.3009],
        [ 1.4825, -1.4018,  1.6827, -0.4882]])
ReLU後の形  : torch.Size([2, 4])
出力結果:
tensor([[2.2385, 0.0000, 0.7473, 0.0000],
        [1.4825, 0.0000, 1.6827, 0.0000]])