no_grad vs. requires_grad

torch.Tensor.requires_grad

• True인 경우 해당 텐서에 대하여 gradient를 계산하여 업데이트
• False인 경우 파라미터를 상수 취급하여 업데이트하지 않음

torch.no_grad

• gradient 계산을 하지 않게 함
• inferencing할 때 활용 가능 (torch.Tensor.backward를 활용하지 않을 경우

no_grad vs. requires_grad

• 모델 일부는 freeze하고 일부에 대해서만 parameter update를 하고싶은 경우 활용

  (ex. transfer learning, GAN)

1) 모델 A는 freeze, 모델 B만 학습

• B에서 A로 가는 gradient를 막음

1. detach: z를 static tensor로 만들어, update할 때 z 이전 파라미터에는 gradient가 흐르지 않게 함

    z = A(x)
    y = B(z.detach())

2. no_grad: 내부에 있는 operation들의 gradeint는 계산이 되지 않음 ⇒ 모델 A의 파라미터 업데이트 X

    with torch.no_grad():
        z = A(x)
    y = B(z)

3. requires_grad: A의 파라미터를 하나씩 불러와서 gradient를 끔 ⇒ A의 파라미터를 상수 취급하여 업데이트 X

    for p in A.parameter():
        p.requires_grad = False
    z = A(x)
    y = B(z)

2) 모델 A만 학습, 모델 B는 freeze

• B로 가는 gradient를 끊어버리면 안됨

• no_grad: 아예 gradient 자체를 계산하지 않기 때문에 B 모델의 gradient가 계산되지 않는다면 A의 gradient도 계산될 수 없음

    # 작동 X
    z = A(x)
    with torch.no_grad():
        y = B(z)

• requires_grad: 상수 취급을 하여 B 모델의 파라미터가 업데이트되지는 않지만 여전히 gradient가 흐를 수 있는 상태이므로, A 모델의 업데이트 가능

    for p in B.parameter():
        p.requires_grad = False
    z = A(x)
    y = B(z)

💡 이외에도 `zero_grad` 또는 `optimizer를` 다르게 쓰는 방법 등이 있을 것