Fix: extending subheading line from line 64 to 176

Author: stats-dev

intermediate_source/TP_tutorial.rst

@@ -46,7 +46,7 @@
 * 병렬화된 계층( ``nn.Linear`` , ``nn.Embedding`` )은 연산 및 메모리를 절약하기 위해 샤딩된 연산을 실행합니다. 
 
 텐서 병렬(Tensor Parallel)을 적용해야 하는 시기와 이유
----------------------------------------------
+-----------------------------------------------
 PyTorch의 Fully Sharded Data Parallel(FSDP)는 이미 모델 학습을 특정 수의 GPU로 조정할 수 있는 기능을 갖추고 있습니다. 그러나, 모델 크기와 GPU 양 측면에서 모델 학습을 더 확장하려면, 
 Tensor Parallel과 FSDP의 결합이 필요한, 다음과 같은 추가적인 과제가 다수 발생할 수 있습니다.
 
@@ -61,7 +61,7 @@ Tensor Parallel과 FSDP의 결합이 필요한, 다음과 같은 추가적인 
 
 
 텐서 병렬(Tensor Parallel)을 적용하는 방법
-----------------------------
+--------------------------------------
 
 PyTorch 텐서 병렬 API는 모델의 각 개별 레이어에 대한 샤딩을 구성하기 위해 다음과 같은 모듈 수준의 이전 세트 (``ParallelStyle``)를 제공합니다.
 
@@ -173,7 +173,7 @@ Llama 모델의 경우, 어텐션 레이어에서는 형태와 관련된 여러
     해당 모델이 너무 커서 CPU 메모리에 맞지 않는 경우, ``meta`` 장치 초기화 (예를 들어, 메타 장치에서 먼저 초기화하거나 레이어를 샤딩하고 모델을 구체화하는 등)를 사용하거나 트랜스포머 모델 초기화 중에 ``TransformerBlock`` 레이어를 레이어별로 병렬화할 수 있습니다.
 
 ``LayerNorm/RMSNorm`` 레이어에 시퀀스 병렬(Sequence Parallel) 적용하기
--------------------------------------------------------
+----------------------------------------------------------------
 
 시퀀스 병렬(Sequence Parallel)은 앞서 설명한 텐서 병렬 위에서 동작합니다. 기본적인 텐서 병렬은  ``Attention`` 모듈과 ``FeedForward`` 모듈 내에서만 텐서를 샤딩하고 모듈 입력과 출력 (즉, forward pass의 활성화 및 backward pass에서 변화도)을 복제되도록 유지하는 것과 비교할 때, 시퀀스 병렬(Sequence Parallel)은 시퀀스 차원에서 샤딩된 상태를 유지합니다.
 
@@ -254,7 +254,7 @@ Llama 모델의 경우, 어텐션 레이어에서는 형태와 관련된 여러
 
 
 손실 병렬(Loss Parallel) 적용하기
--------------------
+-------------------------------
 
 손실 병렬(Loss Parallel)은 손실 함수를 계산할 때 메모리와 통신을 절약하는 관련 기술로, 일반적으로 모델 출력이 매우 크기 때문에 사용합니다. 손실 병렬에서는 모델 출력이 (자주 거대한) 어휘 차원에서 샤딩될 때, 모든 모델 출력은 매번 단일 GPU에 모으지 않고도 교차 엔트로피 손실을 효율적으로 계산할 수 있습니다. 이는 메모리 소비를 유의하게 줄일 뿐만 아니라, 통신 오버헤드를 줄이고 샤딩된 연산을 병렬로 처리하여 학습 속도를 개선합니다. 아래 그림은 손실 병렬이 샤딩된 연산을 통해 단일 GPU마다 모든 모델의 출력을 모으는 것을 피하는 방법을 간략히 보여줍니다.