Revise line 52 to 57

Author: stats-dev

intermediate_source/TP_tutorial.rst

@@ -50,11 +50,11 @@
 PyTorch의 Fully Sharded Data Parallel(FSDP)는 이미 모델 학습을 특정 수의 GPU로 조정할 수 있는 기능을 갖추고 있습니다. 그러나, 모델 크기와 GPU 양 측면에서 모델 학습을 더 확장하려면, 
 Tensor Parallel과 FSDP의 결합이 필요한, 다음과 같은 추가적인 과제가 다수 발생할 수 있습니다.
 
-1. 그 세계의 크기 (GPU 수)가 지나치게 커짐에 따라 (128/256 GPU 초과), FSDP 집합(예를 들어, ``allgather`` )은 ring latency로 지배되고 있습니다. TP/SP를 FSDP 위에 구현하여, FSDP를 호스트 간에만 적용하여 FSDP 세계 크기를 8개로 줄일 수 있으며, 그에 따라 지연 비용도 동일하게 줄일 수 있습니다.
+1. GPU 수가 지나치게 커짐에 따라 (128/256 GPU 초과), FSDP 집합(예를 들어, ``allgather`` )은 ring latency에 많은 영향을 받습니다. TP/SP를 FSDP 위에 구현하여, FSDP를 호스트 간에만 적용하여 FSDP의 규모를 8개로 줄일 수 있으며, 그에 따라 지연 비용도 동일하게 줄일 수 있습니다.
 2. 수렴 및 GPU 메모리 제한으로 인해 글로벌 배치 크기를 GPU 수보다 높게 설정할 수 없는 데이터 병렬 처리의 한계를 달성하려면, Tensor/Sequence Parallel이 글로벌 배치 크기를 "추정(ballpark)"하고, 더 많은 GPU로 확장하는 유일한 방법입니다.
 3. 특정 유형의 모델에서는 로컬 배치 크기가 작아지면, TP/SP가 부동 소수점 연산(FLOPS)에 더 최적화된 행렬 곱 형태를 생성할 수 있습니다.
 
-그래서, 사전 학습을 할 때, 이러한 한계를 달성하는 가장 쉬운 방법은 무엇일까요? 지금부터, 수십억 혹은 수조 개의 토큰을 가진 대규모 언어 모델 (LLM)을 사전 학습하는 것은 수천장의 GPU를 사용할 때조차, 수개월이 소요될 수 있습니다.
+사전학습 시 이러한 한계를 경험하는 것은 흔한 일입니다. 현재로서는 수십억 혹은 수조 단위의 토큰으로 대규모 언어 모델(LLM)을 학습하려면 수천 대의 GPU를 사용하더라도 수개월이 걸릴 수 있습니다.
 
 * LLM을 대규모로 훈련할 때는 항상 한계 1에 도달합니다. 예를 들어, Llama 2 70B 모델은 35일 동안 2천개 GPU로 훈련되었고, 2천개 규모에서는 다차원 병렬 처리가 필요합니다.
 * Transformer 모델이 커지면 (예를 들면, Llama2 70B), 빠르게 한계 2에 도달할 것입니다. 메모리 및 수렴 제약 조건 때문에 로컬 ``batch_size=1`` 조건 조차도 FSDP를 단독으로 사용할 수 없습니다. 예를 들어, Llama2 글로벌 배치 크기는 1K이므로, 2K GPU에서 오직 데이터 병렬 처리만으로 사용될 수 없습니다.