add QLoRA fine-tuen guide

Author: EC2 Default User

genai/aws-gen-ai-kr/30_fine_tune/01-instruction-tuning-peft-qlora/9.Lab-Guide.ipynb

@@ -0,0 +1,92 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "id": "5f0e1b48-09ad-463f-82f4-35d7e40d546a",
+   "metadata": {},
+   "source": [
+    "# 1. 실습 가이드 A\n",
+    "\n",
+    "Updated: June 5, 2024\n",
+    "\n",
+    "이 실습 과정은 제한된 GPU 리소스로 인해서, <u>모델의 품질 보다는 \"코드가 동작\" 되는 관점에서 준비 했습니다. </u><br>\n",
+    "충분한 GPU 리소스가 있으신 환경에서는, 데이터 셋 사이즈 수정, Epoch 조정 등의 코드를 수정하여 전체를 실행할 수 있습니다.\n",
+    "\n",
+    "---\n",
+    "\n",
+    "## 1.1.선수 준비 내용\n",
+    "현재 사용 계정에 아래의 Resource Quota 가 미리 준비 되어 있어야 합니다.\n",
+    "- One ml.g5.xlarge for notebook instance usage\n",
+    "- One ml.g5.2xlarge for endpoint usage\n",
+    "- One ml.g5.2xlarge for training job usage (안되면 데모로 대체)\n",
+    "\n",
+    "## 1.2. 환경 구성\n",
+    "- SageMaker Notebook Instance 의 생성시에 EBS 볼륨을 200 GB 설정 하셔야 합니다.\n",
+    "\n",
+    "## 1.3.실습 환경 \n",
+    "- 이 방법은 SageMaker Notebook Instance 의 ml.g5.xlarge\n",
+    "- 사용 커널은 \"conda_pytorch_p310\" 에서 테스트 완료 되었습니다.\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "4b10fe93-501c-4427-a85e-46b0223df50a",
+   "metadata": {},
+   "source": [
+    "## 1.4.실행 순서\n",
+    "- 0.setup.ipynb                          \n",
+    "- 1_prepare-dataset-alpaca-method.ipynb\n",
+    "- 2_local-train-debug-lora.ipynb\n",
+    "- 2_local-infer-debug-lora.ipynb  \n",
+    "- option-sm-features/10_prepare-dataset-alpaca-method.ipynb\n",
+    "- option-sm-features/20_option-experiment-sm-train-lora.ipynb\n",
+    "- 아래 추론은 ml.g5.xlarge 에서 에러 발생 함. ( SageMaker Notebook Instance ml.g5.12xlarge 권장)\n",
+    "    - 4_sm-serving-djl.ipynb\n",
+    "- 다른 추론 노트북: Maum-AI-Llama-3-8B 가능\n",
+    "    - [02-Maum-AI-Llama-3-8B-SageMaker-Endpoint.ipynb](../../40_inference/30-Llama-3-Inference/02-Maum-AI-Llama-3-8B-SageMaker-Endpoint.ipynb)\n",
+    "    - 이 노트북의 전체 경로는 아래와 같습니다. \n",
+    "        - aws-ai-ml-workshop-kr/genai/aws-gen-ai-kr/40_inference/30-Llama-3-Inference/02-Maum-AI-Llama-3-8B-SageMaker-Endpoint.ipynb"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "c84501e3-2cdc-47d8-bdc4-6e7ecbc49130",
+   "metadata": {},
+   "source": [
+    "## 1.5.[중요] 리소스 정리\n",
+    "- SageMaker Notebook Instance 의 생성을 꼭 삭제 하여야 합니다.\n",
+    "- 추론시에 사용한 SageMaker Notebook 도 꼭 꼭 삭제 하여야 합니다."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "55c8d978-f67e-433c-b8f3-35a479a587d4",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "conda_pytorch_p310",
+   "language": "python",
+   "name": "conda_pytorch_p310"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.14"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}