Merge pull request #60 from hyeonsangjeon/master

ADD PEFT QLoRA and SageMaker BYOM contents

Author: gonsoomoon-ml

genai/aws-gen-ai-kr/30_fine_tune/01-instruction-tuning-peft-lora/0_setup.ipynb

@@ -0,0 +1,102 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "7c5f0126-694e-411b-9380-86f4c1b70d24",
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!pip install -r src/requirements.txt"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "98ae8673-d1d3-40ea-be62-f1c3aeeead3e",
+   "metadata": {
+    "tags": []
+   },
+   "outputs": [],
+   "source": [
+    "!pip install -qU boto3 botocore huggingface_hub sagemaker langchain deepspeed wandb"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "source": [
+    "### Change Docker image path to EBS\n",
+    "#### SageMaker 노트북 인스턴스일 경우 docker image 저장소의 공간이 작아 마운트한 EBS로 변경을 진행합니다.\n",
+    "SageMaker 노트북 인스턴스에서 로컬 모드 디버깅 시 종종 `No space left` 관련 오류가 발생합니다. 따라서, 도커 이미지/컨테이너가 저장될 폴더를 SageMaker EBS (Amazon Elastic Block Store) 볼륨으로 변경하는 것을 권장합니다. 도커 이미지/컨테이너는 기본적으로 EBS가 아닌 루트 볼륨에 저장하기 때문에(루트 볼륨의 크기는 사용자가 임의로 조정할 수 없습니다!) 고용량의 이미지들을 빌드하면 용량이 꽉 차기 때문입니다."
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "outputs": [],
+   "source": [
+    "%%bash\n",
+    "\n",
+    "#!/usr/bin/env bash\n",
+    "\n",
+    "echo '{\n",
+    "    \"runtimes\": {\n",
+    "        \"nvidia\": {\n",
+    "            \"path\": \"nvidia-container-runtime\",\n",
+    "            \"runtimeArgs\": []\n",
+    "        }\n",
+    "    }\n",
+    "}' > daemon.json\n",
+    "\n",
+    "sudo cp daemon.json /etc/docker/daemon.json && rm daemon.json\n",
+    "\n",
+    "DAEMON_PATH=\"/etc/docker\"\n",
+    "MEMORY_SIZE=10G\n",
+    "\n",
+    "FLAG=$(cat $DAEMON_PATH/daemon.json | jq 'has(\"data-root\")')\n",
+    "# echo $FLAG\n",
+    "\n",
+    "if [ \"$FLAG\" == true ]; then\n",
+    "    echo \"Already revised\"\n",
+    "else\n",
+    "    echo \"Add data-root and default-shm-size=$MEMORY_SIZE\"\n",
+    "    sudo cp $DAEMON_PATH/daemon.json $DAEMON_PATH/daemon.json.bak\n",
+    "    sudo cat $DAEMON_PATH/daemon.json.bak | jq '. += {\"data-root\":\"/home/ec2-user/SageMaker/.container/docker\",\"default-shm-size\":\"'$MEMORY_SIZE'\"}' | sudo tee $DAEMON_PATH/daemon.json > /dev/null\n",
+    "    sudo service docker restart\n",
+    "    echo \"Docker Restart\"\n",
+    "fi\n",
+    "\n",
+    "sudo docker info | grep Root"
+   ],
+   "metadata": {
+    "collapsed": false
+   }
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "conda_pytorch_p310",
+   "language": "python",
+   "name": "conda_pytorch_p310"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.10"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}