Merge branch 'master' of https://github.com/NLP-kr/tensorflow-ml-nlp-tf2

Author: Taekyoon

2.NLP_PREP/2.1.2.TensorFlow2.ipynb renamed to 2.NLP_PREP/2.1.2.tensorflow2.ipynb

@@ -8,11 +8,9 @@
 
   - [tf.keras.layers](./2.1.1.tf.keras.layers.ipynb)
 
-  - [tf.data](./2.1.2%20tf.data.ipynb)
+  - [TensorFlow 2.0](./2.1.2.tensorflow2.ipynb)
 
-  - [tf.estimator](./2.1.3.estimator.ipynb)
-  
-- [사이킷-런(Sklearn)](./2.2.sklearn.ipynb)
+- [사이킷런(Sklearn)](./2.2.sklearn.ipynb)
 
 - [넘파이(Numpy)](./2.4.1.numpy.ipynb)
 

2.NLP_PREP/README.md

@@ -4,7 +4,7 @@
 
 아래 리스트는 개념들중 실습하게 될 내용들입니다.
 
-- [텍스트 유사도](./3.3_텍스트_유사도.ipynb)
+- [텍스트 유사도](./3.3_텍스트_유사도.ipynb)
 
 - [탐색적 데이터 분석(EDA)](./3.6%20EDA.ipynb)
 

3.NLP_INTRO/README.md

@@ -20,9 +20,9 @@
 
 - [Random Forest 모델](./4.1.5%20Random%20Forest.ipynb)
 
-- [RNN 모델](./4.1.6%20RNN%20Classification_tf2.ipynb)
+- [RNN 모델](./4.1.6%20RNN%20Classification.ipynb)
 
-- [CNN 모델](./4.1.7.CNN_Classification_tf2.ipynb)
+- [CNN 모델](./4.1.7.CNN_Classification.ipynb)
 
 
 ### 한글 데이터

4.TEXT_CLASSIFICATION/README.md

@@ -6,14 +6,14 @@
 
 모델은 송영숙님이 제공해주신 "챗봇 데이터셋"을 가지고 다루게 됩니다.
 
-데이터셋에 대한 분석은 다음 페이지에서 확인할 수 있습니다.
+데이터셋에 대한 분석과 전처리는 다음 페이지에서 확인할 수 있습니다.
 
-- [챗봇 데이터 EDA](./6.2.EDA.ipynb)
+- [데이터 분석](./6.2.EDA.ipynb)
+- [데이터 전처리](./6.3.preprocess.ipynb)
 
 이 장에서는 챗봇 모델을 만드는데 2개의 모델을 다루게 됩니다. 두 모델에 대한 소개는 아래 링크를 통해 확인하시면 됩니다.
 
 ## 챗봇 모델
 
-- [RNN 기반의 Seq2Seq 모델](./6.3%20seq2seq)
-
-- [Transformer 기반의 Seq2Seq 모델](./6.4%20transformer)
+- [시퀀스 투 시퀀스 모델](./6.4.seq2seq.ipynb)
+- [트랜스포머 모델](./6.5.transformer.ipynb)

6.CHATBOT/6.2 Preprocess.ipynb renamed to 6.CHATBOT/6.3.preprocess.ipynb

@@ -48,7 +48,7 @@
     "tf.random.set_seed(1234)\n",
     "np.random.seed(1234)\n",
     "\n",
-    "BATCH_SIZE = 256\n",
+    "BATCH_SIZE = 32\n",
     "NUM_EPOCHS = 3\n",
     "VALID_SPLIT = 0.2\n",
     "MAX_LEN = 39 # EDA에서 추출된 Max Length\n",
@@ -58,7 +58,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 5,
+   "execution_count": 4,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -74,7 +74,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 6,
+   "execution_count": 5,
    "metadata": {},
    "outputs": [
     {
@@ -96,6 +96,38 @@
     "print(token_print)"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "[101, 9521, 118741, 35506, 24982, 48549, 117, 9321, 118610, 119081, 48345, 102]\n",
+      "[101, 31178, 11356, 102]\n",
+      "[CLS] 안녕하세요, 반갑습니다 [SEP]\n",
+      "[CLS] Hello world [SEP]\n"
+     ]
+    }
+   ],
+   "source": [
+    "kor_encode = tokenizer.encode(\"안녕하세요, 반갑습니다\")\n",
+    "eng_encode = tokenizer.encode(\"Hello world\")\n",
+    "kor_decode = tokenizer.decode(kor_encode)\n",
+    "eng_decode = tokenizer.decode(eng_encode)\n",
+    "\n",
+    "print(kor_encode)\n",
+    "# [101, 9521, 118741, 35506, 24982, 48549, 117, 9321, 118610, 119081, 48345, 102]\n",
+    "print(eng_encode)\n",
+    "# [101, 31178, 11356, 102]\n",
+    "print(kor_decode)\n",
+    "# [CLS] 안녕하세요, 반갑습니다 [SEP]\n",
+    "print(eng_decode)\n",
+    "# [CLS] Hello world [SEP]"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -632,7 +664,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.7.3"
+   "version": "3.7.1"
   }
  },
  "nbformat": 4,