|
1 | 1 | # 7. 사전 학습 모델 |
2 | 2 |
|
| 3 | +마지막으로 사전 학습 (Pretrained) 모델과 미세 조정 (Fine-tuned) 학습에 대해서 알아보도록 합시다. |
3 | 4 |
|
4 | | -## 데이터 |
| 5 | +여기서 활용하는 모델은 BERT라는 모델과 GPT2라는 모델을 활용합니다. |
5 | 6 |
|
| 7 | +## 실습 자원 |
6 | 8 |
|
| 9 | +본 장에서 활용하게 될 모델과 데이터 셋 입니다. |
| 10 | + |
| 11 | +### 모델 |
| 12 | + |
| 13 | +- [Huggingface의 Transformers 라이브러리 도큐먼트](https://huggingface.co/transformers/) |
| 14 | +- [구글 공식 BERT 깃허브 저장소](https://github.com/google-research/bert) |
| 15 | +- [Ko-GPT2 모델 깃허브 저장소](https://github.com/SKT-AI/KoGPT2) |
| 16 | + |
| 17 | + |
| 18 | +### 데이터 |
| 19 | + |
| 20 | +- [KorNLU Dataset](https://github.com/kakaobrain/KorNLUDatasets) |
| 21 | +- [Naver NLP Challenge Dataset](https://github.com/naver/nlp-challenge) |
| 22 | +- [KorQuAD 1.0](https://korquad.github.io/KorQuad%201.0/) |
7 | 23 |
|
8 | 24 | ### 실습 내용 |
9 | 25 |
|
10 | 26 | #### 모델 실습을 위한 데이터 분석 |
11 | 27 |
|
12 | | -- [KorNLI 데이터 분석]() |
13 | | -- [KorNER 데이터 분석]() |
14 | | -- [KorSTS 데이터 분석]() |
15 | | -- [KorQuAD 데이터 분석]() |
| 28 | +- [KorNLI 데이터 분석](./7.2.2.KorNLI_EDA.ipynb) |
| 29 | +- [KorNER 데이터 분석](./7.2.3.NER_EDA.ipynb) |
| 30 | +- [KorSTS 데이터 분석](./7.2.4.KorSTS_EDA.ipynb) |
| 31 | +- [KorQuAD 데이터 분석](./7.2.5.KorQuAD_EDA.ipynb) |
16 | 32 |
|
17 | 33 | #### 버트를 활용한 모델 실습 |
18 | | -- [버트를 활용한 한국어 텍스트 분류 모델](./5.2.EDA&preprocessing.ipynb) |
19 | | -- [버트를 활용한 한국어 자연어 추론 모델]() |
20 | | -- [버트를 활용한 한국어 개체명 인식 모델](./5.2.EDA&preprocessing.ipynb) |
21 | | -- [버트를 활용한 한국어 텍스트 유사도 모델](./5.2.EDA&preprocessing.ipynb) |
22 | | -- [버트를 활용한 한국어 기계 독해 모델](./5.2.EDA&preprocessing.ipynb) |
| 34 | +- [버트를 활용한 한국어 텍스트 분류 모델](./7.2.1.bert_finetune_NSMC.ipynb) |
| 35 | +- [버트를 활용한 한국어 자연어 추론 모델](./7.2.2.bert_finetune_KorNLI.ipynb) |
| 36 | +- [버트를 활용한 한국어 개체명 인식 모델](./7.2.3.bert_finetune_NER.ipynb) |
| 37 | +- [버트를 활용한 한국어 텍스트 유사도 모델](./7.2.4.bert_finetune_KorSTS.ipynb) |
| 38 | +- [버트를 활용한 한국어 기계 독해 모델](./7.2.5.bert_finetune_KorQuAD.ipynb) |
23 | 39 |
|
24 | 40 | #### GPT2를 활용한 모델 실습 |
25 | | -- [GPT2를 활용한 한국어 언어 생성 모델](./5.2.EDA&preprocessing.ipynb) |
26 | | -- [GPT2를 활용한 한국어 텍스트 분류 모델](./5.2.EDA&preprocessing.ipynb) |
27 | | -- [GPT2를 활용한 한국어 자연어 추론 모델](./5.2.EDA&preprocessing.ipynb) |
28 | | -- [GPT2를 활용한 한국어 텍스트 유사도 모델](./5.2.EDA&preprocessing.ipynb) |
| 41 | +- [GPT2를 활용한 한국어 언어 생성 모델](./7.4.1.gpt2_finetune_LM.ipynb) |
| 42 | +- [GPT2를 활용한 한국어 텍스트 분류 모델](./7.4.2.gpt2_finetune_NSMC.ipynb) |
| 43 | +- [GPT2를 활용한 한국어 자연어 추론 모델](./7.4.3.gpt2_finetune_KorNLI.ipynb) |
| 44 | +- [GPT2를 활용한 한국어 텍스트 유사도 모델](./7.4.4.gpt2_finetune_KorSTS.ipynb) |
0 commit comments