Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 2 additions & 0 deletions .gitattributes
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
* text=auto eol=lf
*.ipynb filter=nbstripout
124 changes: 57 additions & 67 deletions README.md

Large diffs are not rendered by default.

81 changes: 81 additions & 0 deletions README_ZH.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,81 @@
<div align=center>
<h1>课程名称</h1>
<p><a href="./README.md">View English</a></p>
</div>

(1-2句话点名项目核心价值)项目仓介绍。

## 📢 最新消息

- 2025-10-21 「课程更新」:新增XXX课程,包含完整视频、课件及代码案例。([查看详情](xxxx))
- 2025-10-18 「功能优化」:项目仓完成重构,查找课程资源更清晰,新增PR检查门禁,合入内容更规范。([查看详情](xxx))
- 2025-10-10 「Bug修复」:修复xxxxxx问题,感谢@username的PR贡献。([查看详情](xxxx))

## 前置知识

在学习本门课程之前,您需要掌握:

- Python基础
- Linux命令基础
- Jupyter基础
- Docker镜像使用

您可以通过前置学习考试(*待上线*)进行自检。

## 环境准备

为确保项目仓中实践代码可正常运行,推荐以下环境准备方式。更详细的环境准备指导详见[Wiki](https://github.com/mindspore-courses/step_into_llm/wiki/Set-Up-Development-Environment)。

### 直接安装依赖

请先确保 Python 版本符合[课程要求](#版本维护)后,进入仓库根目录,执行:

```bash
pip install requirements.txt
```

### 使用Docker镜像(*待发布*)

为方便开发者更加便捷地进行代码实践,节约环境准备的时间,我们提供了预装好的基础Dockerfile文件。课程的所有镜像可从[dockerfile](./dockerfile/)获取。本课程镜像文件信息如下,开发者可根据实际需求进行拉取:

镜像基础使用教程详见环境准备Wiki中的[Docker镜像使用](https://github.com/mindspore-courses/step_into_llm/wiki/Set-Up-Development-Environment)部分。

## 课程内容

| 序号 | 课节 | 简介 | 课程资源 | 能力认证入口 |
| :-- | :------ | :--------------- | :----------------------- | :---------- |
| 1 | xxx | xxx | [PPT](跳转链接) · [代码](跳转链接) · [视频](跳转链接) · [云沙箱实验](跳转链接) · [学习路径](跳转链接) | |
| 2 | xxx | xxx | [PPT](跳转链接) · [代码](跳转链接) · [视频](跳转链接) · [云沙箱实验](跳转链接) · [学习路径](跳转链接) | [初级认证入口](xxxx) |
| 3 | xxx | xxx | [PPT](跳转链接) · [代码](跳转链接) · [视频](跳转链接) · [云沙箱实验](跳转链接) · [学习路径](跳转链接) | |
| 4 | xxx | xxx | [PPT](跳转链接) · [代码](跳转链接) · [视频](跳转链接) · [云沙箱实验](跳转链接) · [学习路径](跳转链接) | [中级认证入口](xxxx) |

## 版本维护

项目随昇思MindSpore及昇思MindSpore NLP套件迭代同步发布版本,本项目仓每**半年**进行版本发布。

| 版本名 | Python | MindSpore | MindSpore NLP |
| :----- | :----- |:------ |:------ |
| master | xxx | xxx | xxx |
| r1.0 | xxx | xxx | xxx |

## 常见问题(FAQ)

详见Wiki中[FAQ](https://github.com/mindspore-courses/step_into_llm/wiki/Developer-FAQ)。

## 贡献与反馈

欢迎各位开发者通过 [Issue](https://github.com/mindspore-courses/step_into_llm/issues) 提交建议或 bug 反馈,也可直接发起 [PR](https://github.com/mindspore-courses/step_into_llm/pulls) 进行Bug修复或代码贡献(提交前请参考提交规范,由Committer @username 完成评审合入),你的每一份参与都能让本项目更加完善。

### 提交规范

详见WIKI:[Issue与PR提交规范](https://github.com/mindspore-courses/step_into_llm/wiki/Contributing-Guidelines)

### 贡献者展示

向本项目的贡献者们致以最诚挚的感谢!

<div align=center style="margin-top: 30px;">
<a href="https://github.com/mindspore-courses/step_into_llm/graphs/contributors">
<img src="https://contrib.rocks/image?repo=mindspore-courses/step_into_llm" />
</a>
</div>
2 changes: 1 addition & 1 deletion Season1.step_into_chatgpt/0.Course-Review/3-GPT.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@ GPT-1是更早于BERT提出了预训练语言模型(Pre-train+Fine-tune)的
## 1. 课程回顾

- Semi-Supervised Learning
- Unsupervised Pretraining
- Unsupervised Pretraining
- 模型预训练优化目标
- 模型结构
- Supervised Fine-tuning
Expand Down
6 changes: 3 additions & 3 deletions Season1.step_into_chatgpt/0.Course-Review/5-Parallel.md
Original file line number Diff line number Diff line change
Expand Up @@ -50,13 +50,13 @@

- 内存优化
1. 重计算

<div align="center"><img src="./assets/5.parallel/recompute.png" alt="recompute"></div>

时间换空间:重计算技术可以不保存正向计算结果,让该内存可以被复用,然后在计算反向部分时,重新计算出正向结果。

2. 优化器并行——ZeRO

<div align="center"><img src="./assets/5.parallel/optimizer_parallel.png" alt="optimizer-parallel"></div>

将参数和梯度分组放到不同卡上更新,再通过通信广播操作在设备间共享更新后的权值。
Expand Down
4 changes: 2 additions & 2 deletions Season1.step_into_chatgpt/0.Course-Review/6-CodeGeex.md
Original file line number Diff line number Diff line change
Expand Up @@ -70,11 +70,11 @@
2. 目前的基准从多任务及多语言两个方面对模型进行评价

- 多任务

通过不同应用场景进行评价,多使用CodeBLEU/BLEU评价相似性

- 多语言

在不同编程语言下评价代码正确性,如HumanEval(仅支持Python)、MultiPL-E(支持16种语言,但为自动翻译并不支持多任务)

3. HumanEval-X:新的多语言代码生成基准
Expand Down
Loading