A Repository of code and documents in Summer

本仓库的建立用于在开学前学习必要知识，依据以下指导进行创建 Direction.

仓库建立的格式： 每周的多个任务分别建立文件夹记录文件（以及代码）。具体格式如下：

name
|-- week1
| |-- 李宏毅视频笔记
| | |-- xxx.md 或 xxx.docx
| |-- git 工具使用笔记
| | |-- xxx.md 或 xxx.docx
|-- week2
| |-- 李宏毅视频笔记
| | |-- xxx.md 或 xxx.docx
...

Plans

• 表示还未完成
• 表示已完成

Week1_(0630-0706)

1. 神经网络与深度学习相关概念以及Pytorch的基本操作
   • 第一节：P1-11 除了 5，8
   • 深度学习：P13，14
   • 记录笔记
2. git代码仓库学习
   • git基础教程
   • git图解
   • git仓库快速导入以及同步更新
   • gitee帮助中心
   • 记录笔记

• 输出:
  • 在Gitee建立仓库并使用git仓库管理
  • 把笔记上传到仓库中,HW1暂时不写

Week2_(0707-0713)

1. 机器学习和深度学习任务第二节ML任务攻略
2. Linux环境配置以及基本命令在Windows上运行WSL2
   • linux command line
   • 适用于Linux的Windows子系统文档
   • 在Windows10/11安装WSL2 Ubuntu20.04

• 输出：
  • 视频课程学习笔记，上传到仓库中，作业部分暂时不完成
  • 完成linux的配置以及基本操作的学习

Week3_(0714-0720)

1. 第三节-卷积神经网络（CNN）
2. 第四节-循环神经网络（RNN）
3. 安装Jupyter，熟悉Jupyter的使用方法。
   • 安装方法：搭建Python轻量级编写环境
   • 使用方法：
     • Jupyter使用教程
     • 快速上手Jupyter
4. Pytorch包学习
5. Paddle学习：
   • Paddle与Pytorch的转换
   • 飞桨 PaddlePaddle-源于产业实践的开源深度学习平台

• 输出：
  • 视频课程学习笔记，以及作业 HW1、作业 HW2、作业 HW3 的试验。
  • 完成环境配置以及对 PyTorch 的初步了解。
  • 初步了解 PaddlePaddle，以及与 PyTorch 的转换关系。

Week4_(0721-0727)

1. 神经网络训练任务
   • 第四节-自注意力机制
   • 第五节-类神经网络训练不起来怎么办
2. PyTorch入门中剩下部分的学习
   • PyTorch1.4 教程&文档
3. PaddlePaddle包配置尝试
   • 使用指南

• 输出：
  • 视频课程学习笔记以及作业
  • 完成PyTorch教程上的代码教程
  • 完成环境配置以及对PaddlePaddle配置的初步实践

Week5_(0728_0803)

1. NLP相关基础知识
   1. [x]自然语言处理导引以及词向量
      • Lecture 1 - Introduction and Word Vector
      • Word2Vector 参考资料：
        • Efficient Estimation of Word Representations in Vector Space
        • Distributed Representations of Words and Phrases and their Compositionality
        • Word2vec Parameter Learning Explained
   2. 依赖分析 Lecture 4 - Dependency Parsing
   3. 语言模型 Lecture 5 - Language Models and RNNs
   4. 预训练模型 Lecture 10 - Transformers and Pretrained Model
2. 实战演练-阶段一
   • NLP
   • midlevel_data
   • nlp_dive

• 输出：
  1. 视频课程学习笔记以及作业
  2. 阶段一涵盖NLP中模型构建的基本步骤，记录实验结果

Week6_(0804-0810)

1. NLP相关任务：
   1. 翻译任务 Lecture 7 - Translation, Seq2Seq, Attention
   2. 问答任务 Lecture 11 - Question Answering
   3. 自然语言生成任务 Lecture 12 - Natural Language Generation
   4. 共指消解任务 Lecture 13 - Coreference Resolution
2. 实战演练-阶段二
   1. 词嵌入 TransE 实现
   2. 词嵌入 Glove 实现
   3. 序列模型与 Attention
   4. 情感分析模型
   5. 关系抽取模型

• 输出：
  1. 视频课程学习笔记以及作业
  2. 阶段二主要涵盖词嵌入学习及基础模型应用两部分内容完成模型调优，记录实验结果

Week7_(0811-0817)

1. 模型压缩入门：
   1. 模型压缩概述
   2. 模型蒸馏入门
   3. 模型剪枝入门
   4. 模型参数量化入门
2. 论文阅读
   1. 模型压缩综述论文：Model compression as constrained optimization, with application to neural nets. Part I : general framework
   2. 其他

• 输出：
  1. 视频课程学习笔记
  2. 论文阅读笔记

Targets

0. Python
1. 深度学习入门
   • 李宏毅2021/2022 ML Course
   • 完成22年版课程中的作业
   • 李沐精读论文
   • Stanford CS224n
2. Linux基本命令
3. git工具的使用
4. 基本网络结构的入门学习
   • 循环神经网络(Recurrent Neural Network, SNN)
   • Transformer
   • 部分预训练模型(Pretrained Model)
   • 大语言模型(Large Language Model)
5. pytorch的使用
   • 参考PyTorch v1.4官方文档