chapter2/03_tokenization

[giscus[bot]]

chapter2/03_tokenization

一个从传统自然语言处理（NLP）到大语言模型（LLM）的全栈式学习教程，内容涵盖NLP基础、词向量、Transformer、BERT/GPT、大模型微调（LoRA/RLHF）、手写 Llama2、模型量化与部署、多模态大模型等核心概念与代码实践

https://datawhalechina.github.io/base-llm/

[Sunrise-57]

浮点数下溢是指一个非零的浮点数，其绝对值小于当前浮点数格式所能表示的最小正规格化数时，发生的一种现象。

简单来说，就是数字太小，计算机无法用正常的精度格式来存储它。

[Sunrise-57]

一个句子可以有很多种拆成词的方法，每一种拆法就是一条“分词路径”

[Sunrise-57]

从贝叶斯定理的角度，我们实际上是在求解：

arg max_{text{分词}} P(text{分词}|text{句子})

即在给定句子的条件下，找到概率最大的分词方案。

根据贝叶斯定理：

P(text{分词}|text{句子}) propto P(text{句子}|text{分词}) times P(text{分词})

其中 P(text{分词}) 就是分词序列本身的概率，这正是公式（2.1）计算的内容

[Sunrise-57]

对于任何一个句子和它对应的一个确定的分词方案，这个分词方案生成该句子的概率都是1：P(句子 | 分词) = 1
既然 P(句子 | 分词) 恒等于1，那么贝叶斯公式在分词这个具体问题中就简化为了：
P(分词 | 句子) ∝ 1 × P(分词) = P(分词)
这正是jieba所使用的模型：
它直接去寻找那个先验概率 P(分词) 最大的分词路径
语料库是计算 P(分词) 的基础
公式（2.2）P(w_i) = 词w_i的词频 / 总词频 中的“词频”和“总词频”，全部都是从大规模语料库中统计得到的。

[Sunrise-57]

如果某个词在词典中没有出现（未登录词），那么它的概率就是0，这会导致整个路径的概率为0。因此，通常会对概率进行平滑处理，例如给每个词一个很小的概率，如果是对数加法，也同样适用

[JingxuGu]

oov problem is out-of-vocabulary problem.