simbert small和tiny的训练过程

[Padfoot-Luna]

已知simbert是在bert-base的基础上用相似句语料训练得到的，那么small版和tiny版，是怎么训练得到的呢？比如
方法一：直接在bert-small/tiny上用相似句语料训练
方法二：用训练好的simbert作为teacher蒸馏得到simbert-small/tiny

[bojone]

当时是用方法一训练的。