您好！感谢您杰出的工作。
我克隆了repo中的代码，并且完全按照repo中的默认参数设置，只在too_add_anytext.py中添加了如下代码，以适应embedding_manager.proj新的定义self.proj = nn.Sequential(zero_module(linear(40*64, token_dim)), nn.LayerNorm(token_dim))。
if 'embedding_manager.proj.weight' in pretrained_weights and 'embedding_manager.proj.bias' in pretrained_weights:
# Load original weights into proj.0
target_dict['embedding_manager.proj.0.weight'] = pretrained_weights['embedding_manager.proj.weight']
target_dict['embedding_manager.proj.0.bias'] = pretrained_weights['embedding_manager.proj.bias']
# Initialize proj.1 parameters
target_dict['embedding_manager.proj.1.weight'] = torch.zeros(token_dim) # Initialize scaling to 0
target_dict['embedding_manager.proj.1.bias'] = torch.zeros(token_dim) # Initialize bias to 0
print('ocr weights are added!')
其他的代码没有动，只有diffusers库的版本略高于环境设置。
我在15个epoch后的laion测试集上只达到了10%的ocr准确度，猜测是我的代码部分出了问题，但中间输出结果glyph等看起来没有问题，mask就是全灰图。
可能是哪里出现比较大的问题呢？百思不得其解。
您好！感谢您杰出的工作。
我克隆了repo中的代码，并且完全按照repo中的默认参数设置，只在too_add_anytext.py中添加了如下代码，以适应embedding_manager.proj新的定义self.proj = nn.Sequential(zero_module(linear(40*64, token_dim)), nn.LayerNorm(token_dim))。
if 'embedding_manager.proj.weight' in pretrained_weights and 'embedding_manager.proj.bias' in pretrained_weights:
# Load original weights into proj.0
target_dict['embedding_manager.proj.0.weight'] = pretrained_weights['embedding_manager.proj.weight']
target_dict['embedding_manager.proj.0.bias'] = pretrained_weights['embedding_manager.proj.bias']
其他的代码没有动，只有diffusers库的版本略高于环境设置。
我在15个epoch后的laion测试集上只达到了10%的ocr准确度，猜测是我的代码部分出了问题，但中间输出结果glyph等看起来没有问题，mask就是全灰图。
可能是哪里出现比较大的问题呢？百思不得其解。