本申请公开了一种预训练模型的训练方法和文本处理方法。其中预训练模型的训练方法包括：按照预设字符组合规则，对文本样本中每个分词和分词的关联字符进行组合得到文本样本对应的分词组合序列；确定分词组合序列对应的至少一个附加信息；利用文本样本、分词组合序列和至少一个附加信息训练预设模型，得到用于构建命名实体识别模型的目标预训练模型。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。本申请实施例提高了目标预训练模型对于文本的表示完整度，进而提高了目标预训练模型对于文本的处理适应能力，也提高了命名实体识别模型进行命名实体识别的准确度和有效性。