llama3词表扩充问题

[Atomheart-Father]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型训练与精调

基础模型

Llama-3-Chinese-8B-Instruct（指令模型）

操作系统

Linux

详细描述问题

lama3的tokenizer没有使用sentence piece，而是使用tiktoken建立的，请问我如果基于sentencepiece训练中文tokenizer，要怎么和llama3 的已有词表进行合并？或者有什么其他的扩充llama3词表的方式吗？

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[Clown4730]

可以使用tiktoken训练一个新的词表，然后两个合并。