개행문자 학습에 대하여

[jucho2725]

안녕하세요,

SKT-AI/KoGPT2#11 이슈에 대해 잘 보았습니다.
혹시 결국 실제 학습하실 때는 어떻게 하셨는지 알수 있을까요?

version 1.1 에서는 이슈에서 말하신대로

vocab.token_to_idx["\n"] = vocab.token_to_idx[""]
del vocab.token_to_idx[""]

와 같은 코드를 활용하여 학습을 진행한 것으로 보이는데, version 2.0 에서는 해당 코드가 존재하지 않기에 여쭈어봅니다.

아니면 혹시.spiece 파일을 수정하셨는지요?

저도 새로운 토큰의 정의가 필요하고 이를 자동토큰화 하고싶은 상황입니다.
답변해주신다면 정말 감사하겠습니다 :)

[gyunggyung]

안녕하세요. 답변이 늦어서 죄송합니다.

해당 페이지가 사라져서 문제 확인이 어렵군요.

확인이 되면, 다시 답변을 드리겠습니다!

감사합니다 :)