批量翻译pdf文档功能试用返回error“存在一个极长的文本”等信息

[caishu07]

文档内容有五百来个汉字，是因为太长了没法翻译吗？有没有人遇见和我一样的问题
提示如图：

[ghost]

舉手, 我昨天晚上也有遇到同樣的問題

[binary-husky]

可能pdf文档有混淆措施，人眼看着正常，但程序读出来全是乱码。

如果有arixiv版本，建议取arxiv版本。另外paper的出版商是啥？

[ghost]

分享一下, 我使用下面的指令後就可以fix這問題了, 可以參考看看喔:
pip3 install --upgrade tiktoken==0.3.3

我的系統: windows系統安裝Oracle VirtualBox安裝Ubuntu, ChatGPT學術優化 2.68

[caishu07]

分享一下, 我使用下面的指令後就可以fix這問題了, 可以參考看看喔: pip3 install --upgrade tiktoken==0.3.3

我的系統: windows系統安裝Oracle VirtualBox安裝Ubuntu, ChatGPT學術優化 2.68

我直接用的一台废旧windows部署，shell直接运行这条这令有用吗

[caishu07]

pip3 install --upgrade tiktoken==0.3.3

运行成功了，但是测试同一个pdf，依然提示“存在一行极长的文本”等错误提示，抓瞎了

[caishu07]

我解析pdf时出现同样问题，研究了下解析pdf的代码，应该是由于crazy_utils.py中<第 3 步，切分和重新整合>，识别段落时，如果全文是同一种字体和大小，即使pdf中分行合理，也无法划分为段落，就会直接把全文作为一串输出出来。可能要加一个强制切分的逻辑。

是这样的看来

[caishu07]

可能pdf文档有混淆措施，人眼看着正常，但程序读出来全是乱码。

如果有arixiv版本，建议取arxiv版本。另外paper的出版商是啥？

随便下载了一片天体物理论文测试确实没有问题，完美输出了翻译报告，目前就是不知道想用在所有pdf上该怎么办，我不是搞学术的，只是对全文翻译有需求

[caishu07]

以下是gpt4关于返回极长文本那一段代码的解释，大概明白了什么意思，但本人几乎不懂python不知道解决方法：
这段代码定义了一个名为 breakdown_txt_to_satisfy_token_limit 的函数，它的作用是将一个给定的文本字符串（txt）分割为若干子字符串，以使得每个子字符串的 token 数量不超过给定的限制值（limit）。分割的依据是由 get_token_fn 函数提供的，该函数用于计算给定文本的 token 数量。

breakdown_txt_to_satisfy_token_limit 函数内部定义了一个名为 cut 的递归辅助函数，用于实际执行文本分割的操作。这个辅助函数首先检查输入的文本（txt_tocut）的 token 数量是否已经满足限制，如果满足，就将文本作为列表元素返回。如果不满足限制，它将尝试找到一个合适的位置来分割文本。

为了找到合适的分割位置，函数首先将输入的文本按换行符（\n）分割成若干行。然后，它估算一个合适的分割位置（estimated_line_cut），这个位置大致使得分割后的前半部分文本的 token 数量接近限制值。接下来，函数从估算的分割位置开始，向前查找一个合适的分割点。如果 must_break_at_empty_line 为真，函数会在空行处进行分割。如果找到了合适的分割点，函数将文本分割为前半部分（prev）和后半部分（post），并返回这两部分的组合。

如果没有找到合适的分割点（即 cnt == 0），函数将抛出一个运行时错误，提示存在一行极长的文本。

最后，breakdown_txt_to_satisfy_token_limit 函数调用 cut 辅助函数，对输入的文本进行分割，并返回分割后的文本列表。

[caishu07]

测试更新，确实已解决普通pdf文档返回“存在一行极长文本”的问题，谢谢作者啦