Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

✨ 批量下载使用场景和期望的解决方式 #133

Open
4 of 6 tasks
lc4t opened this issue May 10, 2023 · 5 comments
Open
4 of 6 tasks

✨ 批量下载使用场景和期望的解决方式 #133

lc4t opened this issue May 10, 2023 · 5 comments

Comments

@lc4t
Copy link
Contributor

lc4t commented May 10, 2023

特性描述

使用场景A:批量下载某个列表(用户投稿、收藏...)
问题1:列表中视频很多(>500),(拉取视频基本信息的)等待时间内没有进度提示
问题2:大规模/分时下载高清视频,大会员会在中途失效

使用场景B:增量拉取某个列表(用户投稿、收藏...)视频
问题1:cookie失效不会触发自动更新
问题2:不能指定从某个节点(时间、视频、页码...)开始/后拉取视频,也就是说每次都是全量拉一遍列表信息再判断

建议解决方案

A1:

  • 先给出总数,再逐步拉取;
  • 具有-b参数时,拉取视频基本信息给进度条

A2:

  • 给出一个可选参数,允许用户设定无大会员时中止

B1:

  • 这个需求可能本来就不该yutto解决,这是cookie更新问题。可选的方案是处理set-cookie以更新cookie
  • 或者用户自行寻找外部更新cookie的办法

B2:

  • 增加一个可选参数,可以让用户给定起始页码、ID、发布时间

额外信息

总的来说需要一个自动同步b站特定部分视频并且放到emby刮削。

一点点的自我检查

  • 充分阅读 README.md,特别是与本 issue 相关的部分
  • 本 issue 在 issuesdiscussion 中并没有重复问题
@z0z0r4
Copy link

z0z0r4 commented Aug 14, 2023

cookie 失效时刷新的唯一办法是通过 yutto 登录或者提供 ac_time_token

这一点似乎 yutto 没打算提供,命令行显示 QRCode 登录是最简单的

@lc4t
Copy link
Contributor Author

lc4t commented Sep 13, 2023

关于如何刷新SESSDATA有不少repo都讨论过,这里就不针对讨论了,可以参考 #180
yutto本身是个下载器,维持登录态在目前来看是用户输入需要负责的;

另外,命令行显示QRCode,其实这个是登录行为,与维持登录态有所区别,可以参考下 https://github.com/lkeme/BiliHelper-personal实现的登录

@z0z0r4
Copy link

z0z0r4 commented Sep 13, 2023

大批量下载的时候会在获取全量信息卡半天,建议分批

@john-Ly
Copy link

john-Ly commented Oct 21, 2023

  1. 个人空间全部投稿视频+时间范围过滤 个人常用情形就是处理增量发布的视频
  2. 不过每次全量拉取费时(网络不好 会增加重试/对网站也会造成一定的影响 看起来太像爬虫了) 在这处代码行

建议
user-video-space 本身是按照 pubdate 已排序,能不能每次解析一个视频 url,就立即下载(利用排序特性),而不是每次都要解析所有的视频 url ?
没细看代码,不知道是否容易扩展 :(

@z0z0r4
Copy link

z0z0r4 commented Oct 21, 2023

这段循环视频量大了容易触发人机

  1. 个人空间全部投稿视频+时间范围过滤 个人常用情形就是处理增量发布的视频
  2. 不过每次全量拉取费时(网络不好 会增加重试/对网站也会造成一定的影响 看起来太像爬虫了) 在这处代码行

建议 user-video-space 本身是按照 pubdate 已排序,能不能每次解析一个视频 url,就立即下载(利用排序特性),而不是每次都要解析所有的视频 url ? 没细看代码,不知道是否容易扩展 :(

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants