#1 - 2020-9-15 22:51
拿月亮自刎 (情更怯)
v0.0.5 2020-09-19
导出的 csv 文件可以查看搜索关联条目的结果
v0.0.3 2020-09-19
导入 Bangumi 收藏到 豆瓣时,增加随机等待时间,以及随机搜索方式。70%概率还是原来的搜索方式。30%的概率使用另外的搜索页面,不过这种方式失败概率较高。
增加了一个重新同步失败的条目按钮。
v0.0.2 2020-09-16
支持从个人的豆瓣电影首页导入 Bangumi 的数据

功能
迁移豆瓣动画的收藏到 Bangumi。
迁移 Bangumi 的数据到豆瓣, 只能同步“在看” “看过” “想看”。
一键迁移后,有一个 “导出xx动画的收藏同步信息” 的按钮,用来查看原来的收藏信息和导出结果。


上图是豆瓣电影主页的。输入框输入个人的 Bangumi 主页地址。
豆瓣的电影主页地址是: https://movie.douban.com/mine


在上图的输入框,输入自己豆瓣主页的 URL。 当然你输入别人的也行 (bgm38)
比如我的豆瓣主页: https://www.douban.com/people/y4950/
还可以选择同步的类型。
然后点击 “导入豆瓣动画收藏”
Bangumi 上已经被收藏的条目的评论、标签以及评分不会被覆盖。
豆瓣上面非日语的电影类型,不会进行迁移同步。
因为无法区分动画还是日剧,默认搜索类型是动画,所以日剧会同步失败。

注意
这个脚本网络请求量比较大,请慎用。避免给 Bangumi 的服务器增加太大负担。
我提供了一个下拉框,可以选择同步类型: 在看、看过、想看。
可以通过这种方式进行数据的测试。
另外迁移数据有风险,最好先测试一下或者备份
ps: 评分数据,我是直接把豆瓣的评分乘以2来的。槽点另论。

脚本安装
greasyfork 地址:安装地址1
github 地址:安装地址2
#2 - 2020-9-15 22:54
(迷子でもいい、迷子でも進め。)
太强了
#3 - 2020-9-15 22:56
大赞,支持
使用感想:给我标了百兽王,虽然我豆瓣没记录过百兽王,但我的确看过b38
#3-1 - 2020-9-15 23:10
拿月亮自刎
(bgm38) 是么? 发一下你的豆瓣主页,我排查一下。
#3-2 - 2020-9-15 23:17
綿飴
拿月亮自刎 说:  是么? 发一下你的豆瓣主页,我排查一下。
刚刚正好在操作,删了点动画,不过当时导出了记录
突然发现哥斯拉后面有个成功,看来是哥斯拉变成了百兽王(bgm38)
#3-3 - 2020-9-15 23:37
拿月亮自刎
綿飴 说: 刚刚正好在操作,删了点动画,不过当时导出了记录
突然发现哥斯拉后面有个成功,看来是哥斯拉变成了百兽王
就是哥斯拉,我用你的地址尝试后,给自己标记了 《百兽王》和 动画版的 《哥斯拉》
Bangumi 的搜索结果: https://bgm.tv/subject_search/%E3%82%B4%E3%82%B8%E3%83%A9?cat=2
里面正好有《百兽王》

我可以屏蔽 Bangumi 的搜索,缺点就是能够同步的条目数据可能会少一些。
#3-4 - 2020-9-16 00:06
綿飴
拿月亮自刎 说: 就是哥斯拉,我用你的地址尝试后,给自己标记了 《百兽王》和 动画版的 《哥斯拉》
Bangumi 的搜索结果: https://bgm.tv/subject_search/%E3%82%B4%E3%...
这个不算什么大问题吧,多出来的删掉就好了
感谢大佬,支持大佬
#4 - 2020-9-16 00:21
那么可以反着来吗 我想把班固米的导入豆瓣里面去
#4-1 - 2020-9-16 22:56
拿月亮自刎
v0.0.2 支持从豆瓣的电影主页导入 Bangumi 的数据了
#4-2 - 2020-9-17 00:55
魔夜
拿月亮自刎 说: v0.0.2 支持从豆瓣的电影主页导入 Bangumi 的数据了
哦哦哦 谢谢大佬 完美解决了我的问题
#5 - 2020-9-19 13:35
(天の光は全て星だ)
楼主辛苦了
试了一下bangumi转到豆瓣。我豆瓣之前只有3个看过条目,转的成功率好像不高...
这是豆瓣的

这是bangumi的
#5-1 - 2020-9-19 13:40
#6 - 2020-9-19 13:39
(天の光は全て星だ)
重新试了第二次之后,把在看条目更新完脚本就停止工作了
#6-1 - 2020-9-19 14:37
拿月亮自刎
刚刚试了一下同步你的 Bangumi 收藏到我的豆瓣。
想看和在看 只有3个失败了。
因为你看过的条目有点多,暂时还没有试。你可以试一试选择看过,然后点击导入。如果发现脚本停止运行了,麻烦 按一下 F12  点击下面截图 红色框的 “console ”,然后滚动到底部截图给我看看。
#6-2 - 2020-9-19 14:44
hikki-
拿月亮自刎 说: 刚刚试了一下同步你的 Bangumi 收藏到我的豆瓣。
想看和在看 只有3个失败了。
因为你看过的条目有点多,暂时还没有试。你可以试一试选择看过,然后点击导入。如果发现脚本停止运行了,麻烦 按一下 F...
这下又拿了一个豆瓣全新账号测试了一下,只同步看过,然后更了几十条报错了
这次更新成功了85条
#6-3 - 2020-9-19 15:16
hikki-
拿月亮自刎 说: 刚刚试了一下同步你的 Bangumi 收藏到我的豆瓣。
想看和在看 只有3个失败了。
因为你看过的条目有点多,暂时还没有试。你可以试一试选择看过,然后点击导入。如果发现脚本停止运行了,麻烦 按一下 F...
另外的这个豆瓣号试了三次都卡在这里
#6-4 - 2020-9-19 15:20
hikki-
拿月亮自刎 说: 刚刚试了一下同步你的 Bangumi 收藏到我的豆瓣。
想看和在看 只有3个失败了。
因为你看过的条目有点多,暂时还没有试。你可以试一试选择看过,然后点击导入。如果发现脚本停止运行了,麻烦 按一下 F...
最开始的豆瓣号直接被锁了草...
#6-5 - 2020-9-19 16:16
拿月亮自刎
hikki- 说: 最开始的豆瓣号直接被锁了草...
原来豆瓣还有 API 的,后来不给用了。
。。。 我正在改替代搜索方案,不过效果也不好。现在只能调高搜索频率。
#6-6 - 2020-9-19 16:23
hikki-
拿月亮自刎 说: 原来豆瓣还有 API 的,后来不给用了。
。。。 我正在改替代搜索方案,不过效果也不好。现在只能调高搜索频率。
搜索频率设置成一个小范围内的随机数不知是否可行?
#6-7 - 2020-9-19 16:53
hikki-
拿月亮自刎 说: 原来豆瓣还有 API 的,后来不给用了。
。。。 我正在改替代搜索方案,不过效果也不好。现在只能调高搜索频率。
会不会不是搜索限制的原因?
我又拿那个被锁的号试了三次,每次也都是检索到红传说剧场版后报错停止
我的看过列表里那段是这样的
难道是七日战争的条目有问题?
果然是这个条目有问题,把这个条目屏蔽掉就接着往下跑了

再往下又报了同样错误,这次看情况是ISLAND条目。


是否是搜索逻辑问题导致在搜索条目时脚本报错直接停止运行?

把island屏蔽了,继续试下去发现搜索被限制了...看来搜索频率也还是需要调高...

#6-8 - 2020-9-19 19:40
拿月亮自刎
hikki- 说: 会不会不是搜索限制的原因?
我又拿那个被锁的号试了三次,每次也都是检索到红传说剧场版后报错停止
我的看过列表里那段是这样的
难道是七日战争的条目有问题?
果然是这个条目有问题,把这个条目屏蔽掉就接着往...
感谢测试反馈。
v0.0.3
增加0.4 - 1秒 加上 1-2 秒的随机等待时间。
30%的概率使用另外的搜索页面。不过因为这个页面使用的是 React,数据的动态渲染的,数据抓取的时候,容易出现失败。
70%概率还是原来的搜索方式。
增加了一个重试按钮。
还有个方案是支持通过csv 文件来选择导入或者支持单个条目的导入。不过得找另外的时间开发这个功能了。
#6-9 - 2020-9-19 19:42
hikki-
拿月亮自刎 说: 感谢测试反馈。
v0.0.3
增加0.4 - 1秒 加上 1-2 秒的随机等待时间。
30%的概率使用另外的搜索页面。不过因为这个页面使用的是 React,数据的动态渲染的,数据抓取的时候,容易出现失...
感谢更新,我去试试新版。
另外提个建议,建议增加个功能,用来显示导入失败的条目。我看控制台有部分是提示没找到的,如果人工再进行一个个核对的话还是比较费时费力的。
#6-10 - 2020-9-19 19:44
hikki-
拿月亮自刎 说: 感谢测试反馈。
v0.0.3
增加0.4 - 1秒 加上 1-2 秒的随机等待时间。
30%的概率使用另外的搜索页面。不过因为这个页面使用的是 React,数据的动态渲染的,数据抓取的时候,容易出现失...
像是特定条目直接报错停止运行脚本这种BUG能够解决吗?能写个try catch逻辑遇到这种情况直接跳过进行下一个条目检索嘛?
#6-11 - 2020-9-19 19:46
拿月亮自刎
hikki- 说: 感谢更新,我去试试新版。
另外提个建议,建议增加个功能,用来显示导入失败的条目。我看控制台有部分是提示没找到的,如果人工再进行一个个核对的话还是比较费时费力的。
“导入失败的条目”时可以导出的,在执行完成时会出现一个按钮。上面你报错的地方,我没有把错误 catch 到,导致后面没有执行,现在出错了应该可以跳过失败的情况,继续执行了。
#6-12 - 2020-9-19 19:48
hikki-
拿月亮自刎 说: “导入失败的条目”时可以导出的,在执行完成时会出现一个按钮。上面你报错的地方,我没有把错误 catch 到,导致后面没有执行,现在出错了应该可以跳过失败的情况,继续执行了。
好的,感谢,似乎你greasyfork上还没有更新?
#6-13 - 2020-9-19 19:50
拿月亮自刎
hikki- 说: 像是特定条目直接报错停止运行脚本这种BUG能够解决吗?能写个try catch逻辑遇到这种情况直接跳过进行下一个条目检索嘛?
没料到豆瓣这边的反爬机制,之前是套用了在 Bangumi 上面导入的逻辑。
#6-14 - 2020-9-19 19:50
拿月亮自刎
hikki- 说: 好的,感谢,似乎你greasyfork上还没有更新?
已更新,刚刚忘记手动更新 greasyfork
#6-15 - 2020-9-19 19:57
hikki-
拿月亮自刎 说: 已更新,刚刚忘记手动更新 greasyfork
。。。。好像只要一跑你新写的逻辑就直接报错

这个一出现必定紧跟一个报错
#6-16 - 2020-9-19 20:02
拿月亮自刎
hikki- 说: 。。。。好像只要一跑你新写的逻辑就直接报错
这个超时 “message timeout" 应该不影响继续执行的。其它红色报错是豆瓣页面的了。
这是因为利用 iframe 使用 postMessage 传数据始终没有成功导致的。
那个 ”为豆瓣添砖“ 是因为我相当于新开一个豆瓣页面。
#6-17 - 2020-9-19 20:04
hikki-
拿月亮自刎 说: 这个超时 “message timeout" 应该不影响继续执行的。其它红色报错是豆瓣页面的了。
这是因为利用 iframe 使用 postMessage 传数据始终没有成功导致的。
不好意思,那我等跑完核对一下这些报错的条目是否有成功导入再来和你反馈吧
#6-18 - 2020-9-19 20:08
hikki-
拿月亮自刎 说: 这个超时 “message timeout" 应该不影响继续执行的。其它红色报错是豆瓣页面的了。
这是因为利用 iframe 使用 postMessage 传数据始终没有成功导致的。
那个 ”为豆瓣添...
想先请问一下那个重试按钮,两种模式下的导入失败条目都有重试吗?还是只重试方案二搜索模式失败的条目?
#6-19 - 2020-9-19 20:16
拿月亮自刎
hikki- 说: 想先请问一下那个重试按钮,两种模式下的导入失败条目都有重试吗?还是只重试方案二搜索模式失败的条目?
判断失败的条目都会重试,不过还是会随机两种搜索模式。
失败的情况分为两种: 一种是豆瓣搜索处理的结果没有通过字符串的相似度判断。
另外一种是没有拿到搜索结果
我自己也测试过,我新增的搜索模式确实目前准确率偏低。
#6-20 - 2020-9-19 20:22
hikki-
拿月亮自刎 说: 判断失败的条目都会重试,不过还是会随机两种搜索模式。
失败的情况分为两种: 一种是本身通过豆瓣搜索处理的结果,通过逻辑判断字符串的相似度没有通过。
另外一种是没有拿到搜索结果
我自己也测试过,我新增的...
目前看了好几个新搜索模式导入的都是失败了,不过可能和你说的新的准确率低有关系。

接着上面说的建议,我想建议一下就是每次运行结束后成功导入的条目和导入失败的条目都支持导出。因为导入成功的条目中也有可能有出错的所以需要具体核对。成功的部分原本看控制台就挺清晰了但是被新的搜索方式弄的控制台报错个不停的情况下,我觉得还是能导出csv进行人工检阅比较直观一些。导入错误的条目同理,让使用者明确知道那些条目需要自己手动导入。
#6-21 - 2020-9-19 20:29
拿月亮自刎
hikki- 说: 目前看了好几个新搜索模式导入的都是失败了,不过可能和你说的新的准确率低有关系。

接着上面说的建议,我想建议一下就是每次运行结束后成功导入的条目和导入失败的条目都支持导出。因为导入成功的条目中也有可能...
我还是屏蔽新的搜索方式吧。

你提到的导出结果,运行完成后 “导出”那个按钮的 csv 文件里面有结果。每次重试都会刷新结果的
#6-22 - 2020-9-19 20:37
hikki-
拿月亮自刎 说: 我还是屏蔽新的搜索方式吧。

你提到的导出结果,运行完成后 “导出”那个按钮的 csv 文件里面有结果。每次重试都会刷新结果的
不好意思我没表达清楚,我指的的导出成功导入到豆瓣中的条目在豆瓣上的信息,目前能导出的只有条目在bangumi上的信息。
比如这种导入条目出现混乱的,只有看到导入条目的豆瓣信息才能发现错误。
#6-23 - 2020-9-19 20:50
hikki-
拿月亮自刎 说: 我还是屏蔽新的搜索方式吧。

你提到的导出结果,运行完成后 “导出”那个按钮的 csv 文件里面有结果。每次重试都会刷新结果的
感觉使用新的搜索方式然后反复重试这种方式也挺耗时间的,不如使用原本的搜索逻辑增加单次搜索间隔时长+每隔50~100个就停顿1~2分钟,应该也不会被限制。之前都是爬了200+个的时候才被限制的。
#6-24 - 2020-9-19 21:35
拿月亮自刎
hikki- 说: 感觉使用新的搜索方式然后反复重试这种方式也挺耗时间的,不如使用原本的搜索逻辑增加单次搜索间隔时长+每隔50~100个就停顿1~2分钟,应该也不会被限制。之前都是爬了200+个的时候才被限制的。
v0.0.5
导出的 csv 现在有搜索结果了。
新增重试的初衷是搜索结果有时候触发了反爬机制信息拿不到。另外我新增的搜索方式,信息老是会莫名其妙的拿不到,重试几下又会拿到。
#6-25 - 2020-9-19 21:40
hikki-
拿月亮自刎 说: v0.0.5
导出的 csv 现在有搜索结果了。
新增重试的初衷是搜索结果有时候触发了反爬机制信息拿不到。另外我新增的搜索方式,信息老是会莫名其妙的拿不到,重试几下又会拿到。
感谢更新,另外整理的时候又发现一个BUG,bangumi上的十分评分无法同步至豆瓣
#6-26 - 2020-9-19 21:51
拿月亮自刎
hikki- 说: 感谢更新,另外整理的时候又发现一个BUG,bangumi上的十分评分无法同步至豆瓣


我测试了一下好像没问题
#6-27 - 2020-9-19 21:55
hikki-
拿月亮自刎 说:

我测试了一下好像没问题
我这边有部分有问题,我目前还没有发现共性
#7 - 2020-9-19 14:23
(天の光は全て星だ)
查了一下控制台(bgm38)
#7-1 - 2020-9-19 14:39
拿月亮自刎
应该是触发了豆瓣的保护机制,我改一下替代方法。
#7-2 - 2020-9-19 14:43
#7-3 - 2020-9-19 14:46
hikki-
拿月亮自刎 说: 对了麻烦你试试下面两个链接你打开有结果么: https://www.douban.com/search?ca ... %E7%A3%81%E7%A0%B2T

https://search.douba...

看来就是被豆瓣查水表了
#8 - 2020-9-19 20:38
(此账号已停用)
好,给大佬点赞
#8-1 - 2020-9-19 20:53
红炉点雪
一个建议,Bangumi偶数星的条目可以同步到豆瓣对应1/2星,但是奇数星就没办法同步,按照bangumi较为严格的标准,奇数星直接向上取整是可以的。
#8-2 - 2020-9-19 21:35
拿月亮自刎
红炉点雪 说: 一个建议,Bangumi偶数星的条目可以同步到豆瓣对应1/2星,但是奇数星就没办法同步,按照bangumi较为严格的标准,奇数星直接向上取整是可以的。
我前面采取 1.5 向下取整。现在改成向上取整了。
#9 - 2020-9-19 20:45


(bgm38)其他都还好,就是重名的片子会自动匹配到豆瓣的三次元电影。。
#9-1 - 2020-9-19 21:36
拿月亮自刎
这个暂时没辙,可以看看导出的结果,对比一下搜索结果事发匹配正确。
#10 - 2022-6-21 20:13
从豆瓣导入的功能目前还是好使的 给up点赞。 就是占用了Bangumi的服务器资源。感觉有些可耻。(bgm17)
#11 - 2022-7-3 21:21
大佬,为什么我在个人主页找不到按钮,什么都没有显示(bgm39)
#11-1 - 2022-7-3 21:35
拿月亮自刎
Bangumi 主页在你的右下角。看主楼截图。
豆瓣也是在主页,现在豆瓣网页端要手机或者APP 扫码,我就不试了。