照亮星星的人们2023-9-8 20:48 /
今日工作总结
1. 推进代码复现工作
复现论文代码的时候有一个疑惑：如果说paired data里面的ref是由多个算法实现的，那么为什么还需要这种unfixed-style的工作，直接按照需求使用不同的算法不就行了？
为了解答疑惑，顺藤摸瓜找到了同作者的前一篇论文Reference Based Sketch Extraction via Attention Mechanism，发现：
1.作者的核心思想是解决不同作品原始线稿可能存在风格不同的问题，这个确实合理。
2. 作者使用的是semiu-supervised, 在前期使用了少部分的paired data，然后使用TPS做数据增强实现对风格的学习。
对于第二点，今天在标注数据集的时候计算了一下时间，平均1.5分钟一张图（算是比较快的），4000张动画估计需要44小时的时间，这个星期内肯定是完不成了，预计时间还需要再延长，如果模仿论文里的方法做semi-supervised，配上image-to-image translation，style-transfer或者domain gap看看能不能减少所需要的时间，如果不行就还是手绘。
2. 阅读论文
(1) Reference Based Sketch Extraction via Attention Mechanism
(2) 了解Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection
了解目标检测+蒸馏学习，本文对蒸馏目标进行了改进，把KL散度变成了BCE，由softmax变成sigmoid，进一步减小了student model的常数误差。同时用带权重的IoU代替了复杂的定位蒸馏。
ICCV2023|涨点神器！目标检测蒸馏学习新方法，浙大、海康威视等提出
https://mp.weixin.qq.com/s/umFQ6BEvD6QYHPaA3g4ZRw
3. 数据集制作
1. 推进代码复现工作
复现论文代码的时候有一个疑惑：如果说paired data里面的ref是由多个算法实现的，那么为什么还需要这种unfixed-style的工作，直接按照需求使用不同的算法不就行了？
为了解答疑惑，顺藤摸瓜找到了同作者的前一篇论文Reference Based Sketch Extraction via Attention Mechanism，发现：
1.作者的核心思想是解决不同作品原始线稿可能存在风格不同的问题，这个确实合理。
2. 作者使用的是semiu-supervised, 在前期使用了少部分的paired data，然后使用TPS做数据增强实现对风格的学习。
对于第二点，今天在标注数据集的时候计算了一下时间，平均1.5分钟一张图（算是比较快的），4000张动画估计需要44小时的时间，这个星期内肯定是完不成了，预计时间还需要再延长，如果模仿论文里的方法做semi-supervised，配上image-to-image translation，style-transfer或者domain gap看看能不能减少所需要的时间，如果不行就还是手绘。
2. 阅读论文
(1) Reference Based Sketch Extraction via Attention Mechanism
(2) 了解Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection
了解目标检测+蒸馏学习，本文对蒸馏目标进行了改进，把KL散度变成了BCE，由softmax变成sigmoid，进一步减小了student model的常数误差。同时用带权重的IoU代替了复杂的定位蒸馏。
ICCV2023|涨点神器！目标检测蒸馏学习新方法，浙大、海康威视等提出
https://mp.weixin.qq.com/s/umFQ6BEvD6QYHPaA3g4ZRw
3. 数据集制作