训练过程中：Segmentation fault (core dumped)或直接死机

[EggGDX]

你好，请问出现 训练过程中：Segmentation fault (core dumped)或直接死机 您这里有什么好的解决方案吗？

[ZhengPeng7]

这个应该是你特定环境的一些问题吧?
可以截图放过来一起看看

[EggGDX]

我是训练了几个epoch，电脑会突然死机，或者说Segmentation fault (core dumped)；就没有其他报错信息了

[ZhengPeng7]

是不是torch版本问题? 之前2.5之前的, 用上compile会有内存泄漏的问题, 是torch自身的, 我们没法修.
一个是可以尽量用更新版本的torch, 或者同时关闭compile看看.
还有就是仍然可能是你数据问题.

当然, 你可以先和gpt之类的聊聊, 甚至让他去debug下.

[EggGDX]

目前感觉是机器的问题，我租用服务器训练正常，目前想请教一下以下问题:

1. 我将self.finetune_last_epochs设置为-20，将微调轮数设置20之内时，效果较好，但仍然会有部分缺陷
2. 我将self.finetune_last_epochs设置为-20，但是将微调轮数设置为50时，效果反而变得更差了，这是因为bce loss破坏了预训练权重吗
3. 我是一个贴纸分割的训练，如果想要训练的更好，您有什么好的参数设计吗？
4. 这个微调训练是不支持batch_size=1吗，出现了加载预训练报错

[ZhengPeng7]

1, 2: 我记得这个设置是用于训练最后进行小lr来小幅训练的吧, 这个属于纯实验超参, 其实不是太好解释. 我之前是对于纯binary的话, 会只用IoU在这里, 记得效果会好些. matting的话就换成只用mae. 但这纯属经验之谈.
3: 这个我也不清楚, 贴纸就没有透明度吧, 那可以试试IoU调大, 至少收敛会更快些, 预测结果会更二值化一些, metric score我不确定.
4: 是的, 这里默认用了BN, 所以batch size得 > 1.