制作字幕又一法

agent124

前段时间用whisper制作了几部电影的字幕，至少达到可以看懂电影的程度。昨天又碰到一部没字幕的电影，其实它是有字幕的，但不是外挂字幕，而是内嵌的硬字幕，和视频融为一体。固然，还是可以用whisper来处理，但一则很费时间，二则时间轴的吻合也有问题，而且某些音质不佳的片断可能还会识别错误，需要用audacity手工调整，比较麻烦。

后来找了一个VideoSubFinder的软件，好像它的原理是使用opencv识别出有字幕的画面，然后生成文件名里包含了时间戳的图片。不过，很多没有字幕的画面也被提取出来了。所以需要人工调整，我是先在文件浏览器里设置文件用最大的图标显示，然后删除没有字幕的图片。

本来它的后续处理是用ocr软件来识别图片，从而生成字幕。我把这一步跳过了，改用人工智能来处理。

试了几个，发现chatgpt和grok对于图片都有很大限制，chatgpt好像免费用户一天只能上传3张图片，grok好一点，但也有限制（好像是每两个小时30张），而且处理比较慢，微软的copilot也只能上传好像10张不到。只有谷歌的gemini对此最慷慨，好像没有限制，而且处理速度很快。

使用时发现，gemini允许一次最多上传10张，但是要小心，上传次数多了，它可能会出错，张冠李戴。所以，需要检查识别出来的字幕是否和图片中的一致，出错时，不要马上重新上传，那样没用，需要删除会话，重新开个新会话，再继续上传，就可以了。每次基本上只需要核对第一张是否正确就差不多了。如果第一张没错，其他几张也不会有错。

全部识别出来后，再写个小程序，利用文件名里包含的时间轴信息和识别出来的文字，生成完整的字幕。

最后一步，就是用人工智能，将生成的外文字幕，翻译成中文或者英语。如果英文程度不好，那当然是选择中文。或者字幕太多，各段字幕之间的间隔很短，如果是英文字幕，看片时眼睛过于频繁在画面和英文字幕间切换，忙不过来，这时也选择中文字幕，因为毕竟是看中文的速度快。否则还是选择英语，因为翻译效果相对准确些。我为了少敲几个键（比如“请把这段字幕翻译成中文，保留所有时间戳。只翻译，不要分析。”），也写了个小程序。

这样看起来还是比较麻烦，要费不少时间，不过比起用whisper处理，还是要快一些（特别是没有大显存的英伟达的情况下），效果也要好一些。

最后补充一点，这里说的是非英语硬字幕的电影。如果片子的人声是英语，那还是用whisperx处理，又快又好。

许春梅

这个太专业了。楼主可以吃字幕制作这碗饭了。

agent124

许春梅 发表于 2025-9-12 20:18
这个太专业了。楼主可以吃字幕制作这碗饭了。

我知道您这样说，未必是认真的。不过您的话让我联想到（不是针对您个人），现在很多人不管说到什么，好像第一反应就是：这个东西能不能赚钱。

我现在说实话，对于金钱已经看得比较淡了。我现在做的事，很多都不是为了钱，而是自己喜欢，或者觉得有意义。

meibf

我觉得应该先用ffmpeg对电影画面裁剪一下，只保留字幕区域，然后再使用VideoSubFinder，识别出的图片最后按大小排排序，说不定就能剔除没文字的图片了。

agent124

meibf 发表于 2025-9-13 01:33
我觉得应该先用ffmpeg对电影画面裁剪一下，只保留字幕区域，然后再使用VideoSubFinder，识别出的图片最后按 ...

VideoSubFinder会自动截取字幕区域(通常是下方区域），用户也可自己微调大小

cloudsky

agent124 发表于 2025-9-12 20:22
我知道您这样说，未必是认真的。不过您的话让我联想到（不是针对您个人），现在很多人不管说到什么，好像 ...

为兴趣而折腾，是一种享受，理解楼主的乐趣所在

msjwww

虽然不用，还是谢谢分享！

msjwww

也许有用得着的时候

苏沃洛夫

真有办法。我连pot的人声转字幕都 弄不了。每次都是找不到我下载 的模型。明明下载 了。只不过我放在d盘。我不想放c盘。

weist123

这个太难了，以后马上就可以用AI了，能轻松把很多老影视配上字幕，校正一下即可

agent124

weist123 发表于 2025-9-13 18:33
这个太难了，以后马上就可以用AI了，能轻松把很多老影视配上字幕，校正一下即可 ...

whisper就是用的ai，但对于小语种如捷克语，孟加拉语等，效果还有待提高，而且对音质要求比较高，太轻了不行，背景音乐太吵也不行

姑妄言之

直接用网盘的AI字幕

lxh623

1、油管可以自动添加字幕，但是，有时候，为什么有些视频没有字幕啦？
2、沉浸式翻译插件有AI字幕等等，也有字幕翻译、下载、修改。有月费。

dearii

我一般使用premiere  安装语音库之后可以自动识别生成字幕，