在用 whisper 把自己录制的一些视频提取出字幕方便快速看, 他竟然有一个 prompt 的功能, 如果用默认的 tiny 模型, 结果是繁体中文的,因为 openAI 是这么训练的, 但是如果在 prompt 里加入"对话为简体中文", 结果就给你转成简体中文了. 如果我在 prompt 里加入"主题是代码开发" 那里面一些乘除之类的文字也会写对.
还测试了一下模型问题,tiny 问题太多,好多文字是同音的但是不正确, medium 好很多, large 速度慢很多有些错误竟然比 tiny 还离谱, "零元购"给出的是"0 元够",感觉是训练词库里缺了?
whisper 这算不算是一个小语言模型了, 给出 prompt 后,他竟然会根据指令去调整给出的结果, 好像还能自动翻译,这真的惊到我了
还测试了一下模型问题,tiny 问题太多,好多文字是同音的但是不正确, medium 好很多, large 速度慢很多有些错误竟然比 tiny 还离谱, "零元购"给出的是"0 元够",感觉是训练词库里缺了?
whisper 这算不算是一个小语言模型了, 给出 prompt 后,他竟然会根据指令去调整给出的结果, 好像还能自动翻译,这真的惊到我了
4 条回复
 |
1
egen 31 天前
充分继承了大模型胡说八道的特性
OpenAI 语音工具 Whisper 被曝生成虚假内容，医疗行业使用风险引担忧 https://www.shuzhipunk.com/articles/REXKCMIshgV |
 |
2
shendaowu 31 天前
我感觉这个东西本质上跟窍门没什么区别，人类用窍门都多久了？我怀疑只是现在的人工智能能理解窍门了而已。另外关于窍门的本质，我觉得可能部分是特征工程。不过特征工程好像输入端的成分多一些，那些效果很好的提示词明显还有输出部分，这部分对应什么我就不知道了。另外也许执行部分也需要考虑。
|
 |
3
hljjhb 30 天前
large-v3 语料污染很严重，试试 large-v2
|
 |
4
ensonmj 29 天前 via iPhone
whisper 的翻译功能好像是个不小心的副产品，并不是模型设计上就支持的。
|
Select Language