OpenAI – 编码无悔 / Intent & Focused https://www.codelast.com 最优化之路 Wed, 17 Sep 2025 14:29:50 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.9.4 [原创] 用Whisper.cpp在本地(离线)把mp3音频转成中文 https://www.codelast.com/%e5%8e%9f%e5%88%9b-%e7%94%a8whisper-cpp%e5%9c%a8%e6%9c%ac%e5%9c%b0%e7%a6%bb%e7%ba%bf%e6%8a%8amp3%e9%9f%b3%e9%a2%91%e8%bd%ac%e6%88%90%e4%b8%ad%e6%96%87/ https://www.codelast.com/%e5%8e%9f%e5%88%9b-%e7%94%a8whisper-cpp%e5%9c%a8%e6%9c%ac%e5%9c%b0%e7%a6%bb%e7%ba%bf%e6%8a%8amp3%e9%9f%b3%e9%a2%91%e8%bd%ac%e6%88%90%e4%b8%ad%e6%96%87/#respond Wed, 17 Sep 2025 14:29:50 +0000 https://www.codelast.com/?p=14183 如果你有把mp3音频转成中文文本、并且不想调用任何云端API的需求，那么本文提供了一个可行的方案。
OS：Ubuntu 20.04 LTS（MacOS类似可用）

audio to text

我们首先要知道几个背景知识：
➤ whisper.cpp 是一个开源的 C/C++ 实现，用于运行 OpenAI 的 Whisper 模型。Whisper 是一种先进的自动语音识别（Automatic Speech Recognition, ASR）神经网络模型，能够将音频转换为文本。它支持多种语言，识别效果精准，并且可以完全离线运行，无需互联网连接。这个项目特别适合嵌入到各种应用程序中，因为它是轻量级的实现，可以在 CPU 上高效运行。
➤ whisper.cpp-cli 是对 whisper.cpp 命令行工具的 Python 封装。
➤ OpenAI 的 Whisper 模型是一个先进的自动语音识别系统。它是基于 Transformer 架构的神经网络模型，主要用于将音频转换为文本。Whisper 由 OpenAI 开源开发，使用了大规模的多语言数据集进行训练（包括 68 万小时的音频数据，支持 98 种语言），因此具有出色的准确性和鲁棒性，能够处理多种口音、背景噪音和技术术语。
文章来源：https://www.codelast.com/… Read More

]]> 如果你有把mp3音频转成中文文本、并且不想调用任何云端API的需求，那么本文提供了一个可行的方案。
OS：Ubuntu 20.04 LTS（MacOS类似可用）

audio to text

我们首先要知道几个背景知识：
➤ whisper.cpp 是一个开源的 C/C++ 实现，用于运行 OpenAI 的 Whisper 模型。Whisper 是一种先进的自动语音识别（Automatic Speech Recognition, ASR）神经网络模型，能够将音频转换为文本。它支持多种语言，识别效果精准，并且可以完全离线运行，无需互联网连接。这个项目特别适合嵌入到各种应用程序中，因为它是轻量级的实现，可以在 CPU 上高效运行。
➤ whisper.cpp-cli 是对 whisper.cpp 命令行工具的 Python 封装。
➤ OpenAI 的 Whisper 模型是一个先进的自动语音识别系统。它是基于 Transformer 架构的神经网络模型，主要用于将音频转换为文本。Whisper 由 OpenAI 开源开发，使用了大规模的多语言数据集进行训练（包括 68 万小时的音频数据，支持 98 种语言），因此具有出色的准确性和鲁棒性，能够处理多种口音、背景噪音和技术术语。
文章来源：https://www.codelast.com/
因此，我们需要安装的是 whisper.cpp-cli，并且要下载好 Whisper 模型文件，这样就能使用 whisper.cpp-cli 来调用Whisper模型文件进行语音识别了。
为了不影响系统里安装的软件，我们通常都会用micromamba、uv之类的Python包管理器创建一个新的env（环境），然后在里面再安装其他的Python包。这里我们用uv，你也可以用其他的包管理器来创建env。

mkdir whisper
cd whisper
uv venv . --python 3.8  # 创建一个新环境
source bin/activate  # 激活环境
uv pip install pip  # 安装pip
pip install whisper.cpp-cli  # 安装whisper.cpp-cli

这样我们就安装好了相关软件。
文章来源：https://www.codelast.com/
把 mp3 转成 16 kHz 的 wav 文件：

ffmpeg -y -i /home/codelast/st.mp3 -ar 16000 /home/codelast/st.wav

注意，16 kHz 是Whisper要求的。

然后我们就可以开始做语音识别了：

 whisper-cpp -m ../whisper.cpp/download/x-ggml-model.zh.bin -f /home/codelast/st.wav -l zh --output-txt

这个命令的参数：
-m：指定使用 x-ggml-model.zh.bin 这个模型来做语音识别（模型文件要提前从 Hugging Face 上下载好）
-f：指定输入文件，对 st.wav 这个音频文件进行语音识别
-l：指定输出语言为中文
--output-txt：直接输出txt文本。
文章来源：https://www.codelast.com/
输出内容示例如下：

whisper_init_from_file_with_params_no_state: loading model from '../whisper.cpp/download/x-ggml-model.zh.bin'
whisper_model_load: loading model
whisper_model_load: n_vocab       = 51865
whisper_model_load: n_audio_ctx   = 1500
whisper_model_load: n_audio_state = 768
whisper_model_load: n_audio_head  = 12
whisper_model_load: n_audio_layer = 12
whisper_model_load: n_text_ctx    = 448
whisper_model_load: n_text_state  = 768
whisper_model_load: n_text_head   = 12
whisper_model_load: n_text_layer  = 12
whisper_model_load: n_mels        = 80
whisper_model_load: ftype         = 1
whisper_model_load: qntvr         = 0
whisper_model_load: type          = 3 (small)
whisper_model_load: adding 1608 extra tokens
whisper_model_load: n_langs       = 99
whisper_model_load:      CPU total size =   487.01 MB
whisper_model_load: model size    =  487.01 MB
whisper_init_state: kv self size  =   49.55 MB
whisper_init_state: kv cross size =   55.30 MB
whisper_init_state: compute buffer (conv)   =   22.54 MB
 whisper_init_state: compute buffer (encode) =  2 80.20 MB
whisper_init_state: compute buffer (cross)  =    6.31 MB
whisper_init_state: compute buffer (decode) =   97.40 MB
 
system_info: n_threads = 4 / 8 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | METAL = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | CUDA = 0 | COREML = 0 | OPENVINO = 0
 
main: processing '/home/codelast/st.wav' (23957094 samples, 1497.3 sec), 4 threads, 1 processors, 5 beams + best of 5, lang = zh, task = transcribe, timestamps = 1 ...
 
 
[00:00:00.000 --> 00:00:19.040]  这里是识别文字第一句
[00:00:19.040 --> 00:00:40.280]  这里是识别文字第二句
......

可以看到，输出的内容是带有时间轴标识的。
细看会发现，Whisper输出的中文有时会有错别字，我们可以用AI进一步纠错，想怎么处理你就可以随意发挥了。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：
wechat qrcode of codelast
以及我的微信视频号：

 
]]> https://www.codelast.com/%e5%8e%9f%e5%88%9b-%e7%94%a8whisper-cpp%e5%9c%a8%e6%9c%ac%e5%9c%b0%e7%a6%bb%e7%ba%bf%e6%8a%8amp3%e9%9f%b3%e9%a2%91%e8%bd%ac%e6%88%90%e4%b8%ad%e6%96%87/feed/ 0 [原创] ChatGPT的出现，让我第一次觉得机器有希望替代Cambly https://www.codelast.com/%e5%8e%9f%e5%88%9b-chatgpt%e7%9a%84%e5%87%ba%e7%8e%b0%ef%bc%8c%e8%ae%a9%e6%88%91%e7%ac%ac%e4%b8%80%e6%ac%a1%e8%a7%89%e5%be%97%e6%9c%ba%e5%99%a8%e6%9c%89%e5%b8%8c%e6%9c%9b%e6%9b%bf%e4%bb%a3cambly/ https://www.codelast.com/%e5%8e%9f%e5%88%9b-chatgpt%e7%9a%84%e5%87%ba%e7%8e%b0%ef%bc%8c%e8%ae%a9%e6%88%91%e7%ac%ac%e4%b8%80%e6%ac%a1%e8%a7%89%e5%be%97%e6%9c%ba%e5%99%a8%e6%9c%89%e5%b8%8c%e6%9c%9b%e6%9b%bf%e4%bb%a3cambly/#respond Sun, 11 Dec 2022 14:29:21 +0000 https://www.codelast.com/?p=13758

Cambly是一个和真人老外(native English speakers)视频聊天练习英语口语的平台。
ChatGPT是由OpenAI于2022年11月推出的一个人工智能聊天机器人程序，该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。
这俩货有什么关系？听我慢慢道来。

作为一直努力保持良好英语口语水平的人，我已经连续付费订阅了几年的Cambly服务了，大概每周2～3次和老外聊天，每次15分钟。这年费么，实话说不算贵，大概2千多/年的价位。我曾经不止一次地希望有人工智能的程序可以代替Cambly的真人英语对话服务（或者至少在80%的场景下），从而可以让我省下Cambly年费。
例如在2020年的时候，我看到百度推出了一个PLATO-2，于是当时我就试了一下它的效果，结果我只能评价：这是什么破烂玩意啊？！确实你们论文里的公式写得很fancy，你们的结论很诱人，你们声称的效果也很牛B，但完全经不起实践的检验啊！一个chat bot，我跟它对话的时候，能让我100%觉得它是个bot，并且这个bot还时不时体现出它傻到无法形容的水平，那么请问这个bot存在的意义是什么？写论文、开源GitHub代码仅仅是为了和阿里一样搞开源KPI吗？
文章来源：https://www.codelast.com/
不仅是百度的这个模型，还有很多其他公司出品的各种号称各种牛B的对话程序，只要是公开出来可以服务大众的，可以说是一个真●智能的都没有，就真有的话也是那种只发论文但闭源、未接受过群众鞭笞的，毫无意义。
直到最近ChatGPT的火爆，让我再次看到了曙光！
ChatGPT火到什么程度？不仅网上的科技报道铺天盖地，我一堆同事都在玩。它最厉害的地方在于，它似乎了解“所有”领域的知识，甚至很多专业领域。ChatGPT作为程序员发明的产品，自然被很多程序员用来检验其在程序开发领域的可用性了，例如这位兄弟：

ChatGPT教他解决Flask开发过程中遇到的一个问题。
这样的例子数不胜数。
文章来源：https://www.codelast.com/
话扯远了，现在回到“替代Cambly真人英语对话服务”这个话题上，我觉得如果真的有哪家初创公司能往这方面加把劲，给ChatGPT套一个壳，加上voice-to-text/text-to-voice的功能，让ChatGPT可以开口“说话”，再给它套一个能对上口型的VR形象，再优化访问速度，那就至少能在80%的程度上代替真人英语口语老师了。
尽管人类的生活经验、丰富表情、说话语气是聊天机器人所不具备的特点，但是，当聊天机器人程序把价格压到只有真人的20%甚至更低时，人类在语言培训领域几乎将优势尽失。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：
wechat qrcode of codelast
以及我的微信视频号：

… Read More ]]>

Cambly是一个和真人老外(native English speakers)视频聊天练习英语口语的平台。
ChatGPT是由OpenAI于2022年11月推出的一个人工智能聊天机器人程序，该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。
这俩货有什么关系？听我慢慢道来。

作为一直努力保持良好英语口语水平的人，我已经连续付费订阅了几年的Cambly服务了，大概每周2～3次和老外聊天，每次15分钟。这年费么，实话说不算贵，大概2千多/年的价位。我曾经不止一次地希望有人工智能的程序可以代替Cambly的真人英语对话服务（或者至少在80%的场景下），从而可以让我省下Cambly年费。
例如在2020年的时候，我看到百度推出了一个PLATO-2，于是当时我就试了一下它的效果，结果我只能评价：这是什么破烂玩意啊？！确实你们论文里的公式写得很fancy，你们的结论很诱人，你们声称的效果也很牛B，但完全经不起实践的检验啊！一个chat bot，我跟它对话的时候，能让我100%觉得它是个bot，并且这个bot还时不时体现出它傻到无法形容的水平，那么请问这个bot存在的意义是什么？写论文、开源GitHub代码仅仅是为了和阿里一样搞开源KPI吗？
文章来源：https://www.codelast.com/
不仅是百度的这个模型，还有很多其他公司出品的各种号称各种牛B的对话程序，只要是公开出来可以服务大众的，可以说是一个真●智能的都没有，就真有的话也是那种只发论文但闭源、未接受过群众鞭笞的，毫无意义。
直到最近ChatGPT的火爆，让我再次看到了曙光！
ChatGPT火到什么程度？不仅网上的科技报道铺天盖地，我一堆同事都在玩。它最厉害的地方在于，它似乎了解“所有”领域的知识，甚至很多专业领域。ChatGPT作为程序员发明的产品，自然被很多程序员用来检验其在程序开发领域的可用性了，例如这位兄弟：

ChatGPT教他解决Flask开发过程中遇到的一个问题。
这样的例子数不胜数。
文章来源：https://www.codelast.com/
话扯远了，现在回到“替代Cambly真人英语对话服务”这个话题上，我觉得如果真的有哪家初创公司能往这方面加把劲，给ChatGPT套一个壳，加上voice-to-text/text-to-voice的功能，让ChatGPT可以开口“说话”，再给它套一个能对上口型的VR形象，再优化访问速度，那就至少能在80%的程度上代替真人英语口语老师了。
尽管人类的生活经验、丰富表情、说话语气是聊天机器人所不具备的特点，但是，当聊天机器人程序把价格压到只有真人的20%甚至更低时，人类在语言培训领域几乎将优势尽失。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：
wechat qrcode of codelast
以及我的微信视频号：

]]> https://www.codelast.com/%e5%8e%9f%e5%88%9b-chatgpt%e7%9a%84%e5%87%ba%e7%8e%b0%ef%bc%8c%e8%ae%a9%e6%88%91%e7%ac%ac%e4%b8%80%e6%ac%a1%e8%a7%89%e5%be%97%e6%9c%ba%e5%99%a8%e6%9c%89%e5%b8%8c%e6%9c%9b%e6%9b%bf%e4%bb%a3cambly/feed/ 0