解析 Kwai 页面状态,构建视频转录接口
作者利用 Kwai 公开页面中的 Nuxt 状态提取数据,并介绍获取视频转录与互动指标的接口实践。为避免执行页面脚本,作者实现受限解释器解析状态表达式,并使用字符串视频 ID 避免精度丢失。
AI 深度解读
Kwai 没有公开 API,作者就从无需登录的网页和站点自身调用的接口里取数据,再把视频音频交给语音识别服务,拿到口播文本、播放量和点赞数。
这套方案值得看的地方,是它如何处理网页状态、压缩音频、跳过疑似无对白的视频,以及承认匿名搜索的上限。它已经跑过一次测试,但成本口径和识别准确率还不足以支撑更大的承诺。
网页能打开,不代表数据能直接当 JSON 读
作者发现,Kwai 的公开个人页 /@usuario 和视频页 /@usuario/video/<id> 都能在未登录时访问。页面由 Nuxt 构建,数据藏在 window.__NUXT__ 里。
麻烦在于,这份状态不是标准 JSON,而是一段使用单字母参数的 JavaScript 函数。下面这段原文示意代码,展示了用户名如何通过参数进入页面数据:
window.__NUXT__=(function(a,b,c,d){return {data:[{photo:{...,user_name:a,...}}]}}("fulano",0,void 0,...))
要看的是 user_name:a:解析器需要还原参数与值的对应关系,不能只截取大括号后就调用 JSON.parse。其中的 ... 是原文省略内容,这段代码不能直接运行。
作者没有执行网页提供的代码,而是写了一个小型解释器,只处理对象、数组、void 0、Array(n) 和 R[0]={...} 这类赋值结构。
另一个容易漏掉的问题是视频 ID。作者明确要求使用 photo_id_str,不要使用 photo_id,因为后者数值过大,转成浮点数会丢失精度。对 Node 开发者来说,字符串 ID 应当一路保留,后面再转成 Number,仍会把问题带回来。
列表数据则来自站点自身调用的 JSON 接口:
- 个人主页使用
/rest/o/w/pc/feed/profile。 - 话题使用
/rest/o/w/pic/topic。 - 搜索使用
/rest/o/w/pc/feed/search。 - 分页参数是
pcursor。
没有公开 API 文档,不等于网页背后没有数据接口。 但站点内部接口能访问,也不代表它提供了稳定性承诺。
转录之前,先减少要处理的数据
作者的处理链路很直接:下载最轻量的 MP4 版本,提取音频,再送去识别。
音频统一转为 Opus,采用单声道、16 kHz、24 kbps。按作者给出的例子,一个 17 MB 的视频,提取后约为 0.5 MB。对只需要口播文本的任务,视频画面不必进入后续识别链路。
语音识别使用 Groq 上的 Whisper 模型 whisper-large-v3-turbo;遇到用量限制时,程序自动切到 Deepgram,持续几分钟。
作者认为,最省钱的一步发生在转录之前:Kwai 会为每个视频提供 dialogProbability。当这个值小于 0.3 时,他们将其视为只有音乐的视频,直接跳过。
这里要留个问号。原文没有给出这个字段的准确率,也没有说明会漏掉多少有人声的视频。这个阈值是作者采用的筛选规则,不能直接当作「低于它就一定没有对白」的保证。
一次测试中,30 个视频合计有 76 分钟音频,作者报告服务器花费约 US$ 0.02。但原文没有拆分语音识别、下载流量和运行平台的费用,不能据此推算整套服务的总成本。
我的判断
我更认可作者对边界的交代。评论接口在未登录时返回空数据,因此没有纳入;关键词搜索在没有会话的情况下,每个词大约只能拿到 20 条结果。第二页会重复第一页,并表示已经结束。
这对实现分页的人很有用:拿到了 pcursor,也不代表下一页一定有新数据。 如果忽略这个现象,程序可能把重复内容当成采集成果。
和直接执行页面脚本相比,有限解释器缩小了需要处理的语法范围,但页面结构一变,仍可能需要维护。和所有视频都送去转录相比,先按 dialogProbability 筛选可以减少请求,却可能牺牲召回率。作者没有提供两种方式的对照数据,节省效果目前只能按经验看待。
作者也将方案发布为 Apify Actor,供不想维护代码的人使用,并提供了搜索「receita de bolo」的 3 视频示例,称花费几美分。它说明方案有可用入口,但还不能证明大规模运行时的稳定性。
能拿来做什么
- 做 Node 采集脚本时,可以借鉴「列表接口取条目、页面状态补数据」的路径,同时保留字符串 ID,并检查分页是否返回重复视频。
- 做垂类内容分析时,可以把口播转录与播放量、点赞数放在一起,观察创作者在讲哪些话题,也能找到只在音频中提及品牌的视频。
- 做视频摘要工具时,可以把转录文本交给 AI 生成可选摘要。原文设想用五分钟读完 50 个视频的摘要,但没有提供阅读效率或摘要质量的测试结果,应把它当作使用目标。