自本年5月哔哩哔哩（以下简称B站）通告将下架原国际版APPkaiyun中国官方网站，与国内版归并为一个长入APP后，B站的出海下一步便引来各方关怀。
近日，辞天下东说念主工智能大会上，B站公布了其为就业国际用户而全新自研的「AI原声翻译功能」，以便国际用户更好体验游戏、科技、二次元等主推践诺。在完成了APP归并、国际用户页面多语种适配、卓绝是视频原声翻译功能上线后，B站似乎照旧作念好准备蓄力开垦国际市集。
本次发布的「AI原声翻译」功能除了自动擦除中笔墨幕改为英文、弹幕翻译及各类按钮英文适配等基础的文本互译除外，还能完好收复UP主的声线、音色、气口，而非传统的机器音翻译，同期还能基于翻译语言进行口型模拟。这意味着在昔日华文用户不雅看外语UP主视频或国际用户不雅看华文UP主视频时能无死别体验原汁原味的“腹地化”翻译视频。后续，B站还将视需求把日语等语言加入「AI原声翻译」功能中，合手续推广在国际市集的适配智力。
据悉，当今B站「AI原声翻译功能」中，跨语言声息收复时刻源自里面代号为「 IndexTTS2」的语音生成模子 ，其全体框架如下图所示。该模子引入了一种新颖、通用且兼容自雅致架构的语音时长及心理截止门径。该门径相沿指定token数目，从良友毕对语音时长的精确调控，裁汰了翻译任务的难度。另外对心理抒发与话语东说念主身份进行了灵验解耦，已毕了高质料地复刻原片语音中蕴含的心理。
为攻克「AI原声翻译功能」中的中枢挑战——尤其在游戏、二次元等专名梗点密集领域——已毕原作风精确保留与语音时长完好对应，B站时刻团队基于大语言模子（LLM）构建翻译引擎，独创性基于语音时长匹配、原声翻译标准与UP主独到作风构建多意见奖励模子，并弃取顽抗式强化学习（RL）查验开动模子合手续进化与精确适配。同期，引入Deep Research深度挖掘时刻，专攻专着名词与流行梗点的翻译难点，确保最终译文准确、隧说念、逼真。字幕擦除部分则鸠合了先进的多模态大模子OCR时刻和基于STTN荟萃的视频重绘时刻，已毕字幕区域的精确检测与高收复度擦除。
文丨记者 杭莹
受访者供图kaiyun中国官方网站
发布于：北京市