三星Bixby视觉在S8上与百度合作提供了图片文字提取和翻译功能。而在今年的新旗舰机S9、S9+上与百度AI合作推出了实景实时翻译功能。用户只需打开Bixby视觉,将相机朝向要翻译的文字,即可马上获得翻译结果。
核心诉求
在旅行中我们时常会遇到这样的情况:
1. 在国外餐馆中,如果对该国语言不熟悉且没有配图时看不懂菜单内容;
2. 在国外旅行时面对路牌指示,因为不熟悉该国语言而手足无措;
3. 将各类进口商品说明书中的单词一个个输入到翻译软件中查看翻译结果,费时费力;
4. 对于完全没有接触过的语言,对照着图片不知道如何在翻译软件中输入需要翻译的单词;
三星希望能为客户打造极致的用户体验,要解决上述问题,就需要一个高精度的文字识别接口,提供在通用场景下对多种语言的文字提取功能,再结合翻译提供客户完整、流畅的体验。借助百度文字识别和百度翻译服务,三星在Bixby视觉中加入了AR翻译的功能,一站式解决出国旅行途中各类文字提取翻译的问题,带来崭新的人际交互体验。
解决方案
Bixby视觉的实时翻译功能使用了百度的两项技术:文字识别和翻译
当用户将手机朝向要翻译的文字时,包含文字的图片通过百度文字识别接口发送给百度提取文字,提取好的文字通过百度翻译接口有百度翻译之后返回到手机上。三星将从百度收到的翻译结果以AR形式呈现给用户。
示例如下: 在Bixby视觉中,对准要识别的文字,平台会将翻译好的文字直接呈现给用户。
技术实现过程:
1. 用户在Bixby视觉中打开文字模式,并将相机朝向要翻译的文字,包含文字的图片发送给百度,百度实现文字提取和文本翻译
2. 三星从百度收到的文本翻译结果呈现在原文本位置。