【安全生产】【百度大脑新品体验】血压计读数识别
让天涯 发布于2020-07-09 浏览:3993 回复:12
0
收藏

一、功能介绍

使用仪器仪表盘读数识别技术,可对采集到的仪器仪表数值信息自动识别,并快速录入到业务系统中,有效解决人工抄录过程中抄错、抄漏等问题,提升抄录效率,减少人工录入工作量,降低企业人力成本,实现仪器仪表数据录入的自动。

二、应用场景

家里的父母长辈年龄大了,对他们的身体应该多加关心。平时除了多锻炼,如果条件允许,可以定时的进行血压、血糖等测量,实时掌握身体数据的变化,做到防范于未然。
目前市面上测量血压的血压计有很多,测量结果也比较准确,有的也不贵,买一个给家里的长辈用,其实也是不错的选择。但是,市面上测量比较准确的血压计,都会有一个问题,那就是大部分的血压计都没有“互联网”特性:他们的血压计,虽然可以测量血压,但是记录一般都只能记录在血压器里,有的还只能记录一个组里,导致如果你想用一个血压计测量多个人的血压,那就只能自己另外做笔记记录了,血压计是不能很好的区分的。也无法将数据跟子女分享,让子女了解长辈的身体情况。更别说,这些血压数值到底是代表什么意思,连续血压测量值的变化有什么含义等更进一步的数据分析了。
其实,完全可以利用百度的“仪器仪表盘读数识别技术”,做一个专门的健康咨询管理工具:用手机简单的拍个照,便能够读取血压计测量的数据,然后将数据进行分组记录,并将数据进行同步分享,让子女能够实时掌握父母长辈的身体健康状态。
如果,再结合语音合成,人工智能技术,上传血压数据后,可以给出本次血压数据的语音播报就更好了,比如:“您本次高压XXX,低压XXX,脉搏XXX,身体健康,结合近期的血压数据,建议多吃蔬菜。。。”,人性化的解读,能大大方便老年人的操作,如果能够用方言进行播报,就更好了。
再进一步,若能联系相关的健康专业人士,进行血压数据的解读、分析,提出改善身体健康的指导意见,那就具有更大的价值了。
另外,还可以利用百度“仪器仪表盘读数识别技术”读取血糖仪、体重计、体脂计等其他仪器的数据,将各种数据结合起来分析,对于身体健康的管理会起到很大的监督、预测作用。

三、使用攻略

说明:本文采用C# 语言,开发环境为.Net Core 3.1,采用在线API接口方式实现血压计的数据读取功能。

(1)平台接入
登陆 百度智能云-管理中心 创建 “文字识别”应用,获取 “API Key ”和 “Secret Key”:https://console.bce.baidu.com/ai/?_=1594130877505&fromai=1#/ai/ocr/overview/index

(2)接口文档

文档地址:https://ai.baidu.com/ai-doc/OCR/Jkafike0v

接口描述:

适用于不同品牌、不同型号的仪器仪表盘读数识别,广泛适用于各类血糖仪、血压仪、燃气表、电表等,可识别表盘上的数字、英文、符号,支持液晶屏、字轮表等表型。

请求说明

HTTP方法:POST
请求URL:https://aip.baidubce.com/rest/2.0/ocr/v1/meter
URL参数:


Header如下:

Body中放置请求参数,参数详情如下:

返回说明
返回参数

返回示例:

{
"words_result":
[{"words":"118","location":{"top":"251","left":"348","width":"156","height":"96"}},
{"words":"78","location":{"top":"356","left":"379","width":"124","height":"100"}},
{"words":"78","location":{"top":"472","left":"437","width":"66","height":"51"}},
{"words":"RU","location":{"top":"490","left":"284","width":"53","height":"40"}},
{"words":"mmHg","location":{"top":"514","left":"370","width":"45","height":"16"}}],
"log_id":"1280505439011733504",
"words_result_num":5
}

(3)源码共享

(3-1)根据 API Key 和 Secret Key 获取 AccessToken

/// 
/// 获取百度access_token
/// 
/// API Key
/// Secret Key
/// 
public static string GetAccessToken(string clientId, string clientSecret)
{
    string authHost = "https://aip.baidubce.com/oauth/2.0/token";
    HttpClient client = new HttpClient();
    List> paraList = new List>();
    paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
    paraList.Add(new KeyValuePair("client_id", clientId));
    paraList.Add(new KeyValuePair("client_secret", clientSecret));

    HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
    string result = response.Content.ReadAsStringAsync().Result;
    JObject jo = (JObject)JsonConvert.DeserializeObject(result);

    string token = jo["access_token"].ToString();
    return token;
}

(3-2)调用API接口获取识别结果

(3-2-1)在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能:

string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

app.UseStaticFiles(new StaticFileOptions
{
    FileProvider = new PhysicalFileProvider(
        Path.Combine(webRootPath, "Uploads", "BaiduAIs")),
    RequestPath = "/BaiduAIs"
});

(3-2-2) 建立Index.cshtml文件

(3-2-2-1)前台代码:

    由于html代码无法原生显示,只能简单说明一下:

    主要是一个form表单,需要设置属性enctype="multipart/form-data",否则无法上传图片;

    form表单里面有几个控件:

一个Input:type="file",asp-for="FileUpload" ,上传图片;

一个Input:type="submit",asp-page-handler="Meter" ,提交请求。

一个img:src="@Model.curPath",显示需要识别的图片。

最后显示后台 msg 字符串列表信息,如果需要输出原始Html代码,则需要使用@Html.Raw()函数。 

(3-2-2-2) 后台代码: 

主程序代码:

[BindProperty]
public IFormFile FileUpload { get; set; }
[BindProperty]
public string ImageUrl { get; set; }
public List msg = new List();
public string curPath { get; set; }
string webRootPath = Path.Combine(Directory.GetCurrentDirectory(), "wwwroot");

string BaiduAI_OCRPath="Uploads//BaiduAIs//";
string BaiduAI_OCRUrl="/BaiduAIs/";
string OCR_API_KEY="你的API KEY";
string OCR_SECRET_KEY="你的SECRET KEY";

public OCRSearchModel()
{
}

public async Task OnPostMeterAsync()
{
    if (FileUpload is null)
    {
        ModelState.AddModelError(string.Empty, "请先选择需要检测的图片!");
    }
    if (!ModelState.IsValid)
    {
        return Page();
    }
    msg = new List();

    string fileDir = Path.Combine(webRootPath, BaiduAI_OCRPath);
    string imgName = GetRandomName();
    imgName = await UploadFile(FileUpload, fileDir);

    string fileName = Path.Combine(fileDir, imgName);
    string imgBase64 = GetFileBase64(fileName);
    curPath = Path.Combine(BaiduAI_OCRUrl, imgName);

    DateTime startTime = DateTime.Now;

    string result = GetOCRJson(imgBase64, OCR_API_KEY, OCR_SECRET_KEY);

    DateTime endTime = DateTime.Now;
    TimeSpan ts = endTime - startTime;

    JObject jo = (JObject)JsonStringToObj(result);

    try
    {
        List msgList = jo["words_result"].ToList();
        msg.Add("仪器仪表盘读数识别结果(耗时" + ts.TotalSeconds + "秒):\n");
        foreach (JToken ms in msgList)
        {
            msg.Add(ms["words"].ToString());
        }
    }
    catch (Exception e)
    {
        msg.Add(result);
    }
    return Page();
}

其他相关函数:

/// 
/// 文字识别Json字符串
/// 
/// 图片base64编码
/// API Key
/// Secret Key
/// 
public static string GetOCRJson( string strbaser64, string clientId, string clientSecret)
{
    string token = GetAccessToken(clientId, clientSecret);
    string host = "https://aip.baidubce.com/rest/2.0/ocr/v1/meter?access_token=" + token;
    Encoding encoding = Encoding.Default;
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
    request.Method = "post";
    request.ContentType = "application/x-www-form-urlencoded";
    request.KeepAlive = true;
    string str = "image=" + HttpUtility.UrlEncode(strbaser64);
    byte[] buffer = encoding.GetBytes(str);
    request.ContentLength = buffer.Length;
    request.GetRequestStream().Write(buffer, 0, buffer.Length);
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
    string result = reader.ReadToEnd();
    return result;
}

/// 
/// 获取百度access_token
/// 
/// API Key
/// Secret Key
/// 
public static string GetAccessToken(string clientId, string clientSecret)
{
    string authHost = "https://aip.baidubce.com/oauth/2.0/token";
    HttpClient client = new HttpClient();
    List> paraList = new List>();
    paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
    paraList.Add(new KeyValuePair("client_id", clientId));
    paraList.Add(new KeyValuePair("client_secret", clientSecret));

    HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
    string result = response.Content.ReadAsStringAsync().Result;
    JObject jo = (JObject)JsonConvert.DeserializeObject(result);

    string token = jo["access_token"].ToString();
    return token;
}

/// 
/// 生成一个随机唯一文件名(Guid)
/// 
/// 
public static string GetRandomName()
{
    return Guid.NewGuid().ToString("N");
}

/// 
/// 返回图片的base64编码
/// 
/// 文件绝对路径名称
/// 
public static String GetFileBase64(string fileName)
{
    FileStream filestream = new FileStream(fileName, FileMode.Open);
    byte[] arr = new byte[filestream.Length];
    filestream.Read(arr, 0, (int)filestream.Length);
    string baser64 = Convert.ToBase64String(arr);
    filestream.Close();
    return baser64;
}

/// 
/// json转为对象
/// 
/// Json字符串
/// 
public static Object JsonStringToObj(string jsonString)
{
    Object s = JsonConvert.DeserializeObject(jsonString);
    return s;
}

/// 
/// 上传文件,返回文件名
/// 
/// 文件上传控件
/// 文件绝对路径
/// 
public static async Task UploadFile(IFormFile formFile, string fileDir)
{
    if (!DirectoryExists(directory))
    {
        Directory.CreateDirectory(directory);
    }
    string extension = Path.GetExtension(formFile.FileName);
    string imgName = Guid.NewGuid().ToString("N") + extension;
    var filePath = Path.Combine(fileDir, imgName);

    using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))
    {
        await formFile.CopyToAsync(fileStream);
    }

    return imgName;
}

四、效果测试

1、页面:

2、识别结果:

2.1

2.2

2.3

2.4

2.5

五、测试结果及建议

通过上述简单的测试可知,百度的“仪器仪表盘读数识别”技术还是相当准确的,识别速度也快,平均0.5秒就能够识别出来了。

对于血压计,高压、低压、脉搏数据几乎都能准确识别,不过有时候还是会存在识别不准确的情况,比如第一张,脉搏应该是70的,但是百度识别成了700,试了好几次,都一样,不知道是什么原因,看来还是存在提升的空间的。

另外,如果能够进一步,识别出该仪器到底是血压计、体重计还是其他的仪器,并能够自动是被各仪器上的数字分别表示什么含义,那就更加方便了,比如血压计,一般都会有高压、低压、脉搏这三组数据的,体重计则会有体重这一重要数据。

 

收藏
点赞
0
个赞
共12条回复 最后由189******30回复于2020-07-20
#13189******30回复于2020-07-20

而且这种方案不但可以通用性好,而且可以根据业务定制监视甚至是控制需求。

0
#12189******30回复于2020-07-20
#8 让天涯回复
我觉得你的想法很好,扩展开来,通过读取保存固定某一类设备的参数,结合深度学习技术提供更有价值的参考提醒,可以降低很多基础性、重复性的低价值工作,可以让相关专业的人员集中精力到更有价值的工作上去。
展开

我想这种监视仪器界面的系统比在各种系统里集成深度学习功能的方案有更强的通用性吧

0
#11189******30回复于2020-07-20
#8 让天涯回复
我觉得你的想法很好,扩展开来,通过读取保存固定某一类设备的参数,结合深度学习技术提供更有价值的参考提醒,可以降低很多基础性、重复性的低价值工作,可以让相关专业的人员集中精力到更有价值的工作上去。
展开

已经有企业在做这个方面的应用了,还有个首字母的简称,我没太记住。

0
#10wangwei8638回复于2020-07-18

集成到智能眼镜上

0
#9让天涯回复于2020-07-17
#7 worddict回复
不错啊

一起加油

0
#8让天涯回复于2020-07-17
#6 189******30回复
我觉得这个功能可以从读数扩展为可读取各种监视状态,比如信号灯闪烁,状态、路由的切换等等
展开

我觉得你的想法很好,扩展开来,通过读取保存固定某一类设备的参数,结合深度学习技术提供更有价值的参考提醒,可以降低很多基础性、重复性的低价值工作,可以让相关专业的人员集中精力到更有价值的工作上去。

0
#7worddict回复于2020-07-13

不错啊

0
#6189******30回复于2020-07-12

我觉得这个功能可以从读数扩展为可读取各种监视状态,比如信号灯闪烁,状态、路由的切换等等

0
#5189******30回复于2020-07-12

这种通用设备的角色就像,使用各种终端设备的智能助手

0
#4189******30回复于2020-07-12

这个技术可以做成可定制的通用设备

0
#3189******30回复于2020-07-12

任何系统的监控终端,一般都只显示读数、警告状态等。如果能用深度学习的CV技术提供更多、更自动化的信息,甚至能使部分操作更加自动化,就太好了

0
#2189******30回复于2020-07-12

这个技术很有用啊,能大大提高自动化

0
TOP
切换版块