第四期【百度大脑新品体验】驾驶行为分析
让天涯 发布于2019-08 浏览:1589 回复:2
1
收藏

一、功能介绍

对于输入的一张车载监控图片(可正常解码,且长宽比适宜),识别图像中是否有人体(驾驶员),若检测到至少1个人体,则进一步识别属性行为,可识别使用手机、抽烟、未系安全带、双手离开方向盘、视线未朝前方5种典型行为姿态。

图片质量要求:

1、服务只适用于车载司机场景,请使用驾驶室的真实监控图片测试,勿用网图、非车载场景的普通监控图片、或者乘客的监控图片测试,否则效果不具备代表性。

2、车内摄像头硬件选型无特殊要求,分辨率建议720p以上,但更低分辨率的图片也能识别,只是效果可能有差异。

3、车内摄像头部署方案建议:尽可能拍全驾驶员的身体,并充分考虑背光、角度、方向盘遮挡等因素。

4、服务适用于夜间红外监控图片,识别效果跟可见光图片相比可能略微有差异。

5、图片主体内容清晰可见,模糊、驾驶员遮挡严重、光线暗等情况下,识别效果肯定不理想。

具体功能说明,请参考官方说明文档(驾驶行为分析):https://ai.baidu.com/docs#/Body-API/fd34bf01

二、应用场景

1、营运车辆驾驶监测
针对出租车、客车、公交车、货车等各类营运车辆,实时监控车内情况,识别驾驶员抽烟、使用手机、未系安全带等危险行为,及时预警,降低事故发生率,保障人身财产安全。
2、社交内容分析审核
汽车类论坛、社区平台,对配图库以及用户上传的UGC图片进行分析识别,自动过滤出涉及危险驾驶行为的不良图片,有效减少人力成本并降低业务违规风险。

三、使用攻略

说明:本文采用C# 语言,开发环境为.Net Core 2.1,采用在线API接口方式实现。

(1)、登陆 百度智能云-管理中心 创建 “人体分析”应用,获取 “API Key ”和 “Secret Key”:https://console.bce.baidu.com/ai/?_=1566223151105&fromai=1#/ai/body/overview/index

(2)、根据 API Key 和 Secret Key 获取 AccessToken。

        ///
        /// 获取百度access_token
        ///
        /// API Key
        /// Secret Key
        ///
        public static string GetAccessToken(string clientId, string clientSecret)
        {
            string authHost = "https://aip.baidubce.com/oauth/2.0/token";
            HttpClient client = new HttpClient();
            List> paraList = new List>();
            paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
            paraList.Add(new KeyValuePair("client_id", clientId));
            paraList.Add(new KeyValuePair("client_secret", clientSecret));

 

            HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
            string result = response.Content.ReadAsStringAsync().Result;
           JObject jo = (JObject)JsonConvert.DeserializeObject(result);

          string token = jo["access_token"].ToString();
          return token;
        }

(3)、调用API接口获取识别结果

1、在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能:

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

            app.UseStaticFiles(new StaticFileOptions
            {
                FileProvider = new PhysicalFileProvider(
                    Path.Combine(webRootPath, "Uploads", "BaiduAIs")),
                RequestPath = "/BaiduAIs"
            });

2、 建立BodySearch.cshtml文件

2.1前台代码

由于html代码无法原生显示,只能简单说明一下:

主要是一个form表单,需要设置属性enctype="multipart/form-data",否则无法上传图片;

form表单里面有两个控件:

一个Input:type="file",asp-for="FileUpload" ,上传图片用;

一个Input:type="submit",asp-page-handler="DriverBehavior" ,提交并返回识别结果。

一个img:src="@Model.curPath",显示识别的图片。

最后显示后台 msg 字符串列表信息。

2.2 后台代码

        [BindProperty]
        public IFormFile FileUpload { get; set; }
        private readonly IHostingEnvironment HostingEnvironment;
        public List msg = new List();
        public string curPath { get; set; }

        public BodySearchModel(IHostingEnvironment hostingEnvironment)
        {
            HostingEnvironment = hostingEnvironment;
        }


        public async Task OnPostDriverBehaviorAsync()
        {
            if (FileUpload is null)
            {
                ModelState.AddModelError(string.Empty, "请先选择本地图片!");
            }
            if (!ModelState.IsValid)
            {
                return Page();
            }
            msg = new List();

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录
            string fileDir = Path.Combine(webRootPath, "Uploads//BaiduAIs//");
            string imgName = await UploadFile(FileUpload, fileDir);

            string fileName = Path.Combine(fileDir, imgName);
            string imgBase64 = GetFileBase64(fileName);
            curPath = Path.Combine("/BaiduAIs/", imgName);//需在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env)方法中开启虚拟目录映射功能


            string result = GetBodyeJson(imgBase64, “你的API KEY”, “你的SECRET KEY”);
            JObject jo = (JObject)JsonConvert.DeserializeObject(result);

            List msgList = jo["person_info"].ToList();
            int number = int.Parse(jo["person_num"].ToString());
            int curNumber = 1;
            float score = 0;
            float threshold = 0;
            msg.Add("人数:" + number + "");
            foreach (JToken ms in msgList)
            {
                if (number > 1)
                {
                    msg.Add("第 " + (curNumber++).ToString() + " 人:");
                }
                score = float.Parse(ms["attributes"]["smoke"]["score"].ToString());
                threshold = float.Parse(ms["attributes"]["smoke"]["threshold"].ToString());
                msg.Add("吸烟:" + (score > threshold ? "大概率" : "小概率"));
                msg.Add("概率:" + score.ToString());
                msg.Add("阈值:" + threshold.ToString());

                score = float.Parse(ms["attributes"]["cellphone"]["score"].ToString());
                threshold = float.Parse(ms["attributes"]["cellphone"]["threshold"].ToString());
                msg.Add("使用手机:" + (score > threshold ? "大概率" : "小概率"));
                msg.Add("概率:" + score.ToString());
                msg.Add("阈值:" + threshold.ToString());

                score = float.Parse(ms["attributes"]["not_buckling_up"]["score"].ToString());
                threshold = float.Parse(ms["attributes"]["not_buckling_up"]["threshold"].ToString());
                msg.Add("未系安全带:" + (score > threshold ? "大概率" : "小概率"));
                msg.Add("概率:" + score.ToString());
                msg.Add("阈值:" + threshold.ToString());

                score = float.Parse(ms["attributes"]["both_hands_leaving_wheel"]["score"].ToString());
                threshold = float.Parse(ms["attributes"]["both_hands_leaving_wheel"]["threshold"].ToString());
                msg.Add("双手离开方向盘:" + (score > threshold ? "大概率" : "小概率"));
                msg.Add("概率:" + score.ToString());
                msg.Add("阈值:" + threshold.ToString());

                score = float.Parse(ms["attributes"]["not_facing_front"]["score"].ToString());
                threshold = float.Parse(ms["attributes"]["not_facing_front"]["threshold"].ToString());
                msg.Add("视角未朝前方:" + (score > threshold ? "大概率" : "小概率"));
                msg.Add("概率:" + score.ToString());
                msg.Add("阈值:" + threshold.ToString());
            }
            return Page();
        }

        ///

        /// 上传文件,返回文件名
        ///
        /// 文件上传控件
        /// 文件绝对路径
        ///
        public static async Task UploadFile(IFormFile formFile, string fileDir)
        {
            if (!Directory.Exists(fileDir))
            {
                Directory.CreateDirectory(fileDir);
            }
            string extension = Path.GetExtension(formFile.FileName);
            string imgName = Guid.NewGuid().ToString("N") + extension;
            var filePath = Path.Combine(fileDir, imgName);

 

            using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))
            {
                await formFile.CopyToAsync(fileStream);
            }

            return imgName;
        }

        ///

        /// 返回图片的base64编码
        ///
        /// 文件绝对路径名称
        ///
        public static String GetFileBase64(string fileName)
        {
            FileStream filestream = new FileStream(fileName, FileMode.Open);
            byte[] arr = new byte[filestream.Length];
            filestream.Read(arr, 0, (int)filestream.Length);
            string baser64 =  Convert.ToBase64String(arr);
            filestream.Close();
            return baser64;
        }

 


        ///

        /// 人体检测Json字符串
        ///
        /// 图片base64编码
        /// API Key
        /// Secret Key
        ///
        public static string GetBodyeJson(string strbaser64, string clientId, string clientSecret)
        {
            string token = GetAccessToken(clientId, clientSecret);
            string host = "https://aip.baidubce.com/rest/2.0/image-classify/v1/driver_behavior?access_token=" + token;
            Encoding encoding = Encoding.Default;
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
            request.Method = "post";
            request.KeepAlive = true;
            string str = "image=" + HttpUtility.UrlEncode(strbaser64);
            byte[] buffer = encoding.GetBytes(str);
            request.ContentLength = buffer.Length;
            request.GetRequestStream().Write(buffer, 0, buffer.Length);
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
            string result = reader.ReadToEnd();
            return result;
        }

四、效果测试

1、页面:

2、识别结果:

2.1

2.2

2.3

2.4

2.5

四、测试结果及建议

    从上图中测试结果可知,百度的驾驶行为分析整体识别效果还是不错的,可以比较准确的识别使用手机、抽烟、未系安全带、双手离开方向盘、视线未朝前方5种典型行为姿态。另外,可以根据不同的驾驶场景/要求,设定不同的阈值,从而达到不同的识别要求。

    可以结合【百度语音】技术,采取语音提醒等预警方式,提醒正在驾驶的司机注意自己的不好的驾驶行为,及时预警,可以有效降低事故发生率,保证生命财产安全。

    可以结合【人体检测和属性识别】技术,识别车内的人员数量,根据设定的阈值判断车辆是否超载,并根据超载严重程序进行不同的预警。

    如若能够识别司机是否疲劳驾驶、是否处于情绪不稳定的状态,并给出相应的预警提醒就更好了。

    不过,个人觉得,最关键的,是需要将危险行驶行为识别跟交警部门进行数据互通,及时上传司机的危险驾驶行为,并根据司机危险形式行为的严重程度,做出相应的惩罚,这样才能真正有效减少事故发生率,因为其实司机能够考取驾驶证,说明他/她心里是十分清楚自己的行为是否是危险驾驶行为,但是抱着侥幸心理,所以才会做出危险驾驶行为的,渐渐的让危险驾驶行为变成了一种常态,单纯的预警实际效果是比较差的。

收藏
点赞
1
个赞
共2条回复 最后由用户已被禁言回复于2022-04
#3让天涯回复于2019-08
#2 melissayoung回复
识别效果看上去不错呀

嗯,只要图片质量符合要求,百度识别还是相当准确的。

0
#2melissayoung回复于2019-08

识别效果看上去不错呀

0
TOP
切换版块