第四期【百度大脑新品体验】驾驶行为分析
才能我浪费99 发布于2019-08-04 09:44 浏览:1446 回复:19
0
收藏
最后编辑于2019-08-14

1.功能描述:

针对车载场景,识别驾驶员使用手机、抽烟、不系安全带、双手离开方向盘等动作姿态,分析预警危险驾驶行为,提升行车安全性

2.平台接入

具体接入方式比较简单,可以参考我的另一个帖子,这里就不重复了:
http://ai.baidu.com/forum/topic/show/943327

3.调用攻略(Python3)及评测

3.1首先认证授权:

在开始调用任何API之前需要先进行认证授权,具体的说明请参考:

http://ai.baidu.com/docs#/Auth/top

具体Python3代码如下:

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import urllib
import base64
import json
#client_id 为官网获取的AK, client_secret 为官网获取的SK
client_id =【百度云应用的AK】
client_secret =【百度云应用的SK】

#获取token
def get_token():
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret
    request = urllib.request.Request(host)
    request.add_header('Content-Type', 'application/json; charset=UTF-8')
    response = urllib.request.urlopen(request)
    token_content = response.read()
    #print (token_content)
    if token_content:
        token_info = json.loads(token_content)
        token_key = token_info['access_token']
    return token_key


3.2驾驶行为分析分析接口调用:

详细说明请参考: https://ai.baidu.com/docs#/Body-API/2387dd4f

说明的比较清晰,这里就不重复了。

大家需要注意的是:
API访问URL:https://aip.baidubce.com/rest/2.0/image-classify/v1/driver_behavior
图像数据,base64编码后进行urlencode,要求base64编码和urlencode后大小不超过4M。图片的base64编码是不包含图片头的,如(data:image/jpg;base64,),支持图片格式:jpg、bmp、png,最短边至少50px,最长边最大4096px

Python3调用代码如下:

#画出驾驶行为识别结果
def driver_result(originfilename,persons,resultfilename,fontsize,fontcolor):
    from PIL import Image, ImageDraw,ImageFont

    image_origin = Image.open(originfilename)
    draw =ImageDraw.Draw(image_origin)
    setFont = ImageFont.truetype('C:/windows/fonts/simfang.ttf', fontsize)
    for person in persons:
        warning=''
        result=''
        attributes=person['attributes']
        #使用手机
        score = attributes['cellphone']['score']
        threshold = attributes['cellphone']['threshold']
        if score>threshold:
            warning=warning+'使用手机 '
        result=result+('使用手机: {:.5f} \n'.format(score))
        #抽烟
        score = attributes['smoke']['score']
        threshold = attributes['smoke']['threshold']
        if score>threshold:
            warning=warning+'抽烟 '
        result=result+( '抽烟: {:.5f} \n'.format(score))
        #未系安全带
        score = attributes['not_buckling_up']['score']
        threshold = attributes['not_buckling_up']['threshold']
        if score>threshold:
            warning=warning+'未系安全带 '
        result=result+( '未系安全带: {:.5f} \n'.format(score))
        #双手离开方向盘
        score = attributes['both_hands_leaving_wheel']['score']
        threshold = attributes['both_hands_leaving_wheel']['threshold']
        if score>threshold:
            warning=warning+'双手离开方向盘 '
        result=result+( '双手离开方向盘: {:.5f} \n'.format(score))
        #视角未看前方
        score = attributes['not_facing_front']['score']
        threshold = attributes['not_facing_front']['threshold']
        if score>threshold:
            warning=warning+'视角未看前方 '
        result=result+( '视角未看前方: {:.5f} \n'.format(score))
        
        gesture = person['location'] 
        draw.rectangle((gesture['left'],gesture['top'],gesture['left']+gesture['width'],gesture['top']+gesture['height']),outline = "red")
        
        if warning=='':
            warning='无'
        result=result+ '需要警告内容:'+warning
        print(result)
        draw.text((gesture['left'],gesture['top']), result,font=setFont,fill=fontcolor)
        
    image_origin.save(resultfilename, "JPEG")
      
#驾驶行为识别
#filename:原图片名(本地存储包括路径)
def driver_behavior(filename,resultfilename,fontsize,color):
    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v1/driver_behavior"
    print(filename)
    # 二进制方式打开图片文件
    f = open(filename, 'rb')
    img = base64.b64encode(f.read())
    
    params = dict()
    params['image'] = img
    params = urllib.parse.urlencode(params).encode("utf-8")
    #params = json.dumps(params).encode('utf-8')
    
    access_token = get_token()
    begin = time.perf_counter()
    request_url = request_url + "?access_token=" + access_token
    request = urllib.request.Request(url=request_url, data=params)
    request.add_header('Content-Type', 'application/x-www-form-urlencoded')
    response = urllib.request.urlopen(request)
    content = response.read()
    end = time.perf_counter()

    print('处理时长:'+'%.2f'%(end-begin)+'秒')
    if content:
        #print(content)
        content=content.decode('utf-8')
        #print(content)
        data = json.loads(content)
        print('人数:',data['person_num'])
        #print(data)
        result=data['person_info']
        
        driver_result(filename,result,resultfilename,fontsize,color)

driver_behavior('../img/driver8.jpg','../img/driver8_result.jpg',20,'blue')


4.功能评测:
选用不同的数据对效果进行测试,具体效果如下(以下例子均来自网上):

先测试正常的驾驶行为:

处理时长:0.64秒
人数: 1
使用手机: 0.00006
抽烟: 0.00007
未系安全带: 0.00207
双手离开方向盘: 0.00002
视角未看前方: 0.00255
需要警告内容:无

处理时长:0.58秒
人数: 1
使用手机: 0.00019
抽烟: 0.00015
未系安全带: 0.04759
双手离开方向盘: 0.00264
视角未看前方: 0.00234
需要警告内容:无

然后是各种危险驾驶行为:

处理时长:0.68秒
人数: 1
使用手机: 0.92399
抽烟: 0.00590
未系安全带: 0.00678
双手离开方向盘: 0.00087
视角未看前方: 0.21933
需要警告内容:使用手机

处理时长:0.47秒
人数: 1
使用手机: 0.99724
抽烟: 0.01933
未系安全带: 0.05710
双手离开方向盘: 0.01490
视角未看前方: 0.20637
需要警告内容:使用手机

处理时长:0.31秒
人数: 1
使用手机: 0.00339
抽烟: 0.45544
未系安全带: 0.33805
双手离开方向盘: 0.09973
视角未看前方: 0.24955
需要警告内容:抽烟

处理时长:1.23秒
人数: 1
使用手机: 0.01052
抽烟: 0.00131
未系安全带: 0.96246
双手离开方向盘: 0.99859
视角未看前方: 0.91556
需要警告内容:未系安全带 双手离开方向盘 视角未看前方

 

5.测试结论和建议

测试下来,整体识别效果不错。对于危险驾驶行为有很强的识别能力,效果很好,速度也很快。可以对实时监控车内情况,识别驾驶员抽烟、使用手机、未系安全带等危险行为,及时预警,降低事故发生率,保障人身财产安全。

建议:
1,现在识别场景限制比较多,可以针对这方面进行优化,增加功能的应用场景。
2,可以考虑增加对人的情绪,疲劳都等方面的识别及警告。

收藏
点赞
0
个赞
共19条回复 最后由风允摩羯回复于2019-08-14 20:55
#20风允摩羯回复于2019-08-14 20:55:40
#17 才能我浪费99回复
这个摄像头应该是放在车内的

放在车内,路上检测发送到监控中心

0
#19才能我浪费99回复于2019-08-14 20:32:48

这个功能未来可能运营车辆用的多一些

0
#18才能我浪费99回复于2019-08-14 20:32:28
#16 wangwei8638回复
这个属于车内监控,主要观察司机行为

就是这个意思

0
#17才能我浪费99回复于2019-08-14 20:32:15
#15 风允摩羯回复
车流密集的话,摄像头要很多啊,除非摄像头里有很多记录的

这个摄像头应该是放在车内的

0
#16wangwei8638回复于2019-08-14 19:59:46
#15 风允摩羯回复
车流密集的话,摄像头要很多啊,除非摄像头里有很多记录的

这个属于车内监控,主要观察司机行为

0
#15风允摩羯回复于2019-08-12 22:54:51
#14 rose20135188回复
如果以后这个用于交通监控会是什么样的情形?

车流密集的话,摄像头要很多啊,除非摄像头里有很多记录的

0
#14rose20135188回复于2019-08-10 16:53:40

如果以后这个用于交通监控会是什么样的情形?

0
#13风允摩羯回复于2019-08-09 20:33:27
#10 liguanghui2588回复
驾驶行为也是通过学习来分析

可以把科一科四满分就不会有那么多事故了

0
#12风允摩羯回复于2019-08-09 20:30:08

挺实用的,驾驶员的问题都会显示

0
#11何必固執回复于2019-08-08 09:19:02

接口,写的挺详细的

0
#10liguanghui2588回复于2019-08-07 22:04:39

驾驶行为也是通过学习来分析

0
#9才能我浪费99回复于2019-08-06 11:31:32

测试的效果总体来说很不错

0
#8才能我浪费99回复于2019-08-06 11:31:12

未来可以内置在营运车辆,及时发现危险行为

0
#7才能我浪费99回复于2019-08-06 11:30:26
#5 笔墨哥回复
真强大的功能

是啊,功能很强大

0
#6rose20135188回复于2019-08-04 21:08:34

非常实用的功能,

0
#5笔墨哥回复于2019-08-04 10:58:13

真强大的功能

0
#4才能我浪费99回复于2019-08-04 10:31:12

调用速度很不错

0
#3才能我浪费99回复于2019-08-04 10:30:58

感觉推广后会大大提高安全

0
#2才能我浪费99回复于2019-08-04 10:30:44

这个功能感觉很实用

0
TOP
切换版块