【征稿计划第二期】车辆分割使用攻略及建议
让天涯 发布于2019-07 浏览:1614 回复:5
1
收藏
最后编辑于2022-04

【使用攻略】【车辆分析】车辆分割

一、需求描述

如果是简单的将一张图片中的汽车轮廓给抠出来,形成一张透明背景汽车抠图,这个目前感觉还没有太大的运用空间,毕竟这一步好像仅仅代替了人工PS抠图,采取了自动抠图,抠图后的效果也不是很好(大部分图片不能直接拿来当效果图使用),不过如果在车辆分割的基础上,进行一定的升级改进,相信会有很大的应用价值的。

二、使用攻略

说明:本文采用C# 语言,开发环境为.Net Core 2.1,采用在线API接口方式实现。
(1)平台接入
目前处于邀测阶段,不能直接在控制台调用,可通过QQ群(659268104)联系群管、或提交工单申请开通测试权限。
(2)接口文档
文档地址:https://ai.baidu.com/docs#/ImageClassify-API/3e953ab4

接口描述:传入单帧图像,检测图像中的车辆,以小汽车为主,识别车辆的轮廓范围,与背景进行分离,返回分割后的二值图、灰度图、前景抠图,支持多个车辆、车门打开、后备箱打开、机盖打开、正面、侧面、背面等各种拍摄场景。

请求说明

返回说明

(3)源码共享
3.1-根据 API Key 和 Secret Key 获取 AccessToken

        /// 
        /// 获取百度access_token
        /// 
        /// API Key
        /// Secret Key
        /// 
        public static string GetAccessToken(string clientId, string clientSecret)
        {
            string authHost = "https://aip.baidubce.com/oauth/2.0/token";
            HttpClient client = new HttpClient();
            List> paraList = new List>();
            paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
            paraList.Add(new KeyValuePair("client_id", clientId));
            paraList.Add(new KeyValuePair("client_secret", clientSecret));

            HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
            string result = response.Content.ReadAsStringAsync().Result;
            JObject jo = (JObject)JsonConvert.DeserializeObject(result);
            string token = jo["access_token"].ToString();
            return token;
        }

3.2-调用API接口获取识别结果

1、在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能:

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

            app.UseStaticFiles(new StaticFileOptions
            {
                FileProvider = new PhysicalFileProvider(
                    Path.Combine(webRootPath, "Uploads", "BaiduAIs")),
                RequestPath = "/BaiduAIs"
            });

2、 建立Index.cshtml文件
2.1 前台代码:    由于html代码无法原生显示,只能简单说明一下:

    主要是一个form表单,需要设置属性enctype="multipart/form-data",否则无法上传图片;

    form表单里面有四个控件:

    一个Input:type="file",asp-for="FileUpload" ,上传图片用;

    一个Input:type="submit",asp-page-handler="VehicleSeg" ,提交并返回识别结果。

    一个img:src="@Model.curPath",显示需要识别的图片。

    一个img:src="@Model.imgProcessPath",显示车辆分割后的前景抠图。

    最后显示后台 msg 字符串列表信息,如果需要输出原始Html代码,则需要使用@Html.Raw()函数。

2.2 后台代码:

        [BindProperty]
        public IFormFile FileUpload { get; set; }
        [BindProperty]
        public string ImageUrl { get; set; }
        private readonly IHostingEnvironment HostingEnvironment;
        public List msg = new List();
        public string curPath { get; set; }
        public string imgProcessPath { get; set; }


        public ImageProcessModel(IHostingEnvironment hostingEnvironment)
        {
            HostingEnvironment = hostingEnvironment;
        }



        public async Task OnPostVehicleSegAsync()
        {
           
            if (FileUpload is null)
            {
                ModelState.AddModelError(string.Empty, "本地图片!");
            }

           if (!ModelState.IsValid)
            {
                return Page();
            }
            msg = new List();

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录
            string fileDir = Path.Combine(webRootPath, "Uploads//BaiduAIs//");
            string imgName = await UploadFile(FileUpload, fileDir);


            string fileName = Path.Combine(fileDir, imgName);
            string imgBase64 = GetFileBase64(fileName);
            curPath = Path.Combine("/BaiduAIs/", imgName);//需在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env)方法中开启虚拟目录映射功能

            string result = GetImageJson(imgBase64,  “你的API KEY”, “你的SECRET KEY”, "foreground");
            JObject jo = (JObject)JsonConvert.DeserializeObject(result);

            try
            {
                string imageProcessBase64 = jo["foreground"].ToString();
                msg.Add("车辆分割");
                msg.Add("log_id:" + jo["log_id"].ToString());
                string processImgName = Guid.NewGuid().ToString("N")+ ".png";
                string imgSavedPath = Path.Combine(webRootPath, "Uploads//BaiduAIs//", processImgName);
                imgProcessPath = Path.Combine("BaiduAIs//", processImgName);
                await GetFileFromBase64(imageProcessBase64, imgSavedPath);
            }
            catch (Exception e)
            {
                msg.Add(result);
            }
            return Page();
        }

        /// 
        /// 上传文件,返回文件名
        /// 
        /// 文件上传控件
        /// 文件绝对路径
        /// 
        public static async Task UploadFile(IFormFile formFile, string fileDir)
        {
            if (!Directory.Exists(fileDir))
            {
                Directory.CreateDirectory(fileDir);
            }
            string extension = Path.GetExtension(formFile.FileName);
            string imgName = Guid.NewGuid().ToString("N") + extension;
            var filePath = Path.Combine(fileDir, imgName);

            using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))
            {
                await formFile.CopyToAsync(fileStream);
            }

            return imgName;
        }

        /// 
        /// 返回图片的base64编码
        /// 
        /// 文件绝对路径名称
        /// 
        public static String GetFileBase64(string fileName)
        {
            FileStream filestream = new FileStream(fileName, FileMode.Open);
            byte[] arr = new byte[filestream.Length];
            filestream.Read(arr, 0, (int)filestream.Length);
            string baser64 =  Convert.ToBase64String(arr);
            filestream.Close();
            return baser64;
        }

        /// 
        /// 文件base64解码
        /// 
        /// 文件base64编码
        /// 生成文件路径
        public static async Task GetFileFromBase64(string base64Str, string outPath)
        {
            var contents = Convert.FromBase64String(base64Str);
            using (var fs = new FileStream(outPath, FileMode.Create, FileAccess.Write))
            {
                fs.Write(contents, 0, contents.Length);
                fs.Flush();
            }
        }

        /// 
        /// 图像识别Json字符串
        /// 
        /// 图片base64编码
        /// API Key
        /// Secret Key
        /// 
        public static string GetImageJson(string strbaser64, string clientId, string clientSecret, string type)
        {
            string token = GetAccessToken(clientId, clientSecret);
            string host = "https://aip.baidubce.com/rest/2.0/image-classify/v1/vehicle_seg?access_token=" + token;
            Encoding encoding = Encoding.Default;
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
            request.Method = "post";
            request.KeepAlive = true;
            string str = "image=" + HttpUtility.UrlEncode(strbaser64)+"&type=" + type;
            byte[] buffer = encoding.GetBytes(str);
            request.ContentLength = buffer.Length;
            request.GetRequestStream().Write(buffer, 0, buffer.Length);
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
            string result = reader.ReadToEnd();
            return result;
        }

三、效果测试
1、页面:

2、识别结果:

2.1

2.2

2.3

2.4

四、产品建议

(1)需要改进的地方

1、车辆的轮廓边缘处理效果不太好,需要加强。

2、多辆车在一图时,如果能分别单独显示会更好。

3、车辆分割后的前景抠图图像大小有点大,需要优化。

(2)建议

1、自动补全功能

首先,关于前景抠图的轮廓处理,目前好像对其进行了一定的模糊处理,但是这种处理方法不是很好,如果能够使用AI的自动学习能力,根据输入的图片,搜索相似的车辆图片,然后对其进行自动补全操作,比如一辆车,它的一个轮胎被东西遮挡住了,如果单纯分割,分割后的图片中的车子是少一半轮胎的,这时候,如果能够结合AI学习技术,根据相似的车辆图片,对那缺失的一半轮胎进行修图补全,形成一个完整的车辆图片,那么,最后的抠图就有更大的价值了。

2、效果美化

对车辆图片进行补全后,若能够根据相似图,对抠图进行一定的美化功能(类似现在流行的美颜相机),那么美化后的抠图就是一张相当好的效果图,这样的话,就可以直接拿来当宣传图使用了。当然,美化训练,可以采取对大量的车辆图片进行打分,最后获取高分车辆图片,然后让AI学习如何将图像往高分图方向美化,这样美化后的图片就比较符合大众要求了。

3、多图录入,形成三维效果图

另外,如果能够实现对一辆车,进行前、后、左、右多方位拍图并输入系统,最后根据输入的图片,结合该车辆已存在的设计图等进行模拟计算,输出该车的三维效果图的话,运用前景就很大了。

3.1、结合百度AR技术,显示三维效果图

比如,可以结合百度AR技术,将车辆三维效果图显示到自己想要显示的地方,这样的话,不仅可以让汽车销售员直接出去推销车辆,在汽车销售介绍的时候,显示三维效果图让顾客能够全方向的了解车辆,还能让汽车爱好者收集自己喜欢的车辆,并跟车友们很好的进行分享交流。

3.2、结合3D打印技术,打印三维车辆模型

还可以结合3D打印技术,直接打印出车辆的模型。如果能够对一辆车进行多方位拍照,然后运用百度AI技术进行3D建模,使用3D打印技术直接打印出该车辆的模型,那是一件很了不起的事情。3D模型不仅可以当作小孩子们的玩具,也可以方便汽车爱好者们研究,还有利于汽车销售,让顾客有更加直观的了解。

 

收藏
点赞
1
个赞
共5条回复 最后由用户已被禁言回复于2022-04
#6wangwei8638回复于2019-07
#5 让天涯回复
嗯,、如果车辆的颜色跟周围环境很类似的话,抠图效果就会差一些,有的地方不该去掉的也会被抠掉。
展开

利用容差抠图,都会存在这个问题

0
#5让天涯回复于2019-07
#3 melissayoung回复
非小汽车的抠图效果还是差点意思

嗯,、如果车辆的颜色跟周围环境很类似的话,抠图效果就会差一些,有的地方不该去掉的也会被抠掉。

0
#4让天涯回复于2019-07
#2 wangwei8638回复
3D打印还是有难度,内部结构也要知道

哦,我对3D打印技术具体不了解,只感觉很实用,内部结构图相信各大汽车厂家都是有的,难度就在于大家能不能共享数据了。

0
#3melissayoung回复于2019-07

非小汽车的抠图效果还是差点意思

0
#2wangwei8638回复于2019-07

3D打印还是有难度,内部结构也要知道

0
TOP
切换版块