第三期【百度大脑新品体验】通用物体与场景识别
让天涯 发布于2019-06 浏览:2527 回复:3
0
收藏
最后编辑于2022-04

一、需求描述

大家在出去旅游的时候,往往会对景点里的特色事物感兴趣,而一般情况下,如果没有导游的介绍,我们不太清楚这个景区里的特色景点是什么,有时候即使看到了一个事物,都不认识它,只能等着导游来介绍,这样的话,旅游的可玩性、自由度都大大降低了。

而如果能够使用百度的【通用物体与场景识别】技术,只需要简单的拍照上传,就能知道这个物品是什么,这个景点叫什么名字,它的由来它的故事等等,那么基本上可以脱离导游,自己一行人按照自己的喜好去游玩,不仅自由,还能增长见识,这样的旅游才有意思,否则的话,只能跟着导游走。

二、应用价值

利用百度【通用物体与场景识别】技术,识别自己旅游/生活中遇到的不认识的物体、场景,了解其背景,增长见识。

三、使用攻略

说明:本文采用C# 语言,开发环境为.Net Core 2.1,采用在线API接口方式实现。
(1)、登陆 百度智能云-管理中心 创建 “图像识别”应用,获取 “API Key ”和 “Secret Key” :https://console.bce.baidu.com/ai/?_=1561555561720&fromai=1#/ai/imagerecognition/overview/index
(2)、根据 API Key 和 Secret Key 获取 AccessToken。

        ///


        /// 获取百度access_token
        ///
        /// API Key
        /// Secret Key
        ///
        public static string GetAccessToken(string clientId, string clientSecret)
        {
            string authHost = "https://aip.baidubce.com/oauth/2.0/token";
            HttpClient client = new HttpClient();
            List> paraList = new List>();
            paraList.Add(new KeyValuePair("grant_type", "client_credentials"));
            paraList.Add(new KeyValuePair("client_id", clientId));
            paraList.Add(new KeyValuePair("client_secret", clientSecret));

 

            HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;
            string result = response.Content.ReadAsStringAsync().Result;
            JObject jo = (JObject)JsonConvert.DeserializeObject(result);
            string token = jo["access_token"].ToString();
            return token;
        }
(3)、调用API接口获取识别结果

    1、在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能:

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

            app.UseStaticFiles(new StaticFileOptions
            {
                FileProvider = new PhysicalFileProvider(
                    Path.Combine(webRootPath, "Uploads", "BaiduAIs")),
                RequestPath = "/BaiduAIs"
            });

    2、 建立Index.cshtml文件

    2.1 前台代码:
    由于html代码无法原生显示,只能简单说明一下:

    主要是一个form表单,需要设置属性enctype="multipart/form-data",否则无法上传图片;

    form表单里面有两个控件:

    一个Input:type="file",asp-for="FileUpload" ,上传图片用;

    一个Input:type="submit",asp-page-handler="Advanced" ,提交并返回识别结果。

    一个img:src="@Model.curPath",显示识别的图片。

    最后显示后台 msg 字符串列表信息,如果需要输出原始Html代码,则需要使用@Html.Raw()函数。

2.2 后台代码:

        [BindProperty]
        public IFormFile FileUpload { get; set; }
        private readonly IHostingEnvironment HostingEnvironment;
        public List msg = new List();
        public string curPath { get; set; }


        public BodySearchModel(IHostingEnvironment hostingEnvironment)
        {
            HostingEnvironment = hostingEnvironment;
        }

        public async Task OnPostAdvancedAsync()
        {
            if (FileUpload is null)
            {
                ModelState.AddModelError(string.Empty, "本地图片!");
            }
            if (!ModelState.IsValid)
            {
                return Page();
            }
            msg = new List();

            string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录
            string fileDir = Path.Combine(webRootPath, "Uploads//BaiduAIs//");
            string imgName = await UploadFile(FileUpload, fileDir);

            string fileName = Path.Combine(fileDir, imgName);
            string imgBase64 = GetFileBase64(fileName);
            curPath = Path.Combine("/BaiduAIs/", imgName);//需在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env)方法中开启虚拟目录映射功能

            string result = GetImageJson(imgBase64, “你的API KEY”, “你的SECRET KEY”);
            JObject jo =(JObject)JsonConvert.DeserializeObject(result);
            try
            {
                List msgList = jo["result"].ToList();
                int number = int.Parse(jo["result_num"].ToString());
                int curNumber = 1;
                msg.Add("返回结果:" + number + "");
                foreach (JToken ms in msgList)
                {
                    if (number > 1)
                    {                       
                        msg.Add("第 " + (curNumber++).ToString() + " 条:");
                    }
                    msg.Add("置信度:" + ms["score"].ToString());
                    msg.Add("标签:" + ms["root"].ToString());
                    msg.Add("名称:" + ms["keyword"].ToString());
                    if (ms["baike_info"] != null)
                    {
                        msg.Add("百科词条:");
                        if (ms["baike_info"]["baike_url"] != null)
                        {
                            msg.Add("页面链接");
                        }
                        if (ms["baike_info"]["description"] != null)
                        {
                            msg.Add("内容描述:" + ms["baike_info"]["description"].ToString());
                        }
                        if (ms["baike_info"]["image_url"] != null)
                        {
                            msg.Add("");
                        }
                    }
                }
            }
            catch(Exception e1)
            {
                msg.Add(result);
            }
            return Page();
        }

        ///


        /// 上传文件,返回文件名
        ///
        /// 文件上传控件
        /// 文件绝对路径
        ///
        public static async Task UploadFile(IFormFile formFile, string fileDir)
        {
            if (!Directory.Exists(fileDir))
            {
                Directory.CreateDirectory(fileDir);
            }
            string extension = Path.GetExtension(formFile.FileName);
            string imgName = Guid.NewGuid().ToString("N") + extension;
            var filePath = Path.Combine(fileDir, imgName);

 

            using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))
            {
                await formFile.CopyToAsync(fileStream);
            }

            return imgName;
        }


        ///


        /// 返回图片的base64编码
        ///
        /// 文件绝对路径名称
        ///
        public static String GetFileBase64(string fileName)
        {
            FileStream filestream = new FileStream(fileName, FileMode.Open);
            byte[] arr = new byte[filestream.Length];
            filestream.Read(arr, 0, (int)filestream.Length);
            string baser64 =  Convert.ToBase64String(arr);
            filestream.Close();
            return baser64;
        }

 

        ///


        /// 图像识别Json字符串
        ///
        /// 图片base64编码
        /// API Key
        /// Secret Key
        ///
        public static string GetImageJson(string strbaser64, string clientId, string clientSecret)
        {
            string token = GetAccessToken(clientId, clientSecret);
            string host = "https://aip.baidubce.com/rest/2.0/image-classify/v2/advanced_general?access_token=" + token;
            Encoding encoding = Encoding.Default;
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
            request.Method = "post";
            request.KeepAlive = true;
            string str = "image=" + HttpUtility.UrlEncode(strbaser64)+”&baike_num=5“;
            byte[] buffer = encoding.GetBytes(str);
            request.ContentLength = buffer.Length;
            request.GetRequestStream().Write(buffer, 0, buffer.Length);
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
            string result = reader.ReadToEnd();
            return result;
        }
四、效果测试

 

1、页面:

2、识别结果:

2.1

完整识别结果:
返回结果:5

第 1 条:

置信度:0.797064

标签:

名称:诸城恐龙博物馆

百科词条:

页面链接

内容描述:诸城恐龙博物馆位于山东省诸城市,成立于2001年5月9日,是中国第一个县(市)级恐龙博物馆,展出了目前世界上最高大的巨型鸭嘴龙化石骨架和100多件恐龙化石。巨龙馆(诸城恐龙博物馆)。国家4A级旅游景区,建筑面积5400平方米,馆内陈列着世界上最高大的鸭嘴恐龙化石骨架——“巨大诸城龙”(高9.1米,长16.6米),被中外专家誉为“世界第一龙”。展示有世界上最大的“巨型诸城暴龙”和最原始的“诸城中国角龙”等化石骨架以及恐龙骨骼化石、蛋化石等极具代表性的恐龙化石。珍藏于神妙龙骨厅的巨大恐龙股骨化石被誉为“华夏第一奇骨”。先后接待了30多位国家领导人、众多的社会知名人士和数以百万的中外游客。

第 2 条:

置信度:0.605301

标签:动物-爬行类

名称:恐龙骨格

百科词条:

第 3 条:

置信度:0.442616

标签:非人造物体-化石

名称:鱼化石

百科词条:

页面链接

内容描述:《鱼化石》是现代诗人艾青于1978年创作的一首新诗。是诗人艾青“归来”之后吟唱出的一曲独具特色的歌。作为咏物诗,它借助对一种生物被无故尘埋的血淋淋事实的描述,抒发了对于逝去生命的祭奠与悼惜之情。全诗分节匀齐,诗句和谐,抒情自然,语言有一种朴素美。《鱼化石》被选入《语文·第二册》课本中。

第 4 条:

置信度:0.279606

标签:动物-爬行类

名称:仿真恐龙

百科词条:

页面链接

内容描述:仿真恐龙是运用现代的科技手段,根据恐龙化石电脑复原图片制作出逼真的恐龙。复原制作的仿真恐龙外观、造型、动作等方面都非常逼真,形体栩栩如生,动作惟妙惟肖。仿真恐龙可以更直观的,更形象的让人们了解恐龙还原远古的恐龙时代风貌。仿真恐龙可以让孩子直接的了解恐龙。

第 5 条:

置信度:0.120145

标签:植物-黄脂木科

名称:恐龙

百科词条:

页面链接

内容描述:恐龙(英文名:Dinosaur),是出现在中生代时期(三叠纪,侏罗纪,白垩纪)的一类爬行动物的统称,矫健的四肢、长长的尾巴和庞大的身躯是大多数恐龙的写照。它们主要栖息于湖岸平原(或海岸平原)上的森林地或开阔地带。1841年,英国科学家理查德·欧文在研究几块样子像蜥蜴骨头化石时,认为它们是某种史前动物留下来的,并命名为恐龙,意思是“恐怖的蜥蜴”。

 

2.2

完整识别结果:

返回结果:5

第 1 条:

置信度:0.805149

标签:植物-其它

名称:荷花

百科词条:

页面链接

内容描述:荷花(学名:Nelumbo SP.;英文名称:Lotus flower):属毛茛目睡莲科,是莲属二种植物的通称。又名莲花、水芙蓉等。是莲属多年生水生草本花卉。地下茎长而肥厚,有长节,叶盾圆形。花期6至9月,单生于花梗顶端,花瓣多数,嵌生在花托穴内,有红、粉红、白、紫等色,或有彩纹、镶边。坚果椭圆形,种子卵形。荷花种类很多,分观赏和食用两大类。原产亚洲热带和温带地区,中国早在周朝就有栽培记载。荷花全身皆宝,藕和莲子能食用,莲子、根茎、藕节、荷叶、花及种子的胚芽等都可入药。其出污泥而不染之品格恒为世人称颂。“接天莲叶无穷碧,映日荷花别样红”就是对荷花之美的真实写照。荷花“中通外直,不蔓不枝,出淤泥而不染,濯清涟而不妖”的高尚品格,历来为诗人墨客歌咏绘画的题材之一。1985年5月荷花被评为中国十大名花之一。荷花是印度,越南的国花。

第 2 条:

置信度:0.635414

标签:植物-其它

名称:映日荷花

百科词条:

页面链接

内容描述:映日荷花是蔷薇属月季栽培品种,用于生产切花、容器栽培。

第 3 条:

置信度:0.467041

标签:植物-其它

名称:睡莲花

百科词条:

页面链接

第 4 条:

置信度:0.299206

标签:植物-其它

名称:莲荷

百科词条:

页面链接

内容描述:荷型藕色莲瓣,花色白红,丝纹浅灰,花背红多而花里白多。

第 5 条:

置信度:0.12756

标签:植物-其它

名称:莲花

百科词条:

页面链接

内容描述:睡莲(学名:Nymphaea L.),多年生水生草本;根状茎肥厚。叶柄圆柱形,细长。叶椭圆形,浮生于水面,全缘,叶基心形,叶表面浓绿,背面暗紫。叶二型:浮水叶圆形或卵形,基部具弯缺,心形或箭形,常无出水叶;沉水叶薄膜质,脆弱。花单生,浮于或挺出水面;花萼四枚,绿色;花瓣通常八片。果实倒卵形,长约3厘米。花大形、美丽,浮在或高出水面,白天开花夜间闭合;萼片近离生;花瓣白色、蓝色、黄色或粉红色,成多轮,有时内轮渐变成雄蕊;药隔有或无附属物;心皮环状,贴生且半沉没在肉质杯状花托,且在下部与其部分地愈合,上部延伸成花柱,柱头成凹入柱头盘,胚珠倒生,垂生在子房内壁。浆果海绵质,不规则开裂,在水面下成熟;种子坚硬,为胶质物包裹,有肉质杯状假种皮,胚小,有少量内胚乳及丰富外胚乳。从东北至云南,西至新疆皆有分布;朝鲜,日本,印度,俄罗斯,北美也有。生于池沼、湖泊等静水水体中。许多公园水体栽培作为观赏植物,根状茎食用或酿酒,又入药,能治小儿慢惊风;全草可作绿肥。


根据识别结果可以看出,通用物体的识别结果还是比较准确的,再加上可以显示百度百科信息,这样的话,就能够得到更多更详细的知识了。
当然,对于动物、植物、花卉、地标等百度有专门的识别接口,可以得到更加准确的信息,不过一般情况下,可以调用【通用物体与场景识别】接口来识别,如果识别结果不太满意的话,再调用专门接口进行详细的识别。

收藏
点赞
0
个赞
共3条回复 最后由用户已被禁言回复于2022-04
#4134******14回复于2019-07
#3 让天涯回复
是的,现在百度AI在图像识别里,新增了返回相应的百科链接、图片、简介等信息,只要能正确识别,一般都可以返回相应的百科信息,大大增强了图像识别的能力。
展开

恩恩,谢谢你的详细解答~

0
#3让天涯回复于2019-06
#2 134******14回复
你是说识别结果里就有百度百科信息吗?

是的,现在百度AI在图像识别里,新增了返回相应的百科链接、图片、简介等信息,只要能正确识别,一般都可以返回相应的百科信息,大大增强了图像识别的能力。

0
#2134******14回复于2019-06

你是说识别结果里就有百度百科信息吗?

0
TOP
切换版块