AI战疫【百度大脑新品体验】AI小程序之公式识别
wangwei8638 发布于2020-05 浏览:1519 回复:1
0
收藏
最后编辑于2022-04

        支持对试卷中的数学公式及题目内容进行识别,可提取公式部分进行单独识别,也可对题目和公式进行混合识别,并返回Latex格式公式内容及位置信息,便于进行后续处理。

        想了解AI开放平台API的调用过程,请参看我之前的帖子:《车牌识别》https://ai.baidu.com/forum/topic/show/943028

        想了解微信小程序的开发过程,请参看我之前的帖子:《UNIT接入小程序》https://ai.baidu.com/forum/topic/show/953022

        下面简要介绍公式识别的小程序接入过程:

1 系统框架

用到的技术主要有:百度公式识别和微信小程序。小程序将用户上传的图片提交给百度公式识别服务,返回公式的文字信息。全部功能都在小程序客户端完成,不需要服务器,适合个人开发者使用。

2 创建小程序项目

在根目录的全局配置文件app.json中增加:"pages/formula/formula" ,会自动创建相关页面文件,结构如下:

formula.js:功能逻辑模块

formula.wxss:页面样式文件

formula.wxml:页面布局文件

formula.json:页面配置文件

3 调用公式识别API

3.1 首先要在控制台创建应用,调用公式识别API,“获取API Key/Secret Key”。

接口文档地址:https://ai.baidu.com/ai-doc/OCR/Ok3h7xxva

请求URL: https://aip.baidubce.com/rest/2.0/ocr/v1/formula

Body中放置请求参数,参数详情如下:

返回参数:

3.2 图像风格转换功能实现

(1)发送URL请求核心代码

//在baiduai.js中发送URL请求,并进行封装。

l

et formulaUrl = 'https://aip.baidubce.com/rest/2.0/ocr/v1/formula';

let formulaRequest = (base64Img, callback) => {

  var accessToken = app.globalData.access_token;

  //拼接接口body参数

  let params = {

    image: base64Img

  }

  //发送接口请求

  wx.request({

    url: formulaUrl + '?access_token=' + accessToken,

    data: params,

    header: {

      'content-type': 'application/x-www-form-urlencoded'

    },

    method: 'POST',

    success: function (res) {

      callback.success(res.data)

    },

    fail: function (res) {

      if (callback.fail)

        callback.fail()

    }

  })

}

最后,暴露接口,供调用。

module.exports = {

  formulaRequest: formulaRequest,

  getIocrToken: getIocrToken

}

(2)定义按钮点击事件

//在formula.js中定义定义按钮点击事件

 

uploads: function () {

    var that = this

    wx.chooseImage({

      count: 1, // 默认9

      sizeType: ['compressed'], // 可以指定是原图还是压缩图,默认二者都有

      sourceType: ['album', 'camera'], // 可以指定来源是相册还是相机,默认二者都有

      success: function (res) {

        // 返回选定照片的本地文件路径列表,tempFilePath可以作为img标签的src属性显示图片

        if (res.tempFiles[0].size > 4096 * 1024) {

          wx.showToast({

            title: '图片文件过大哦',

            icon: 'none',

            mask: true,

            duration: 1500

          })

        } else {

          that.setData({

            img: res.tempFilePaths[0]

          })

        }

        wx.showLoading({

          title: "分析中...",

          mask: true

        })

        //根据上传的图片读取图片的base64

        var fs = wx.getFileSystemManager();

        fs.readFile({

          filePath: res.tempFilePaths[0].toString(),

          encoding: 'base64',

          success(res) {

            //获取到图片的base64 进行请求接口

            api.formulaRequest(res.data, {

              success(res) {

                if (res.data != '') {

                  wx.hideLoading();

                  var text = '';

                  text += "\n";

                  var list = [];

                  var list = res.words_result;

                  var len = res.words_result_num;

                  console.info(list);

                   for (var j = 0; j < len; j++) {

                     text += list[j]['words'] + "\n";

                   }

                  that.setData({

                    output: text

                  })

                } else {

                  wx.hideLoading();

                  wx.showModal({

                    showCancel: false,

                    title: '温馨提示',

                    content: '貌似没有识别出结果'

                  })

                }

              }

            })

          }

        })

      },

    })

  },

(3)修改页面样式文件

/* pages/formula/formula.wxss */

.image {

  width: 100%;

  height: 360rpx;

}

.container {

  margin-top: -110px;

  background-repeat: no-repeat;

  background-size: auto;

  background-position: bottom;

  background-position-x: right;

}



button {

  font-family: 微软雅黑;

}



.page-body-info {

  display: flex;

  box-sizing: border-box;

  padding: 30rpx;

  height: 420rpx;

  border-top: 1rpx solid #d9d9d9;

  border-bottom: 1rpx solid #d9d9d9;

  align-items: center;

  justify-content: center;

}



.atbottom {

  width: 100%;

  height: 50px;

  display: flex;

  flex-direction: row;

  justify-content: center;

  position: fixed;

  background: #3366FF;

  bottom: 0;

}

.img_wrap {

    margin-bottom: 10px;

    width: 750rpx;

    height: 550rpx;

    background: #ececec;

}

image {

    width: 100%;

    height: 100%;

    max-height: 1

}

.msg {

    margin: 10px 0;

    text-align: center;

}

.table {

  margin-top: 10rpx;

  border: 0px solid darkgray;

  width: 100%;

}

.tr {

  display: flex;

  width: 100%;

  justify-content: center;

  height: 80rpx;



}

.td {

  font-family: 微软雅黑;

    font-size: 28rpx;

    width:100%;

    display: flex;

    justify-content: center;

    text-align: center;

    align-items: center;

}

.bg-g{

  background: white;

}

.result{

  font-size: 32rpx;

  color: #fa4627;

  border-top: 1rpx solid #eeeeee;

  margin:30rpx 20rpx 0rpx 20rpx;

  padding: 10rpx;

}

.th {

  font-size: 28rpx;

  width: 48%;

  justify-content: center;

  background: #3366FF;

  color: #fff;

  display: flex;

  height: 80rpx;

  align-items: center;

}

 

4 实现效果

4.1 印刷体

4.2 手写体

5.意见建议

5.1 公式识别用在智能阅卷中,会有很大的市场,这些应用场景中更多的是手写公式,所以手写公式识别的正确率和精度也同样重要。建议优化手写识别能力。

5.2 公式识别返回结果中,类似sqrt等数学运算符在文档中缺乏对应解释,建议完善官方文档。返回结果将公式还原成原始状态会更友好,省去用户二次编辑。

收藏
点赞
0
个赞
共1条回复 最后由用户已被禁言回复于2022-04
#2wangwei8638回复于2020-05

自动阅卷了

0
TOP
切换版块