支持对试卷中的数学公式及题目内容进行识别,可提取公式部分进行单独识别,也可对题目和公式进行混合识别,并返回Latex格式公式内容及位置信息,便于进行后续处理。
想了解AI开放平台API的调用过程,请参看我之前的帖子:《车牌识别》https://ai.baidu.com/forum/topic/show/943028
想了解微信小程序的开发过程,请参看我之前的帖子:《UNIT接入小程序》https://ai.baidu.com/forum/topic/show/953022
下面简要介绍公式识别的小程序接入过程:
1 系统框架
用到的技术主要有:百度公式识别和微信小程序。小程序将用户上传的图片提交给百度公式识别服务,返回公式的文字信息。全部功能都在小程序客户端完成,不需要服务器,适合个人开发者使用。
2 创建小程序项目
在根目录的全局配置文件app.json中增加:"pages/formula/formula" ,会自动创建相关页面文件,结构如下:
formula.js:功能逻辑模块
formula.wxss:页面样式文件
formula.wxml:页面布局文件
formula.json:页面配置文件
3 调用公式识别API
3.1 首先要在控制台创建应用,调用公式识别API,“获取API Key/Secret Key”。
接口文档地址:https://ai.baidu.com/ai-doc/OCR/Ok3h7xxva
请求URL: https://aip.baidubce.com/rest/2.0/ocr/v1/formula
Body中放置请求参数,参数详情如下:
返回参数:
3.2 图像风格转换功能实现
(1)发送URL请求核心代码
//在baiduai.js中发送URL请求,并进行封装。
l
et formulaUrl = 'https://aip.baidubce.com/rest/2.0/ocr/v1/formula';
let formulaRequest = (base64Img, callback) => {
var accessToken = app.globalData.access_token;
//拼接接口body参数
let params = {
image: base64Img
}
//发送接口请求
wx.request({
url: formulaUrl + '?access_token=' + accessToken,
data: params,
header: {
'content-type': 'application/x-www-form-urlencoded'
},
method: 'POST',
success: function (res) {
callback.success(res.data)
},
fail: function (res) {
if (callback.fail)
callback.fail()
}
})
}
最后,暴露接口,供调用。
module.exports = {
formulaRequest: formulaRequest,
getIocrToken: getIocrToken
}
(2)定义按钮点击事件
//在formula.js中定义定义按钮点击事件
uploads: function () {
var that = this
wx.chooseImage({
count: 1, // 默认9
sizeType: ['compressed'], // 可以指定是原图还是压缩图,默认二者都有
sourceType: ['album', 'camera'], // 可以指定来源是相册还是相机,默认二者都有
success: function (res) {
// 返回选定照片的本地文件路径列表,tempFilePath可以作为img标签的src属性显示图片
if (res.tempFiles[0].size > 4096 * 1024) {
wx.showToast({
title: '图片文件过大哦',
icon: 'none',
mask: true,
duration: 1500
})
} else {
that.setData({
img: res.tempFilePaths[0]
})
}
wx.showLoading({
title: "分析中...",
mask: true
})
//根据上传的图片读取图片的base64
var fs = wx.getFileSystemManager();
fs.readFile({
filePath: res.tempFilePaths[0].toString(),
encoding: 'base64',
success(res) {
//获取到图片的base64 进行请求接口
api.formulaRequest(res.data, {
success(res) {
if (res.data != '') {
wx.hideLoading();
var text = '';
text += "\n";
var list = [];
var list = res.words_result;
var len = res.words_result_num;
console.info(list);
for (var j = 0; j < len; j++) {
text += list[j]['words'] + "\n";
}
that.setData({
output: text
})
} else {
wx.hideLoading();
wx.showModal({
showCancel: false,
title: '温馨提示',
content: '貌似没有识别出结果'
})
}
}
})
}
})
},
})
},
(3)修改页面样式文件
/* pages/formula/formula.wxss */
.image {
width: 100%;
height: 360rpx;
}
.container {
margin-top: -110px;
background-repeat: no-repeat;
background-size: auto;
background-position: bottom;
background-position-x: right;
}
button {
font-family: 微软雅黑;
}
.page-body-info {
display: flex;
box-sizing: border-box;
padding: 30rpx;
height: 420rpx;
border-top: 1rpx solid #d9d9d9;
border-bottom: 1rpx solid #d9d9d9;
align-items: center;
justify-content: center;
}
.atbottom {
width: 100%;
height: 50px;
display: flex;
flex-direction: row;
justify-content: center;
position: fixed;
background: #3366FF;
bottom: 0;
}
.img_wrap {
margin-bottom: 10px;
width: 750rpx;
height: 550rpx;
background: #ececec;
}
image {
width: 100%;
height: 100%;
max-height: 1
}
.msg {
margin: 10px 0;
text-align: center;
}
.table {
margin-top: 10rpx;
border: 0px solid darkgray;
width: 100%;
}
.tr {
display: flex;
width: 100%;
justify-content: center;
height: 80rpx;
}
.td {
font-family: 微软雅黑;
font-size: 28rpx;
width:100%;
display: flex;
justify-content: center;
text-align: center;
align-items: center;
}
.bg-g{
background: white;
}
.result{
font-size: 32rpx;
color: #fa4627;
border-top: 1rpx solid #eeeeee;
margin:30rpx 20rpx 0rpx 20rpx;
padding: 10rpx;
}
.th {
font-size: 28rpx;
width: 48%;
justify-content: center;
background: #3366FF;
color: #fff;
display: flex;
height: 80rpx;
align-items: center;
}
4 实现效果
4.1 印刷体
4.2 手写体
5.意见建议
5.1 公式识别用在智能阅卷中,会有很大的市场,这些应用场景中更多的是手写公式,所以手写公式识别的正确率和精度也同样重要。建议优化手写识别能力。
5.2 公式识别返回结果中,类似sqrt等数学运算符在文档中缺乏对应解释,建议完善官方文档。返回结果将公式还原成原始状态会更友好,省去用户二次编辑。
自动阅卷了