通常情况下,PaddleNLP读取函数会长这样: # 数据ID,用户ID,商品ID,评论时间戳,评论标题label.split('.')[0])-1), 'qid': id}
会经常遇到某行少列等异常情况,处理很麻烦,现在有更好的办法来处理: def read(pd_data):
for index, item', sep="\t", header=None, error_bad_lines=False) 使用pandas来读取数据,其中error_bad_lines=False,可以自动忽略错误行。