数据清洗

sage: data_cleaning.py [-h] [-i INPUT] [-o OUTPUT] [-l] [-t2s] [-re] [-ru]
 
main
 
optional arguments:
  -h, --help            show this help message and exit
  -i INPUT, --input INPUT  # 输入数据文件
  -o OUTPUT, --output OUTPUT  #输出数据文件
  -l, --to_lower  # 转小写
  -t2s, --trad_to_simp  # 繁体转简体
  -re, --remove_emoji   # 去除emoji表情
  -ru, --remove_url     # 删除URL

cd wenxin/data/data_cleaning
sh install_env.sh

python data_cleaning.py -i input.txt -o output.txt --to_lower --trad_to_simp --remove_emoji --remove_url
# 或者
python data_cleaning.py -i input.txt -o output.txt -l -t2s -re -ru