一键安装

make install-linux

或

1. 安装本项目依赖

virtualenv env35 --python=python3.5
source env35/bin/activate
pip install -r requirements.txt

2. 安装 latex (latex 转 pdf)

sudo apt-get install texlive-latex-base
sudo apt-get install texlive-latex-extra

3. 安装 ghostscript

sudo apt-get update
sudo apt-get install ghostscript
sudo apt-get install libgs-dev

4. 安装magick (pdf 转 png)

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
tar -xvf ImageMagick.tar.gz
cd ImageMagick-7.*; \
./configure --with-gslib=yes; \
make; \
sudo make install; \
sudo ldconfig /usr/local/lib
rm ImageMagick.tar.gz
rm -r ImageMagick-7.*

一键安装

make install-mac

或

1. 安装本项目依赖

sudo pip install -r requirements.txt

2. LaTeX

我们需要 pdflatex，可以傻瓜式一键安装：http://www.tug.org/mactex/mactex-download.html

3. 安装magick (pdf 转 png)

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
tar -xvf ImageMagick.tar.gz
cd ImageMagick-7.*; \
./configure --with-gslib=yes; \
make;\
sudo make install; \
rm ImageMagick.tar.gz
rm -r ImageMagick-7.*

提供了样本量为 100 的小数据集，方便测试。只需 2 分钟就可以根据 ./data/small.formulas/ 下的公式生成用于训练的图片。

一步训练

make small

或

1. 生成数据集

   用 LaTeX 公式生成图片，同时保存公式-图片映射文件，生成字典 只用运行一次

   # 默认
   python build.py
   # 或者
   python build.py --data=configs/data_small.json --vocab=configs/vocab_small.json
   

2. 训练

   # 默认
   python train.py
   # 或者
   python train.py --data=configs/data_small.json --vocab=configs/vocab_small.json --training=configs/training_small.json --model=configs/model.json --output=results/small/
   

3. 评价预测的公式

   # 默认
   python evaluate_txt.py
   # 或者
   python evaluate_txt.py --results=results/small/
   

4. 评价数学公式图片

   # 默认
   python evaluate_img.py
   # 或者
   python evaluate_img.py --results=results/small/
   

根据公式生成 70,000+ 数学公式图片需要 2-3 个小时

一步训练

make full

或

1. 生成数据集

   用 LaTeX 公式生成图片，同时保存公式-图片映射文件，生成字典 只用运行一次

   python build.py --data=configs/data.json --vocab=configs/vocab.json
   

2. 训练

   python train.py --data=configs/data.json --vocab=configs/vocab.json --training=configs/training.json --model=configs/model.json --output=results/full/
   

3. 评价预测的公式

   python evaluate_txt.py --results=results/full/
   

4. 评价数学公式图片

   python evaluate_img.py --results=results/full/
   

用 tensorboard 可视化训练过程

小数据集

cd results/small
tensorboard --logdir ./

完整数据集

cd results/full
tensorboard --logdir ./

打开 visualize_attention.ipynb，一步步观察模型是如何预测 LaTeX 公式的。

或者运行

# 默认
python visualize_attention.py
# 或者
python visualize_attention.py --image=data/images_test/6.png --vocab=configs/vocab.json --model=configs/model.json --output=results/full/

可在 --output 下生成预测过程的注意力图。

1. 安装部署需要的环境

   pip install django
   

2. 开启服务

   python manage.py runserver 0.0.0.0:8010
   

3. 开启图片服务

   cd data/images_train
   python -m SimpleHTTPServer 8020
   

4. 使用方法 在输入框里依次输入 0.png, 1.png 等等，即可看到结果