japanese-bizform-table-kie

KO | EN

gitlite — search

#javascript #python #hacktoberfest #react #ai #typescript #llm #go #golang #android #machine-learning #rust #deep-learning #linux

japanese-bizform-table-kie

★ 10 Open GitHub ↗

polyshere3の精度評価用ベンチマーク

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# japanese-bizform-table-kie

**japanese-bizform-table-kie**は、AI inside株式会社がGENIAC第2サイクルで開発した非定型帳票認識モデル「PolySphere-3」の精度を評価するために設計されたベンチマークツールです。

本ベンチマークは、**非定型帳票の読み取り精度を客観的に測定**することを目的としています。

## 特徴
- **対象帳票数**：50種類、合計2,500枚の非定型帳票を使用
- **評価方式**：各帳票タイプごとに読み取り精度を評価し、その後、全体の平均精度を算出

- **評価観点**：
    - **完全一致率（Exact Match Accuracy）**：モデルが正しく読み取れた帳票の割合
    - **標準偏差（Standard Deviation）**：評価結果のばらつきの指標

- **評価回数**：各モデルについて**5回繰り返し評価**を行い、その平均値と標準偏差を算出

## 目的
このベンチマークは、PolySphere-3だけでなく、他の非定型帳票読み取りモデルの性能を比較・分析するためにも活用可能です。複雑で多様な帳票に対するモデルの安定性と精度を多面的に検証できます。

# PolySphere-3の概要
**PolySphere-3** は、帳票における情報抽出を目的としたシステムであり、大きく以下の2つの処理パートに分かれています。

- **通常項目処理**
- **明細項目処理**

## 通常項目処理のフロー
1. **帳票情報の読み取り** 
弊社の全文読み取りエンジンにより、帳票情報を読み取ります。

2. **LLMによる項目抽出** 
弊社が開発したLLM（or SLM）により、帳票情報のテキストから通常項目を抽出します。

## 明細項目処理のフロー

1. **表構造の抽出** 
弊社の全文読み取りエンジンにより、帳票内の表構造を抽出します。

2. **VLM（Vision Language Model）による明細項目抽出** 
抽出された表構造を基に、VLMを用いて画像から明細項目を抽出します。

## 評価対象モデルについて
- **通常項目の評価対象**

- SLM（Small Language Model）

- LLM（Large Language Model）

- **明細項目の評価対象**

- VLM（Vision Language Model）

# ライセンスについて
このリポジトリのLLM出力結果以外のライセンスは、Apache License Version 2.0ですが、比較モデルの出力結果に関しては、それぞれのモデルのライセンスに依存します。

# Repository構成
```
.
├── README.md (このファイル)
├── data (評価用データ)
│   ├── annotations (評価用アノテーション)
│   │   ├── xxx.json
│   │   ├── yyy.json
│   │   └── ...
│   └── images (評価用画像)
│   │   ├── アンケート
│   │   │   ├──aaa_アンケート_bbbbbbbb.png
│   │   │   ├──ccc_アンケート_dddddddd.png
│   │   │   └── ...
│   │   ├── カタログ
│   │   └── ...
│   └── ...
├── scripts (評価スクリプト)
│   ├── evaluate.py
│   ├── generate.py
│   └── utils.py
└── results (評価結果)
    ├── kv (通常項目評価結果)
    │   ├── chatgpt-4o-latest
    │   │ ├── 0
    │   │ │ ├── アンケート
    │   │ │ │ ├── aaa_アンケート_bbbbbbbb.json
    │   │ │ │ ├── ccc_アンケート_dddddddd.json
    │   │ │ │ └── ...
    │   │ │ ├── カタログ
    │   │ │ └── ...
    │   │ ├── 1
    │   │ ├── 2
    │   │ ├── 3
    │   │ └── 4
    │   ├── gemini-2.5-pro-preview-03-25
    │   └── ...
    └── table (明細項目評価結果)
        ├── chatgpt-4o-latest
        │ ├── 0
        │ │ ├── アンケート
        │ │ │ ├── aaa_アンケート_bbbbbbbb.json
        │ │ │ ├── ccc_アンケート_dddddddd.json
        │ │ │ └── ...
        │ │ ├── カタログ
        │ │ └── ...
        │ ├── 1
        │ ├── 2
        │ ├── 3
        │ └── 4
        ├── gemini-2.5-pro-preview-03-25
        └── ...
```

# 外部モデルの実行時の前提条件 
temperatureは0に近い値で実行しているが、MSDIには同一のパラメータが存在していないので、temperature指定はしていない。

# Leaderboard
## 全帳票平均
### 通常項目
| model_name | accuracy | std | 
|---------|--------------|---------|
| ps3-LLM | 0.951 | 0.002 |
| gemini-2.5-pro-preview-03-25 | 0.899 | 0.008 | 
| ps3-SLM | 0.863 | 0.006 | 
| ps2-LLM | 0.844 | 0.007 |
| unsloth--Qwen2.5-VL-32B-Instruct | 0.809 | 0.003 | 
| chatgpt-4o-latest | 0.805 | 0.040 |
| mistralocr | 0.724 | 0.033 | 
| Microsoft Document Inteligence | 0.606 | 0.000 |

### 明細項目
| model_name | accuracy | std | 
|---------|--------------|---------|
| gemini-2.5-pro-preview-03-25 | 0.959 | 0.007 | 
| ps3-VLM | 0.939 | 0.001 | 
| unsloth--Qwen2.5-VL-32B-Instruct | 0.917 | 0.001 | 
| ps2-LLM | 0.908 | 0.003 |
| chatgpt-4o-latest | 0.871 | 0.035 |
| mistralocr | 0.868 | 0.015 | 
| Microsoft Document Inteligence | 0.780 | 0.000 |

japanese-bizform-table-kie

Today's picks

Was this content helpful?

Recent Feedback

japanese-bizform-table-kie

Today's picks

Was this content helpful?

Recent Feedback

Download README