Skin-Clothes-Hair-Segmentation-using-SMP

KO | EN

gitlite — search

#typescript #ai-agents #ai #dsh-plugin #deepseek-harness #open-source #cli #claude-code #codex #developer-tools #react #windows

Skin-Clothes-Hair-Segmentation-using-SMP

★ 39 Open GitHub ↗

3クラス(肌、服、髪)のセマンティックセグメンテーションを実施するモデル(A model that performs semantic segmentation of 3 classes(skin, clothes, hair))

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

[Japanese/[English](https://github.com/Kazuhito00/Skin-Clothes-Hair-Segmentation-using-SMP/blob/main/README_EN.md)]

> [!WARNING]
> モデルを訓練するために使用したデータセットは自前で収集したものです。 
> 背景や服の色、肌の色によって認識率が大きく下がる可能性があります。 
> モデルの使用に際し、損害や問題が発生しても、作成者(高橋)は一切責任を負いません。

> [!NOTE]
> イラストにも対応するようにしましたが、データセット数が不足しているため、精度はイマイチです。

> [!NOTE]
> このリポジトリは試験的なリポジトリです。 人物のセグメンテーションを実施したい場合、[MediaPipe：SelfieMulticlass](https://github.com/Kazuhito00/mediapipe-python-sample?tab=readme-ov-file#%E7%94%BB%E5%83%8F%E3%82%BB%E3%82%B0%E3%83%A1%E3%83%B3%E3%83%86%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3image-segmentation) をおすすめします。

# Skin-Clothes-Hair-Segmentation-using-SMP
3クラス(肌、服、髪)のセマンティックセグメンテーションを実施するモデルです。 
[Segmentation Models Pytorch](https://github.com/qubvel/segmentation_models.pytorch)を使用しています。 
<img src="https://user-images.githubusercontent.com/37477845/132933990-717324f1-2d74-4060-8b67-0bef06058ebe.gif" width="45%">　<img src="https://user-images.githubusercontent.com/37477845/132933998-eae87d48-a98f-43e1-a31c-983e1dea9c1d.gif" width="45%"> 
<img src="https://github.com/user-attachments/assets/c7cd1491-50cf-4eab-aeea-6b5ab061be56" width="45%">　<img src="https://github.com/user-attachments/assets/4399e570-ad11-4d2c-8e81-46e17e055425" width="45%">

本リポジトリでは、以下3種類のモデルのpthファイルとonnxファイルを用意しています。
* DeepLabV3+ エンコーダー：timm-mobilenetv3_small_100 パラメータ数：約216万
* DeepLabV3+ エンコーダー：timm-mobilenetv3_large_100 パラメータ数：約471万

# Requirement 
* torch 1.9.0 or later
* torchsummary 1.5.1 or later
* albumentations 1.0.3 or later
* matplotlib 3.2.2 or later
* onnx-simplifier 0.3.6 later
* opencv-python 3.4.2 or later
* onnxruntime 1.8.1 or later

# Requirement(demo_onnx_xxxx.py)
demo_onnx_simple.py や demo_onnx_image_overlay.py のみを使用する場合は以下2つをインストールしてください。
* opencv-python 3.4.2 or later
* onnxruntime 1.8.1 or later

# Dataset
自前で撮影した画像やインターネット上から収集した画像を合計452枚使用しています。 
データセットは非公開です。 
アノテーションは[GrabCut-Annotation-Tool](https://github.com/Kazuhito00/GrabCut-Annotation-Tool)を用いて実施しており、クラスの割り当ては以下の通りです。 
* クラスID 1：肌
* クラスID 2：服
* クラスID 3：髪

# Training
Google Colaboratoryで [[Colaboratory]Skin_Clothes_Hair_Segmentation_using_SMP.ipynb]([Colaboratory]Skin_Clothes_Hair_Segmentation_using_SMP.ipynb) を開き、上から順に実行してください。 
ノートブックが実行できるように、数枚のデータセットをコミットしてありますが、あくまで学習サンプルなので、 
本リポジトリで公開しているモデルの精度には及びません。

# Demo
デモの実行方法は以下です。
```bash
python demo_onnx_simple.py
```
```bash
python demo_onnx_image_overlay.py
```
* --device 
カメラデバイス番号の指定 
デフォルト：0
* --video 
動画ファイルの指定 ※動画指定時はカメラより優先 
デフォルト：None
* --image 
画像ファイルの指定 ※画像指定時はカメラより優先 
デフォルト：None
* --width 
カメラキャプチャ時の横幅 
デフォルト：960
* --height 
カメラキャプチャ時の縦幅 
デフォルト：540
* --mirror 
画像を反転表示するか否か 
デフォルト：指定なし
* --model 
使用するモデル 
デフォルト：'02.model/DeepLabV3Plus(timm-mobilenetv3_small_100)_452_2.16M_0.8385/best_model_simplifier.onnx'
* --score 
セマンティックセグメンテーションの判定閾値 
デフォルト：0.5

# Reference
* [Segmentation Models Pytorch](https://github.com/qubvel/segmentation_models.pytorch)
* [GrabCut-Annotation-Tool](https://github.com/Kazuhito00/GrabCut-Annotation-Tool)

# Author
高橋かずひと(https://twitter.com/KzhtTkhs)
 
# License 
Skin-Clothes-Hair-Segmentation-using-SMP is under [MIT License](LICENSE).

また、女性の画像は[フリー素材ぱくたそ](https://www.pakutaso.com)様の写真を利用しています。

Skin-Clothes-Hair-Segmentation-using-SMP

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README