VNext

(★ 616)

Next-generation Video instance recognition framework on top of Detectron2 which supports InstMove (CVPR 2023), SeqFormer(ECCV Oral), and IDOL(ECCV Oral))

파일 탐색기

최종 버전 다운로드 (.zip)

- - arch.png
  - ovis_results.png
  - vid_116.gif
  - vid_2.gif
  - vid_61.gif
  - vid_96.gif
  - ytvis2019_results.png
  - ytvis2021_results.png
- - SeqFormer_arch.png
  - SeqFormer_sota.png
  - vid_133.gif
  - vid_15.gif
  - vid_210.gif
  - vid_78.gif
  - ytvis2019_results.png
  - ytvis2021_results.png
- VNext.png
- - mask_rcnn_R_50_FPN.yaml
- - fast_rcnn_R_50_FPN_1x.yaml
  - faster_rcnn_R_101_C4_3x.yaml
  - faster_rcnn_R_101_DC5_3x.yaml
  - faster_rcnn_R_101_FPN_3x.yaml
  - faster_rcnn_R_50_C4_1x.yaml
  - faster_rcnn_R_50_C4_3x.yaml
  - faster_rcnn_R_50_DC5_1x.yaml
  - faster_rcnn_R_50_DC5_3x.yaml
  - faster_rcnn_R_50_FPN_1x.yaml
  - faster_rcnn_R_50_FPN_3x.yaml
  - faster_rcnn_X_101_32x8d_FPN_3x.yaml
  - fcos_R_50_FPN_1x.py
  - retinanet_R_101_FPN_3x.yaml
  - retinanet_R_50_FPN_1x.py
  - retinanet_R_50_FPN_1x.yaml
  - retinanet_R_50_FPN_3x.yaml
  - rpn_R_50_C4_1x.yaml
  - rpn_R_50_FPN_1x.yaml
- - mask_rcnn_R_101_C4_3x.yaml
  - mask_rcnn_R_101_DC5_3x.yaml
  - mask_rcnn_R_101_FPN_3x.yaml
  - mask_rcnn_R_50_C4_1x.py
  - mask_rcnn_R_50_C4_1x.yaml
  - mask_rcnn_R_50_C4_3x.yaml
  - mask_rcnn_R_50_DC5_1x.yaml
  - mask_rcnn_R_50_DC5_3x.yaml
  - mask_rcnn_R_50_FPN_1x.py
  - mask_rcnn_R_50_FPN_1x.yaml
  - mask_rcnn_R_50_FPN_1x_giou.yaml
  - mask_rcnn_R_50_FPN_3x.yaml
  - mask_rcnn_regnetx_4gf_dds_fpn_1x.py
  - mask_rcnn_regnety_4gf_dds_fpn_1x.py
  - mask_rcnn_X_101_32x8d_FPN_3x.yaml
- - Base-Keypoint-RCNN-FPN.yaml
  - keypoint_rcnn_R_101_FPN_3x.yaml
  - keypoint_rcnn_R_50_FPN_1x.py
  - keypoint_rcnn_R_50_FPN_1x.yaml
  - keypoint_rcnn_R_50_FPN_3x.yaml
  - keypoint_rcnn_X_101_32x8d_FPN_3x.yaml
- - Base-Panoptic-FPN.yaml
  - panoptic_fpn_R_101_3x.yaml
  - panoptic_fpn_R_50_1x.py
  - panoptic_fpn_R_50_1x.yaml
  - panoptic_fpn_R_50_3x.yaml
- - coco_schedule.py
  - optim.py
  - README.md
  - train.py
- - faster_rcnn_R_50_FPN_noaug_1x.yaml
  - keypoint_rcnn_R_50_FPN_1x.yaml
  - mask_rcnn_R_50_FPN_noaug_1x.yaml
  - README.md
- - mask_rcnn_R_101_FPN_1x.yaml
  - mask_rcnn_R_50_FPN_1x.yaml
  - mask_rcnn_X_101_32x8d_FPN_1x.yaml
- - mask_rcnn_R_101_FPN_1x.yaml
  - mask_rcnn_R_50_FPN_1x.yaml
  - mask_rcnn_X_101_32x8d_FPN_1x.yaml
- - cascade_mask_rcnn_R_50_FPN_1x.yaml
  - cascade_mask_rcnn_R_50_FPN_3x.yaml
  - cascade_mask_rcnn_X_152_32x8d_FPN_IN5k_gn_dconv.yaml
  - mask_rcnn_R_50_FPN_1x_cls_agnostic.yaml
  - mask_rcnn_R_50_FPN_1x_dconv_c3-c5.yaml
  - mask_rcnn_R_50_FPN_3x_dconv_c3-c5.yaml
  - mask_rcnn_R_50_FPN_3x_gn.yaml
  - mask_rcnn_R_50_FPN_3x_syncbn.yaml
  - mmdet_mask_rcnn_R_50_FPN_1x.py
  - panoptic_fpn_R_101_dconv_cascade_gn_3x.yaml
  - scratch_mask_rcnn_R_50_FPN_3x_gn.yaml
  - scratch_mask_rcnn_R_50_FPN_9x_gn.yaml
  - scratch_mask_rcnn_R_50_FPN_9x_syncbn.yaml
  - semantic_R_50_FPN_1x.yaml
  - torchvision_imagenet_R_50.py
- - mask_rcnn_R_101_FPN_100ep_LSJ.py
  - mask_rcnn_R_101_FPN_200ep_LSJ.py
  - mask_rcnn_R_101_FPN_400ep_LSJ.py
  - mask_rcnn_R_50_FPN_100ep_LSJ.py
  - mask_rcnn_R_50_FPN_200ep_LSJ.py
  - mask_rcnn_R_50_FPN_400ep_LSJ.py
  - mask_rcnn_R_50_FPN_50ep_LSJ.py
  - mask_rcnn_regnetx_4gf_dds_FPN_100ep_LSJ.py
  - mask_rcnn_regnetx_4gf_dds_FPN_200ep_LSJ.py
  - mask_rcnn_regnetx_4gf_dds_FPN_400ep_LSJ.py
  - mask_rcnn_regnety_4gf_dds_FPN_100ep_LSJ.py
  - mask_rcnn_regnety_4gf_dds_FPN_200ep_LSJ.py
  - mask_rcnn_regnety_4gf_dds_FPN_400ep_LSJ.py
- - faster_rcnn_R_50_C4.yaml
  - faster_rcnn_R_50_FPN.yaml
- - cascade_mask_rcnn_R_50_FPN_inference_acc_test.yaml
  - cascade_mask_rcnn_R_50_FPN_instant_test.yaml
  - fast_rcnn_R_50_FPN_inference_acc_test.yaml
  - fast_rcnn_R_50_FPN_instant_test.yaml
  - keypoint_rcnn_R_50_FPN_inference_acc_test.yaml
  - keypoint_rcnn_R_50_FPN_instant_test.yaml
  - keypoint_rcnn_R_50_FPN_normalized_training_acc_test.yaml
  - keypoint_rcnn_R_50_FPN_training_acc_test.yaml
  - mask_rcnn_R_50_C4_GCV_instant_test.yaml
  - mask_rcnn_R_50_C4_inference_acc_test.yaml
  - mask_rcnn_R_50_C4_instant_test.yaml
  - mask_rcnn_R_50_C4_training_acc_test.yaml
  - mask_rcnn_R_50_DC5_inference_acc_test.yaml
  - mask_rcnn_R_50_FPN_inference_acc_test.yaml
  - mask_rcnn_R_50_FPN_instant_test.yaml
  - mask_rcnn_R_50_FPN_pred_boxes_training_acc_test.yaml
  - mask_rcnn_R_50_FPN_training_acc_test.yaml
  - panoptic_fpn_R_50_inference_acc_test.yaml
  - panoptic_fpn_R_50_instant_test.yaml
  - panoptic_fpn_R_50_training_acc_test.yaml
  - README.md
  - retinanet_R_50_FPN_inference_acc_test.yaml
  - retinanet_R_50_FPN_instant_test.yaml
  - rpn_R_50_FPN_inference_acc_test.yaml
  - rpn_R_50_FPN_instant_test.yaml
  - semantic_R_50_FPN_inference_acc_test.yaml
  - semantic_R_50_FPN_instant_test.yaml
  - semantic_R_50_FPN_training_acc_test.yaml
- Base-RCNN-C4.yaml
- Base-RCNN-DilatedC5.yaml
- Base-RCNN-FPN.yaml
- Base-RetinaNet.yaml
- prepare_ade20k_sem_seg.py
- prepare_cocofied_lvis.py
- prepare_for_tests.sh
- prepare_panoptic_fpn.py
- README.md
- demo.py
- predictor.py
- README.md
- - __init__.py
  - c2_model_loading.py
  - catalog.py
  - detection_checkpoint.py
- - __init__.py
  - compat.py
  - config.py
  - defaults.py
  - instantiate.py
  - lazy.py
- - __init__.py
  - benchmark.py
  - build.py
  - catalog.py
  - common.py
  - dataset_mapper.py
  - detection_utils.py
- - __init__.py
  - defaults.py
  - hooks.py
  - launch.py
  - train_loop.py
- - __init__.py
  - cityscapes_evaluation.py
  - coco_evaluation.py
  - evaluator.py
  - fast_eval_api.py
  - lvis_evaluation.py
  - panoptic_evaluation.py
  - pascal_voc_evaluation.py
  - rotated_coco_evaluation.py
  - sem_seg_evaluation.py
  - testing.py
- - __init__.py
  - api.py
  - c10.py
  - caffe2_export.py
  - caffe2_inference.py
  - caffe2_modeling.py
  - caffe2_patch.py
  - flatten.py
  - README.md
  - shared.py
  - torchscript.py
  - torchscript_patch.py
- - __init__.py
  - aspp.py
  - batch_norm.py
  - blocks.py
  - deform_conv.py
  - losses.py
  - mask_ops.py
  - nms.py
  - roi_align.py
  - roi_align_rotated.py
  - rotated_boxes.py
  - shape_spec.py
  - wrappers.py
- - __init__.py
  - configs
  - model_zoo.py
- - __init__.py
  - anchor_generator.py
  - box_regression.py
  - matcher.py
  - mmdet_wrapper.py
  - poolers.py
  - postprocessing.py
  - sampling.py
  - test_time_augmentation.py
- - __init__.py
  - README.md
- - __init__.py
  - build.py
  - lr_scheduler.py
- - __init__.py
  - boxes.py
  - image_list.py
  - instances.py
  - keypoints.py
  - masks.py
  - rotated_boxes.py
- - __init__.py
  - base_tracker.py
  - bbox_iou_tracker.py
  - hungarian_tracker.py
  - iou_weighted_hungarian_bbox_iou_tracker.py
  - utils.py
  - vanilla_hungarian_bbox_iou_tracker.py
- - __init__.py
  - analysis.py
  - collect_env.py
  - colormap.py
  - comm.py
  - develop.py
  - env.py
  - events.py
  - file_io.py
  - logger.py
  - memory.py
  - README.md
  - registry.py
  - serialize.py
  - testing.py
  - video_visualizer.py
  - visualizer.py
- __init__.py
- - build_all_wheels.sh
  - build_wheel.sh
  - gen_install_table.py
  - gen_wheel_index.sh
  - pkg_helpers.bash
  - README.md
- linter.sh
- parse_results.sh
- README.md
- run_inference_tests.sh
- run_instant_tests.sh
- deploy.Dockerfile
- docker-compose.yml
- Dockerfile
- README.md
- - checkpoint.rst
  - config.rst
  - data.rst
  - data_transforms.rst
  - engine.rst
  - evaluation.rst
  - export.rst
  - fvcore.rst
  - index.rst
  - layers.rst
  - model_zoo.rst
  - modeling.rst
  - solver.rst
  - structures.rst
  - utils.rst
- - benchmarks.md
  - changelog.md
  - compatibility.md
  - contributing.md
  - index.rst
- - augmentation.md
  - builtin_datasets.md
  - configs.md
  - data_loading.md
  - datasets.md
  - deployment.md
  - evaluation.md
  - extend.md
  - getting_started.md
  - index.rst
  - install.md
  - lazyconfigs.md
  - models.md
  - README.md
  - training.md
  - write-models.md
- .gitignore
- conf.py
- index.rst
- Makefile
- README.md
- requirements.txt
- - IDOL.md
  - train_net.py
- - InstMove.md
- - SeqFormer.md
  - train_net.py
- - root_cfg.py
  - test_instantiate_config.py
  - test_lazy_config.py
  - test_yacs_config.py
- - __init__.py
  - test_coco.py
  - test_coco_evaluation.py
  - test_dataset.py
  - test_detection_utils.py
  - test_rotation_transform.py
  - test_sampler.py
  - test_transforms.py
- - __init__.py
  - test_blocks.py
  - test_deformable.py
  - test_losses.py
  - test_mask_ops.py
  - test_nms.py
  - test_nms_rotated.py
  - test_roi_align.py
  - test_roi_align_rotated.py
- - __init__.py
  - test_anchor_generator.py
  - test_backbone.py
  - test_box2box_transform.py
  - test_fast_rcnn.py
  - test_matcher.py
  - test_mmdet.py
  - test_model_e2e.py
  - test_roi_heads.py
  - test_roi_pooler.py
  - test_rpn.py
- - __init__.py
  - test_boxes.py
  - test_imagelist.py
  - test_instances.py
  - test_keypoints.py
  - test_masks.py
  - test_rotated_boxes.py
- - __init__.py
  - test_bbox_iou_tracker.py
  - test_hungarian_tracker.py
  - test_iou_weighted_hungarian_bbox_iou_tracker.py
  - test_vanilla_hungarian_bbox_iou_tracker.py
- __init__.py
- README.md
- test_checkpoint.py
- test_engine.py
- test_events.py
- test_export_caffe2.py
- test_export_torchscript.py
- test_model_analysis.py
- test_model_zoo.py
- test_packaging.py
- test_registry.py
- test_scheduler.py
- test_solver.py
- test_visualizer.py
- - CMakeLists.txt
  - export_model.py
  - README.md
  - torchscript_mask_rcnn.cpp
- __init__.py
- analyze_model.py
- benchmark.py
- convert-pretrained-swin-model-to-d2.py
- convert-torchvision-to-d2.py
- lazyconfig_train_net.py
- lightning_train_net.py
- plain_train_net.py
- README.md
- train_net.py
- visualize_data.py
- visualize_json_results.py
.gitignore
INSTALL.md
LICENSE
README.md
requirements.txt
setup.cfg
setup.py

# 설치 가이드

1. 코드 내려받기

git clone https://github.com/FoundationVision/VNext

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd VNext

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Docker

쉬움 추천

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.

docker compose -f docker/docker-compose.yml up -d --build

compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.

✅ 터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.

3. CMake

보통

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
CMake 빌드 설정을 생성하는 도구입니다.
C/C++ 컴파일러 Windows는 Visual Studio(Community 무료), macOS는 Xcode Command Line Tools, Linux는 gcc/g++ 패키지가 필요합니다.

⚠️ 이 프로젝트는 규모가 큰 저장소라, 이 방법이 실제 핵심 제품이 아니라 내부 하위 패키지를 가리키는 것일 수 있습니다. README 전체를 함께 확인해보세요.

cd tools/deploy

이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.

mkdir build && cd build

빌드 결과물을 담을 폴더를 만들고 그 안으로 이동합니다.

cmake ..

소스코드를 분석해 빌드 설정 파일을 생성합니다 (build 폴더 안에서 실행해야 함).

make

생성된 빌드 설정을 바탕으로 실제 컴파일을 진행해 실행 파일을 만듭니다.

✅ build 폴더 안에 실행 파일이 생성됐는지 확인하고, 직접 실행해보세요 (예: ./build/앱이름).

4. Python

쉬움

사전 준비물

Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).

pip install -r projects/InstMove/MinVIS_motion/requirements.txt

requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.

python <실행할 파일명>.py # README에서 정확한 실행 파일명을 확인하세요

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

VNext

파일 탐색기

# 설치 가이드

2. Docker

3. CMake

4. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

VNext

파일 탐색기

# 설치 가이드

2. Docker

3. CMake

4. Python

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README