verl

KO | EN

gitlite — search

#python #javascript #machine-learning #csharp #ios #deep-learning #docker #discord-bot #react #computer-vision #kubernetes #java

★ 22,985 Open GitHub ↗

verl/HybridFlow: 유연하고 효율적인 RL Post-Training 프레임워크

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

👋 안녕하세요, 여러분!
verl은 **ByteDance Seed team**이 시작하고 verl 커뮤니티에서 유지 관리하는 RL 학습 라이브러리입니다.

[![Ask DeepWiki.com](https://devin.ai/assets/deepwiki-badge.png)](https://deepwiki.com/verl-project/verl)
[![GitHub Repo stars](https://img.shields.io/github/stars/verl-project/verl)](https://github.com/verl-project/verl/stargazers)
[![Twitter](https://img.shields.io/twitter/follow/verl\_project)](https://twitter.com/verl\_project)
[![](https://img.shields.io/badge/Slack-verl-blueviolet?logo=slack&)](https://join.slack.com/t/verl-project/shared_invite/zt-3c6mc2khw-v0lo6NfDPuFP6OnkrZwfqw)
[![](https://img.shields.io/static/v1?label=EuroSys&message=Paper&color=red)](https://arxiv.org/pdf/2409.19256)
[![Documentation](https://img.shields.io/badge/documentation-blue)](https://verl.readthedocs.io/en/latest/)
[![](https://img.shields.io/badge/微信-green?logo=wechat&)](https://raw.githubusercontent.com/eric-haibin-lin/verl-community/refs/heads/main/WeChat.JPG)

![seed logo](https://github.com/user-attachments/assets/c42e675e-497c-4508-8bb9-093ad4d1f216)

# verl: Volcano Engine Reinforcement Learning for LLMs

verl은 대규모 언어 모델(LLMs)을 위한 유연하고 효율적인 프로덕션 수준의 RL 학습 라이브러리입니다.
verl은 \*\*[HybridFlow: A Flexible and Efficient RLHF Framework](https://arxiv.org/abs/2409.19256v2)\*\* 논문의 오픈소스 버전입니다.
verl은 다음과 같은 특징으로 유연하고 사용하기 쉽습니다:
- \*\*다양한 RL 알고리즘의 쉬운 확장\*\*: 하이브리드 제어기(hybrid-controller) 프로그래밍 모델을 통해 복잡한 사후 학습(post-training) 데이터 흐름을 유연하게 표현하고 효율적으로 실행할 수 있습니다. 단 몇 줄의 코드로 GRPO, PPO와 같은 RL 데이터 흐름을 구축하세요.
- \*\*모듈식 API를 통한 기존 LLM 인프라와의 원활한 통합\*\*: 연산과 데이터 의존성을 분리하여 FSDP, Megatron-LM, vLLM, SGLang 등 기존 LLM 프레임워크와 원활하게 통합할 수 있습니다.
- \*\*유연한 디바이스 매핑\*\*: 다양한 클러스터 크기에서 효율적인 자원 활용과 확장성을 위해 모델을 서로 다른 GPU 집합에 유연하게 배치할 수 있습니다.
- 인기 있는 HuggingFace 모델과의 즉각적인 통합
verl은 다음과 같은 강점으로 빠릅니다:
- \*\*최첨단 처리량(State-of-the-art throughput)\*\*: SOTA LLM 학습 및 추론 엔진 통합과 SOTA RL 처리량을 제공합니다.
- \*\*3D-HybridEngine을 통한 효율적인 액터 모델 리샤딩(resharding)\*\*: 메모리 중복을 제거하고 학습 단계와 생성 단계 간의 전환 시 발생하는 통신 오버헤드를 크게 줄여줍니다.

![verl-arch.png](https://github.com/verl-project/verl-data/blob/main/images/verl-arch.png?raw=true)

## 소식
- [2026/08] [VeRL-Omni](https://github.com/verl-project/verl-omni) `v0.2.0`가 출시되었습니다: 더 빠른 diffusion RL, 재구축된 Qwen3-Omni 멀티모달 학습 (DPO 및 GSPO) 지원뿐만 아니라 LTX-2.3, Qwen-Image-Edit 지원 등이 포함됩니다.
- [2026/07] [RL-Insight](https://github.com/verl-project/rl-insight)가 출시되었습니다: 강화 학습 학습을 위한 온라인 가시성(observability) 도구입니다. RL-Insight는 분산된 롤아웃 및 최적화 워크로드 전반에 걸쳐 학습 측면의 지표, RL 상태 추적, 그리고 서비스 대시보드를 연결합니다.
- [2026/06] [verl-SpeCo](https://github.com/verl-project/verl-SpeCo)가 사전 출시되었습니다: verl을 기반으로 구축된, RL 학습과 추론 간의 speculative decoding을 위한 공동 학습(co-training) 프레임워크로, 학습 중에도 draft 모델의 정렬을 유지하며 가속화된 서빙에 재사용할 수 있습니다.
- [2026/05] [uni-agent](https://github.com/verl-project/uni-agent)가 출시되었습니다: verl을 기반으로 구축된, LLM 에이전트를 대규모로 빌드, 실행, 학습하기 위한 통합 에이전트 프레임워크입니다.
- [2026/05] [VeRL-Omni](https://github.com/verl-project/verl-omni)가 사전 출시되었습니다: verl을 기반으로 구축된 diffusion 및 omni-modal 모델 사후 학습을 위한 통합 RL 스택입니다. 자세한 내용은 [블로그 게시물](https://vllm.ai/blog/2026-05-14-verl-omni)을 참고하세요.
- [2026/05] verl의 제로 미스매치 HuggingFace 롤아웃 [vexact](https://github.com/verl-project/vexact)가 출시되었습니다: 배치 불변 커널(batch-invariant kernel), FSDP와 공유되는 모델 정의, VeOmni와 호환되는 기본 제공 예제들을 제공합니다.
- [2026/04] verl의 Megatron 백엔드 LoRA 및 라우터 리플레이 지원 기능이 [PyTorch Conference Europe 2026](https://pytorchconferenceeu2026.sched.com/event/2Juce/optimizing-reinforcement-learning-at-trillion-parameter-scale-songlin-jiang-aalto-university-mind-lab)에서 소개되었습니다.
- [2026/03] verl이 NVIDIA GTC26에서 발표되었습니다: [세션#1](https://www.nvidia.com/en-us/on-demand/session/gtc26-S81829/), [세션#2](https://www.nvidia.com/en-us/on-demand/session/gtc26-S81620/)
- [2026/01] verl이 [verl-project](https://github.com/verl-project)로 이전되었습니다.
- [2026/01] Volcengine과 NVIDIA가 주최한 첫 번째 verl 밋업이 1월 10일 상하이에서 성공적으로 개최되었으며, 발표 자료는 [verl-data](https://github.com/verl-project/verl-data)에 업로드되었습니다.
- [2026/01] `recipe` 디렉토리가 전용 저장소인 [verl-recipe](https://github.com/verl-project/verl-recipe)로 이전되었으며 서브모듈로 추가되었습니다. https://github.com/verl-project/verl/pull/4795를 참고하세요. `git submodule update --init --recursive recipe` 실행 후 기존처럼 사용할 수 있습니다. [`transfer\_queue`](verl/experimental/transfer\_queue), [`fully\_async\_policy`](verl/experimental/fully\_async\_policy), [`one\_step\_off\_policy`](verl/experimental/one\_step\_off\_policy), [`vla`](verl/experimental/vla)는 향후 메인 라이브러리에 병합될 예정이므로 계속해서 [`verl/experimental`](verl/experimental) 아래에 유지됩니다. `verl.experimental.{module}`을 통해 사용하세요.
- [2025/12] [Mind Lab](https://macaron.im/mindlab)은 [verl](https://github.com/verl-project/verl)과 [Megatron-bridge](https://github.com/NVIDIA-NeMo/Megatron-Bridge)를 사용하여 64개의 H800에서 1조 파라미터 모델을 위한 GRPO Lora 학습을 성공적으로 수행했습니다 - [기술 블로그](https://macaron.im/mindlab/research/building-trillion-parameter-reasoning-rl-with-10-gpus) 참고.
- [2025/10] verl이 [PyTorch Conference 2025](https://pytorch.org/event/pytorch-conference-2025/)에서 발표되었습니다.
- [2025/08] verl이 [PyTorch Expert Exchange Webinar](https://www.youtube.com/watch?v=Vd79NmmqY3Q&t=2s)에서 발표되었습니다. [발표 자료(Slides)](https://github.com/eric-haibin-lin/verl-community/blob/main/slides/verl\_talk\_pytorch\_2025\_08.pdf) 이용 가능.
- [2025/07] [ReTool](https://arxiv.org/pdf/2504.11536) 레시피가 완전히 오픈소스화되었습니다. [블로그](https://www.notion.so/verl-reTool-recipe-Using-multi-round-conversations-and-code-sandboxing-to-improve-the-math-of-large-23a8b5b7feba80b386b2e5b5e3c1cde0)
- [2025/07] 첫 번째 verl 밋업이 7월 16일 밴쿠버 ICML에서 개최됩니다! ICML에 참석하신다면 [참여해 주세요](https://lu.ma/0ek2nyao)! (현장 참석만 가능)

- [2025/06] Megatron 백엔드가 탑재된 verl은 [DeepSeek-671B 및 Qwen3-235B](https://verl.readthedocs.io/en/latest/perf/dpsk.html)와 같은 대규모 MoE 모델을 지원합니다.
- [2025/03] [DAPO](https://dapo-sia.github.io/)는 Qwen2.5-32B 사전 학습 모델을 기반으로 AIME 2024에서 50점을 달성하여 DeepSeek의 GRPO(DeepSeek-R1-Zero-Qwen-32B)가 세운 이전 SOTA를 뛰어넘은 오픈소스 SOTA RL 알고리즘입니다. DAPO의 학습은 온전히 verl로 구동되며 재현 코드는 현재 `recipe/dapo`에서 사용할 수 있습니다.
 더 보기...

* [2025/04] [Seed-Thinking-v1.5](https://github.com/ByteDance-Seed/Seed-Thinking-v1.5/blob/main/seed-thinking-v1.5.pdf) 기술 보고서가 출시되었습니다! verl로 학습된 Seed-Thinking-v1.5는 AIME 2024에서 86.7점, Codeforces에서 55.0점, GPQA에서 77.3점을 기록하며 STEM 및 코딩 분야에서 뛰어난 추론 능력을 보여줍니다. 추론 작업 외에도, 이 방법론은 다양한 도메인에 걸쳐 주목할 만한 일반화 성능을 보여줍니다.
* [2025/07] 7월 8일 [AWS AI Hours Singapore](https://pages.awscloud.com/aws-ai-hours-sg.html#agenda)에서 verl 키노트 발표가 진행되며, 7월 11일 LF AI & Data Singapore가 주관하는 [Agent for SWE meetup](https://lu.ma/e498qhsi)에서 verl 및 verl-agent 프로젝트 업데이트가 발표됩니다.
* [2025/06] verl 팀은 6월 7일 [PyTorch Day China](https://www.lfasiallc.com/pytorch-day-china/)에서 최신 프로젝트 업데이트를 제공할 예정입니다. 베이징에서 저희 개발팀을 만나보세요!
* [2025/04] [VAPO](https://arxiv.org/pdf/2504.05118)(value-based augmented PPO) 논문은 추론 모델을 위한 최신 강화학습(RL) 방법을 다룹니다. Qwen-32B-base 모델에서 학습된 VAPO는 AIME 2024에서 60.4점을 기록하며 DAPO-32B를 능가합니다.
* [2025/05] ICML 2025에 채택된 [PF-PPO](https://arxiv.org/abs/2409.06957)가 이제 verl에서 지원됩니다! PF-PPO는 잠재적으로 노이가 있는 보상 신호를 필터링하고 리플레이 버퍼를 통해 고품질 경험을 재사용함으로써 정책 학습 효율성과 강건성을 향상시킵니다.
* [2025/04] [ICLR 2025 Expo](https://iclr.cc/virtual/2025/calendar?filter\_events=Expo+Talk+Panel&filter\_rooms=), [SCI-FM workshop](https://open-foundation-model.github.io/), [LMSys afterparty](https://lu.ma/d23nyynm)에서 verl의 최신 사후 학습(post-training) 기술 및 프로그래밍 가이드에 대한 튜토리얼을 진행할 예정입니다. 발표 자료는 [여기](https://github.com/eric-haibin-lin/verl-community/tree/main/iclr25)에서 확인하실 수 있습니다.
* [2025/03] verl v0.3.0.post1이 출시되었습니다! 자세한 내용은 [릴리스 노트](https://github.com/verl-project/verl/releases/)를 참조하세요. 이전 버전에 비해 [약 1.4배 속도 향상](https://tongyx361.github.io/blogs/posts/verl-intro/#/verl-flexible-and-efficient-rl-for-llms)을 달성했습니다.
* [2025/05] verl은 5월 16일~17일에 열리는 [A2M Shanghai](https://a2m.msup.com.cn/home/?aid=4488&city=shanghai)에서 소개될 예정입니다.
* [2025/05] verl은 [GOSIM x PyTorch Day 2025](https://paris2025.gosim.org/)에서 발표됩니다. 파리에서 만나요!
* [2025/03] 3달 중순에 열린 [vLLM Beijing Meetup](https://mp.weixin.qq.com/s/n77GibL2corAtQHtVEAzfg)에서 verl의 프로그래밍 모델을 소개했으며, Sunnyvale에서 열린 [SGLang-LMSYS Org Meetup](https://lu.ma/ntjrr7ig)에서 [verl 소개 및 업데이트](https://github.com/eric-haibin-lin/verl-community/blob/main/slides/verl-lmsys-meetup.pdf)를 발표했습니다.
* [2025/03] EuroSys 2025에서 verl(HybridFlow)을 발표할 예정입니다. 로테르담에서 만나요!
* [2025/02] verl v0.2.0.post2가 출시되었습니다!
* [2025/02] [Bytedance/NVIDIA/Anyscale Ray Meetup](https://lu.ma/ji7atxux)에서 verl을 발표했습니다. 산호세에서 만나요!
* [2025/01] LLM 및 VLM에서 SOTA 수준의 성능을 갖춘 [Doubao-1.5-pro](https://team.doubao.com/zh/special/doubao\_1\_5\_pro)가 출시되었습니다. RL 스케일링 미리보기 모델은 verl을 사용하여 학습되었으며, 수학 벤치마크에서 OpenAI o1 수준의 성능(AIME에서 70.0 pass@1)에 도달했습니다.
* [2024/12] Ray Forward 2024에서 verl이 소개되었습니다. 슬라이드는 [여기](https://github.com/eric-haibin-lin/verl-community/blob/main/slides/Ray_Forward_2024_%E5%B7%AB%E9%94%A1%E6%96%8C.pdf)서 확인하실 수 있습니다.
* [2024/12] 팀은 NeurIPS 2024에서 [Post-training LLMs: From Algorithms to Infrastructure](https://neurips.cc/Expo/Conferences/2024/workshop/100677)를 발표했습니다. [슬라이드](https://github.com/eric-haibin-lin/verl-data/tree/neurips)와 [비디오](https://neurips.cc/Expo/Conferences/2024/workshop/100677)를 이용하실 수 있습니다.
* [2024/10] Ray Summit에서 verl이 소개되었습니다. [Youtube 동영상](https://www.youtube.com/watch?v=MrhMcXkXvJU&list=PLzTswPQNepXntmT8jr9WaNfqQ60QwW7-U&index=37)을 시청하실 수 있습니다.
* [2024/08] HybridFlow (verl)가 EuroSys 2025에 채택되었습니다.
## 주요 기능
- 학습을 위한 \*\*FSDP\*\*, \*\*FSDP2\*\* 및 \*\*Megatron-LM\*\* 지원.
- 롤아웃 생성을 위한 \*\*vLLM\*\*, \*\*SGLang\*\* 및 \*\*HF Transformers\*\* 지원.
- 호환 가능

th Hugging Face Transformers 및 Modelscope Hub 지원: Qwen3.5, Qwen3, Qwen-2.5, Llama3.1, Gemma2, DeepSeek-LLM 등
- 지도학습 미세조정 (Supervised fine-tuning).
- 강화학습 지원 ([PPO](examples/ppo\_trainer/), [GRPO](examples/grpo\_trainer/), [GSPO](https://github.com/verl-project/verl-recipe/tree/main/gspo/), [ReMax](examples/remax\_trainer/), [REINFORCE++](https://verl.readthedocs.io/en/latest/examples/config.html#algorithm), [RLOO](examples/rloo\_trainer/), [PRIME](https://github.com/verl-project/verl-recipe/tree/main/prime/), [DAPO](https://github.com/verl-project/verl-recipe/tree/main/dapo/), [DrGRPO](https://github.com/verl-project/verl-recipe/tree/main/drgrpo), [KL\_Cov & Clip\_Cov](https://github.com/verl-project/verl-recipe/tree/main/entropy) 등).
- 수학, [코딩](https://github.com/verl-project/verl-recipe/tree/main/dapo) 등을 위한 모델 기반 보상 및 함수 기반 보상(검증 가능한 보상) 지원
- Qwen2.5-vl, Kimi-VL을 활용한 비전-언어 모델(VLM) 및 [멀티모달 RL](examples/grpo\_trainer/run\_qwen2\_5\_vl\_7b\_fsdp.sh) 지원
- [도구 호출을 포함한 멀티턴(Multi-turn with tool calling)](examples/tutorial/agent\_loop\_get\_started/)
- [자기 대국 선호도 최적화 (Self-play preference optimization, SPPO)](https://github.com/verl-project/verl-recipe/tree/main/sppo)와 같은 LLM 정렬 레시피
- Flash attention 2, 시퀀스 패킹(sequence packing), DeepSpeed Ulysses를 이용한 시퀀스 병렬화, [LoRA](examples/tuning/lora/run\_qwen3\_8b\_fsdp.sh), [Liger-kernel](examples/sft/gsm8k/run\_qwen2\_5\_0\_5b\_fsdp.sh) (`USE\_LIGER=1`).
- [전문가 병렬화(expert parallelism)](https://github.com/verl-project/verl/pull/1467)를 통해 최대 671B 모델 및 수백 개의 GPU로 확장 가능
- 메모리 절약을 위한 멀티 GPU [LoRA RL](https://verl.readthedocs.io/en/latest/advance/ppo\_lora.html) 지원.
- wandb, swanlab, mlflow, tensorboard를 통한 실험 추적.
- 하드웨어 지원: NVIDIA, AMD, [Ascend](https://github.com/verl-project/verl/blob/main/docs/ascend\_tutorial/README.md) 지원
## 시작하기 (Getting Started)
[**문서 (Documentation)**](https://verl.readthedocs.io/en/latest/index.html)
\*\*빠른 시작 (Quickstart):\*\*
- [설치 (Installation)](https://verl.readthedocs.io/en/latest/start/install.html)
- [빠른 시작 (Quickstart)](https://verl.readthedocs.io/en/latest/start/quickstart.html)
- [프로그래밍 가이드 (Programming Guide)](https://verl.readthedocs.io/en/latest/hybrid\_flow.html) & [기술 발표 (Tech Talk)](https://hcqnc.xetlk.com/sl/3vACOK) (중국어)
- [verl에서의 PPO](https://verl.readthedocs.io/en/latest/algo/ppo.html)
- [verl에서의 GRPO](https://verl.readthedocs.io/en/latest/algo/grpo.html)
\*\*PPO 예제를 단계별로 실행하기:\*\*
- [사후 학습을 위한 데이터 준비 (Prepare Data for Post-Training)](https://verl.readthedocs.io/en/latest/preparation/prepare\_data.html)
- [데이터셋에 대한 보상 함수 구현 (Implement Reward Function for Dataset)](https://verl.readthedocs.io/en/latest/preparation/reward\_function.html)
- [PPO 예제 아키텍처 (PPO Example Architecture)](https://verl.readthedocs.io/en/latest/examples/ppo\_code\_architecture.html)
- [설명서 설명 (Config Explanation)](https://verl.readthedocs.io/en/latest/examples/config.html)
\*\*재현 가능한 알고리즘 베이스라인:\*\*
- [코딩 및 수학에서의 RL 성능](https://verl.readthedocs.io/en/latest/algo/baseline.html)
\*\*알고리즘 레시피 (`recipe/`):\*\*
- 선택적 워크플로우 및 베이스라인은 [`recipe/`](recipe/) 아래에 있습니다. 각 레시피 하위 디렉토리에는 의도된 `verl` 설치를 설명하는 작은 \*\*`REQUIRED\_VERL.txt`\*\* 파일이 포함되어 있습니다. 고정된 레시피는 \*\*태그 또는 고정된 git SHA\*\*를 사용하며, 롤링 레시피는 명시적인 \*\*`VERL\_COMMIT`\*\* (및 관련 서브모듈 / 레시피 폴더 SHA)을 기록하여 추측할 필요 없이 `pip install verl@git+…@`를 사용할 수 있게 합니다. 전체 색인 및 링크는 [`recipe/README.md`](recipe/README.md)를 참조하세요.
\*\*코드 설명 및 고급 사용법 (확장):\*\*
- PPO 트레이너 및 워커
- [PPO Ray 트레이너 (PPO Ray Trainer)](https://verl.readthedocs.io/en/latest/workers/ray\_trainer.html)
- [모델 엔진 (Model Engine)](https://verl.readthedocs.io/en/latest/workers/model\_engine.html)
- [엔진 워커 (Engine Workers - FSDP / Megatron-LM / Automodel / VeOmni / TorchTitan)](https://verl.readthedocs.io/en/latest/workers/engine\_workers.html)
- 고급 사용법 및 확장
- [다음 항목으로 모델 추가 (Add Models with the)]

FSDP Backend](https://verl.readthedocs.io/en/latest/advance/fsdp\_extension.html)
- [Megatron-LM 백엔드를 사용하여 모델 추가하기](https://verl.readthedocs.io/en/latest/advance/megatron\_extension.html)
- [멀티턴 롤아웃 지원](https://verl.readthedocs.io/en/latest/sglang\_multiturn/multiturn.html)
- [검색 도구 통합](https://verl.readthedocs.io/en/latest/sglang\_multiturn/search\_tool\_example.html)
- [샌드박스 퓨전 통합](https://verl.readthedocs.io/en/latest/examples/sandbox\_fusion\_example.html)
- [다른 RL(HF) 알고리즘으로 확장하기](https://verl.readthedocs.io/en/latest/advance/dpo\_extension.html)
- [Ray API 디자인 튜토리얼](https://verl.readthedocs.io/en/latest/advance/placement.html)
\*\*커뮤니티 블로그\*\*
- [추론 모델이 토큰화 깨뜨릴 때: 멀티턴 학습의 숨겨진 복잡성](https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/rlhf/verl/multi-turn/fast\_tokenization/multiturn\_tokenization\_and\_masking.md)
- [AWS SageMaker에서의 verl 배포](https://medium.com/@kaige.yang0110/run-verl-on-sagemaker-using-4x8-l40s-gpus-8e6d5c3c61d3)
- [verl x SGLang 멀티턴 코드 워크스루](https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/rlhf/verl/multi-turn/code-walk-through/readme\_EN.md)
- [verl에서 SGLang 메모리 사용량 최적화하기](https://hebiao064.github.io/rl-memory-management)
- [SGLang, verl, OpenBMB 및 징후이 대학교: 엔드투엔드 멀티턴 RLHF 개척하기](https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/rlhf/verl/multi-turn/verl-multiturn-rollout-Release.md)
- [verl 및 ROCm 통합을 통한 AMD GPU에서의 인간 피드백 기반 강화학습(RLHF)](https://rocm.blogs.amd.com/artificial-intelligence/verl-large-scale/README.html)
- [veMLP x verl ：玩转强化学习训练](https://mp.weixin.qq.com/s/7nbqxk4knMGd-hQE9ls2tA)
- [使用 verl 进行 GRPO 分布式强化学习训练最佳实践](https://www.volcengine.com/docs/6459/1463942)
- [HybridFlow verl 原文浅析](https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/rlhf/verl/readme.md)
- [最高提升 20 倍吞吐量！豆包大模型团队发布全新 RLHF 框架，现已开源！](https://team.doubao.com/en/blog/%E6%9C%80%E9%AB%98%E6%8F%90%E5%8D%8720%E5%80%8D%E5%90%9E%E5%90%90%E9%87%8F-%E8%B1%86%E5%8C%85%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%9B%A2%E9%98%9F%E5%8F%91%E5%B8%83%E5%85%A8%E6%96%B0-rlhf-%E6%A1%86%E6%9E%B6-%E7%8E%B0%E5%B7%B2%E5%BC%80%E6%BA%90)
## 성능 튜닝 가이드
온폴리시(on-policy) RL 알고리즘에서는 성능이 매우 중요합니다. 성능 최적화를 돕기 위해 상세한 [성능 튜닝 가이드](https://verl.readthedocs.io/en/latest/perf/perf\_tuning.html)를 작성했습니다.
## vLLM >= v0.8.2로 업그레이드
이제 verl은 학습 백엔드로 FSDP를 사용할 때 vLLM>=0.8.2를 지원합니다. 설치 가이드 및 추가 정보는 [이 문서](https://github.com/verl-project/verl/blob/main/docs/README\_vllm0.8.md)를 참고하세요. OOM 및 예기치 않은 오류를 유발할 수 있는 버그가 포함된 vllm 0.7.x 버전은 사용을 피해 주시기 바랍니다.
## 최신 SGLang 사용하기
SGLang은 verl과 완전히 호환되며, SGLang RL 그룹은 멀티턴 에이전트 RL, VLM RLHF, 서버 기반 RL, 부분 롤아웃을 포함한 고유한 기능 구축에 적극적으로 나서고 있습니다. 설치 가이드 및 추가 정보는 [이 문서](https://verl.readthedocs.io/en/latest/workers/sglang\_worker.html)를 참고하세요.
## FSDP2로 업그레이드
verl이 FSDP2를 전면 도입합니다! FSDP2는 PyTorch 분산 팀에서 권장하는 방식으로, 더 나은 처리량과 메모리 사용량을 제공하며 다른 기능들(예: torch.compile)과 함께 조합하여 사용할 수 있습니다. FSDP2를 활성화하려면 단순히 verl main을 사용하고 아래 옵션들을 설정하면 됩니다:
```
actor\_rollout\_ref.ref.strategy=fsdp2
actor\_rollout\_ref.actor.strategy=fsdp2
critic.strategy=fsdp2
```
또한, FSDP2 CPU 오프로딩(offloading)은 그래디언트 누적(gradient accumulation)과 호환됩니다. `actor\_rollout\_ref.actor.fsdp\_config.offload\_policy=True`를 설정하여 메모리를 절약할 수 있습니다. 자세한 내용은 https://github.com/verl-project/verl/pull/1026을 참고하세요.
## AMD 지원 (ROCm 커널)
verl은 AMD ROCm GPU(MI300X / MI325X / MI355X)에서 구동됩니다.

FSDP, FSDP2, Megatron trainer 백엔드를 지원하며, 검증된 추론 엔진으로 vLLM을 지원합니다 (SGLang 지원은 현재 개발 중입니다). 컨테이너 구동, 환경 검증 및 학습 예제에 대해서는 [AMD ROCm quick-start guide](https://github.com/verl-project/verl/blob/main/docs/amd\_tutorial/amd\_quick\_start.rst)를 참고하세요.
## Citation and acknowledgement
본 프로젝트가 도움이 되었다면, 다음 문헌을 인용해 주세요:
- [HybridFlow: A Flexible and Efficient RLHF Framework](https://arxiv.org/abs/2409.19256v2)
- [A Framework for Training Large Language Models for Code Generation via Proximal Policy Optimization](https://i.cs.hku.hk/~cwu/papers/gmsheng-NL2Code24.pdf)
```bibtex
@article{sheng2024hybridflow,
title = {HybridFlow: A Flexible and Efficient RLHF Framework},
author = {Guangming Sheng and Chi Zhang and Zilingfeng Ye and Xibin Wu and Wang Zhang and Ru Zhang and Yanghua Peng and Haibin Lin and Chuan Wu},
year = {2024},
journal = {arXiv preprint arXiv: 2409.19256}
}
```
verl은 Nemo-Aligner, Deepspeed-chat, OpenRLHF의 디자인에서 영감을 받았습니다. 본 프로젝트는 Bytedance, Anyscale, LMSys.org, [Alibaba Qwen team](https://github.com/QwenLM/), 상하이 AI Lab, 칭화대학교, UC 버클리, UCLA, UIUC, 홍콩대학교, ke.com, [All Hands AI](https://www.all-hands.dev/), [ModelBest](http://modelbest.cn/), JD AI Lab, 마이크로소프트 연구소(Microsoft Research), [StepFun](https://www.stepfun.com/), 아마존(Amazon), 링크드인(LinkedIn), 메이투안(Meituan), [Camel-AI](https://www.camel-ai.org/), [OpenManus](https://github.com/OpenManus), 샤오미(Xiaomi), 엔비디아 연구소(NVIDIA research), [Baichuan](https://www.baichuan-ai.com/home), [RedNote](https://www.xiaohongshu.com/), [SwissAI](https://www.swiss-ai.org/), [Moonshot AI (Kimi)](https://www.moonshot-ai.com/), 바이두(Baidu), 스노우플레이크(Snowflake), Skywork.ai, JetBrains, [IceSword Lab](https://www.iceswordlab.com) 등 수많은 기관의 채택과 기여로 함께 만들어지고 있습니다.
## Awesome Projects Built with `verl`
`verl`을 활용해 구축한 멋진 프로젝트를 등록하여 다른 개발자들과 공유해 보세요!
- [TinyZero](https://github.com/Jiayi-Pan/TinyZero): 추론 태스크를 위한 \*\*DeepSeek R1 Zero\*\* 레시피 재구현 ![GitHub Repo stars](https://img.shields.io/github/stars/Jiayi-Pan/TinyZero)
- [SkyThought](https://github.com/NovaSky-AI/SkyThought): NovaSky AI 팀의 Sky-T1-7B RL 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/NovaSky-AI/SkyThought)
- [simpleRL-reason](https://github.com/hkust-nlp/simpleRL-reason): SimpleRL-Zoo: 오픈 베이스 모델을 위한 제로 강화학습 조사 및 길들이기 (Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild) ![GitHub Repo stars](https://img.shields.io/github/stars/hkust-nlp/simpleRL-reason)
- [Easy-R1](https://github.com/hiyouga/EasyR1): \*\*멀티모달(Multi-modal)\*\* RL 학습 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/hiyouga/EasyR1)
- [RandOpt](https://github.com/sunrainyg/RandOpt): 뉴럴 시켓(Neural Thickets): 사전 학습된 가중치 주변에 조밀하게 분포된 다양한 태스크 전문가들 ![GitHub Repo stars](https://img.shields.io/github/stars/sunrainyg/RandOpt)
- [OpenManus-RL](https://github.com/OpenManus/OpenManus-RL): 다중 에이전트 환경을 위한 LLM 에이전트 RL 튜닝 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/OpenManus/OpenManus-RL)
- [rllm](https://github.com/agentica-project/rllm): [verl-pipeline](https://github.com/agentica-project/verl-pipeline)을 활용한 비동기 RL 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/agentica-project/rllm)
- [RAGEN](https://github.com/ZihanWang314/ragen): 범용 추론 \*\*에이전트(agent)\*\* 학습 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/ZihanWang314/ragen)
- [Search-R1](https://github.com/PeterGriffinJin/Search-R1): 추론과 \*\*검색(툴 콜, tool-call)\*\*이 상호 교차하는 LLM을 위한 RL ![GitHub Repo stars](https://img.shields.io/github/stars/PeterGriffinJin/Search-R1)
- [ReSearch](https://github.com/Agent-RL/ReSearch): 강화학습을 통한 LLM의 \*\*검색(Search)\*\* 기반 \*\*추론(Reason)\*\* 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/Agent-RL/ReSearch)
- [Skywo

rk-OR1](https://github.com/SkyworkAI/Skywork-OR1): Skywork 오픈 추론기 시리즈 ![GitHub Repo stars](https://img.shields.io/github/stars/SkyworkAI/Skywork-OR1)
- [ToRL](https://github.com/GAIR-NLP/ToRL): 도구 통합형 RL 확장 ![GitHub Repo stars](https://img.shields.io/github/stars/GAIR-NLP/ToRL)
- [Absolute Zero Reasoner](https://github.com/LeapLabTHU/Absolute-Zero-Reasoner): [추론을 위한 사람의 큐레이션 데이터가 없는 셀프 플레이 프레임워크](https://arxiv.org/abs/2505.03335) ![GitHub Repo stars](https://img.shields.io/github/stars/LeapLabTHU/Absolute-Zero-Reasoner)
- [verl-agent](https://github.com/langfengQ/verl-agent): 새로운 알고리즘 \*\*GiGPO\*\*와 함께 제공되는 \*\*장기(long-horizon) LLM/VLM 에이전트\*\*를 위한 확장 가능한 학습 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/langfengQ/verl-agent)
- [RL-Factory](https://github.com/Simple-Efficient/RL-Factory): 에이전틱 학습을 위한 쉽고 효율적인 RL 사후 학습 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/Simple-Efficient/RL-Factory)
- [ReTool](https://retool-rl.github.io/): ReTool: LLM의 전략적 도구 사용을 위한 강화 학습. 코드 공개 진행 중...
- [verl-tool](https://github.com/TIGER-AI-Lab/verl-tool): verl 기반의 통합되고 확장하기 쉬운 도구 에이전트 학습 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/TIGER-AI-Lab/verl-tool)
- [PRIME](https://github.com/PRIME-RL/PRIME): 암묵적 보상을 통한 프로세스 강화 ![GitHub Repo stars](https://img.shields.io/github/stars/PRIME-RL/PRIME)
- [MemAgent](https://github.com/BytedTsinghua-SIA/MemAgent): MemAgent: 멀티 컨텍스트 RL 기반 메모리 에이전트로 롱 컨텍스트 LLM 재구성하기 ![GitHub Repo stars](https://img.shields.io/github/stars/BytedTsinghua-SIA/MemAgent)
- [POLARIS](https://github.com/ChenxinAn-fdu/POLARIS): 고성능 추론 모델에서 RL 확장을 위한 사후 학습 레시피 ![GitHub Repo stars](https://img.shields.io/github/stars/ChenxinAn-fdu/POLARIS)
- [GUI-R1](https://github.com/ritzz-ai/GUI-R1): \*\*GUI-R1\*\*: \*\*GUI 에이전트\*\*를 위한 범용 R1 스타일 비전-언어 액션 모델 ![GitHub Repo stars](https://img.shields.io/github/stars/ritzz-ai/GUI-R1)
- [DeepRetrieval](https://github.com/pat-jj/DeepRetrieval): \*\*검색/검색 결과\*\*를 활용한 \*\*검색 에이전트\*\*의 RL 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/pat-jj/DeepRetrieval)
- [Code-R1](https://github.com/ganler/code-r1): 신뢰할 수 있는 보상을 사용하여 \*\*코드\*\*에 대한 R1 재현하기 ![GitHub Repo stars](https://img.shields.io/github/stars/ganler/code-r1)
- [DeepResearcher](https://github.com/GAIR-NLP/DeepResearcher): 실제 환경에서 강화 학습을 통한 심층 연구(deep research) 확장 ![GitHub Repo stars](https://img.shields.io/github/stars/GAIR-NLP/DeepResearcher)
- [VAGEN](https://github.com/RAGEN-AI/VAGEN): 멀티턴 강화 학습을 통한 VLM 에이전트 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/RAGEN-AI/VAGEN)
- [RM-R1](https://arxiv.org/abs/2505.02387): 추론 보상 모델의 RL 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/RM-R1-UIUC/RM-R1)
- [Dr. MAS](https://arxiv.org/pdf/2602.08847): \*\*멀티 에이전트 LLM 시스템\*\*을 위한 안정적인 \*\*엔드투엔드 RL\*\* 사후 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/langfengQ/DrMAS)
- [LUFFY](https://arxiv.org/pdf/2504.14945): 오프폴리시 가이던스 하에서의 추론 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/ElliottYan/LUFFY)
- [DeepMath](https://github.com/zwhe99/DeepMath): 수학 추론을 위한 DeepMath-103K 데이터 및 시리즈 모델 ![GitHub Repo stars](https://img.shields.io/github/stars/zwhe99/DeepMath)
- [PACS](https://github.com/ritzz-ai/PACS): RLVR을 위한 지도 학습 프레임워크 기반 암묵적 액터-크리틱 결합 ![GitHub Repo stars](https://img.shields.io/github/stars/ritzz-ai/PACS)
- [Entropy Mechanism of RL](https://github.com/PRIME-RL/Entropy-Mechanism-of-RL): 강화 학습의 엔트로피 메커니즘

대규모 언어 모델 추론을 위한 엔트로피 메커니즘![GitHub Repo stars](https://img.shields.io/github/stars/PRIME-RL/Entropy-Mechanism-of-RL)
- [LLaSA-TTS-GRPO](https://github.s/channel-io/ch-tts-llasa-rl-grpo): LLASA 모델을 기반으로 GRPO 최적화를 적용한 TTS 파인튜닝 ![GitHub Repo stars](https://img.shields.io/github/stars/channel-io/ch-tts-llasa-rl-grpo)
- [PF-PPO](https://arxiv.org/abs/2409.06957): 더 효율적이고 강건한 RLHF를 위해 보상 신호의 신뢰성을 바탕으로 PPO의 정책을 여과하는 기법
- [RACRO](https://github.com/gyhdog99/RACRO2): 쿼리 조건부 캡셔닝과 텍스트 전용 추론으로 분리하여 멀티모달 추론 모델 구축 ![GitHub Repo stars](https://img.shields.io/github/stars/gyhdog99/RACRO2)
- [Agent Lightning](https://github.com/microsoft/agent-lightning): 기존의 모든 에이전트 프레임워크에 대해 원활한 에이전트 최적화를 가능하게 하는 유연하고 확장 가능한 프레임워크 ![GitHub Repo stars](https://img.shields.io/github/stars/microsoft/agent-lightning)
- [VTool-R1](https://github.com/VTOOL-R1/vtool-r1): 멀티모달 도구 사용에 대한 강화학습을 통해 VLM이 이미지로 생각하는 법을 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/VTOOL-R1/vtool-r1)
- [Kimina-Prover-RL](https://github.com/project-numina/kimina-prover-rl/tree/main/recipe/kimina\_prover\_rl): DeepSeek-R1에서 영감을 받은 패러다임을 바탕으로 한 정형 정리 증명 학습 파이프라인
- [RL-PLUS](https://github.com/YihongDong/RL-PLUS): 하이브리드 정책 최적화를 통해 강화학습에서 LLM의 능력 경계 붕괴에 대응
- [rStar2-Agent](https://github.com/microsoft/rStar): 수학 태스크를 위해 다단계 도구 호출과 강화학습을 사용하여, rStar2-Agent-14B는 단 510회의 강화학습 단계만으로 최첨단 수준의 수학 추론 능력 달성 ![GitHub Repo stars](https://img.shields.io/github/stars/microsoft/rStar)
- [Vision-SR1](https://github.com/zli12321/Vision-SR1): 추론 분해를 통한 자체 보상 비전-언어 모델 ![GitHub Repo stars](https://img.shields.io/github/stars/zli12321/Vision-SR1)
- [SimpleVLA-RL](https://github.com/PRIME-RL/SimpleVLA-RL): SimpleVLA-RL: 강화학습을 위한 간단하지만 효과적인 비전-언어 액션 모델 ![GitHub Repo stars](https://img.shields.io/github/stars/PRIME-RL/SimpleVLA-RL)
- [Table-R1](https://github.com/Table-R1/Table-R1): Table-R1: 테이블 추론을 위한 추론 시점 스케일링 ![GitHub Repo stars](https://img.shields.io/github/stars/Table-R1/Table-R1)
- [Revisual-R1](https://github.com/CSfufu/Revisual-R1): Revisual-R1: 최적화된 콜드 스타트에서 단계별 강화학습으로 멀티모달 추론 발전시키기 ![GitHub Repo stars](https://img.shields.io/github/stars/CSfufu/Revisual-R1)
- [ARES](https://github.com/shawn0728/ARES): ARES: 난이도 인지 토큰 수준 엔트로피 셰이핑을 통한 멀티모달 적응형 추론 ![GitHub Repo stars](https://img.shields.io/github/stars/shawn0728/ARES)
- [Meta-Bandit-LLM](https://github.com/sanxing-chen/meta-bandit-llm): Meta-Bandit-LLM: 메타 밴딧 에이전트를 위한 장기(Long-horizon) 멀티턴 상호작용 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/sanxing-chen/meta-bandit-llm)
- [PokeeResearch](https://github.com/Pokee-AI/PokeeResearchOSS): PokeeResearch: 온라인의 최신 정보를 활용하여 복잡한 질문에 답하기 위해 웹 검색 및 콘텐츠 읽기 기능을 활용하는 최고 수준의 7B DeepResearch 에이전트 ![Github Repo Stars](https://img.shields.io/github/stars/Pokee-AI/PokeeResearchOSS)
- [Search Self-play](https://github.com/Alibaba-Quark/SSP): 감독 없이 에이전트 능력의 한계를 확장하기 ![GitHub Repo stars](https://img.shields.io/github/stars/Alibaba-Quark/SSP)
- [OneThinker](https://github.com/tulerfeng/OneThinker): 이미지와 비디오를 위한 올인원 추론 모델 ![GitHub Repo stars](https://img.shields.io/github/stars/tulerfeng/OneThinker)
- [OpenTinker](https://github.com/open-tinker/OpenTinker): 서비스형 에이전틱 강화학습의 대중화 ![GitHub Repo

stars](https://img.shields.io/github/stars/open-tinker/OpenTinker)
- [FlowRL](https://github.com/Xuekai-Zhu/FlowRL): 다양한 탐색과 일반화 가능한 추론을 위한 \*\*flow balance\*(흐름 균형)\*\* 기반 보상 분포 매칭 ![GitHub Repo stars](https://img.shields.io/github/stars/Xuekai-Zhu/FlowRL)
- [Logic-RL](https://github.com/Unakar/Logic-RL): 2K Tiny Logic Puzzle Dataset에서의 DeepSeek R1 Zero 재구현. ![GitHub Repo stars](https://img.shields.io/github/stars/Unakar/Logic-RL)
- [Seed-Coder](https://github.com/ByteDance-Seed/Seed-Coder): Seed-Coder의 RL 학습을 통한 경쟁적 프로그래밍 성능 향상 ![GitHub Repo stars](https://img.shields.io/github/stars/ByteDance-Seed/Seed-Coder)
- [all-hands/openhands-lm-32b-v0.1](https://www.all-hands.dev/blog/introducing-openhands-lm-32b----a-strong-open-coding-agent-model): [멀티턴 파인튜닝(multi-turn fine-tuning)](https://github.com/verl-project/verl/pull/195)으로 학습된 강력한 오픈 코딩 에이전트 모델
- [s3](https://github.com/pat-jj/s3) RL을 통한 \*\*효율적이면서도 효과적인(Efficient Yet Effective)\*\* 검색 에이전트 학습 ![GitHub Repo stars](https://img.shields.io/github/stars/pat-jj/s3)
- [Rec-R1](https://arxiv.org/pdf/2503.24289): 강화학습을 통한 생성형 대형 언어 모델과 추천 시스템의 연결
- [Explore RL Data Scaling](https://arxiv.org/abs/2503.22230): 인간 피드백 기반 강화학습(RLHF)에서의 데이터 스케일링 트렌드 및 효과 탐색
- [FIRE](https://arxiv.org/abs/2410.21236): 대형 언어 모델을 위한 정규 실행 샘플링을 활용한 강렬한 초기화
- [DQO](https://arxiv.org/abs/2410.09302): 직접 Q-함수 최적화를 통한 언어 모델의 다단계 추론 능력 향상
- [ProRL](https://arxiv.org/abs/2505.24864): 장기 강화학습을 통한 대형 언어 모델의 추론 경계 확장
- [cognition-engineering](https://github.com/gair-nlp/cognition-engineering): 테스트 타임 스케일링이 인지 공학을 이끕니다. ![GitHub Repo stars](https://img.shields.io/github/stars/gair-nlp/cognition-engineering)
- [Trust Region Preference Approximation](https://github.com/XueruiSu/Trust-Region-Preference-Approximation): LLM 추론을 위한 간단하고 안정적인 \*\*강화학습 알고리즘(reinforcement learning algorithm)\*\*. ![GitHub Repo stars](https://img.shields.io/github/stars/XueruiSu/Trust-Region-Preference-Approximation)
- [AdaRFT](https://github.com/uscnlp-lime/verl): \*\*적응형 커리큘럼 학습(Adaptive Curriculum Learning)\*\*을 통한 효율적인 강화학습 미세조정 ![GitHub Repo stars](https://img.shields.io/github/stars/uscnlp-lime/verl)
- [critic-rl](https://github.com/HKUNLP/critic-rl): 코드 생성을 위한 LLM 비평가 ![GitHub Repo stars](https://img.shields.io/github/stars/HKUNLP/critic-rl)
- [self-rewarding-reasoning-LLM](https://arxiv.org/pdf/2502.19613): \*\*생성형 보상 모델(generative reward models)\*\*을 활용한 자기 보상 및 교정 ![GitHub Repo stars](https://img.shields.io/github/stars/RLHFlow/Self-rewarding-reasoning-LLM)
- [DeepEnlighten](https://github.com/DolbyUUU/DeepEnlighten): \*\*사회적 추론(social reasoning)\*\* 작업으로 R1 재구현 및 주요 결과 분석 ![GitHub Repo stars](https://img.shields.io/github/stars/DolbyUUU/DeepEnlighten)
- [MetaSpatial](https://github.com/PzySeere/MetaSpatial): \*\*메타버스(Metaverse)\*\*를 위한 \*\*VLM\*\*의 \*\*3차원 공간 추론(3D Spatial Reasoning)\*\* 강화 ![GitHub Repo stars](https://img.shields.io/github/stars/PzySeere/MetaSpatial)
- [PURE](https://github.com/CJReinforce/PURE): \*\*신용 할당(Credit assignment)\*\*은 \*\*과정 보상 모델(process reward model)\*\*을 이용한 성공적인 강화 미세조정의 핵심입니다 ![GitHub Repo stars](https://img.shields.io/github/stars/CJReinforce/PURE)
- [cognitive-behaviors](https://github.com/kanishkg/cognitive-behaviors): 자기 개선 추론기를 가능하게 하는 인지적 행동, 혹은 고도로 효과적인 STaR의 네 가지 습관 ![GitHub Repo stars](https://img.shields.io/github/stars/kanishkg/cognitive-behaviors)
- [deepscaler](https://github.com/agentica-project/rllm/tree/deepscaler): GRPO를 이용한 반복적 컨텍스트 스케일링 ![GitHub Repo stars](https://img.sh

ields.io/github/stars/agentica-project/deepscaler)
- [DAPO](https://dapo-sia.github.io/): DeepSeek-R1-zero-32B를 능가하는 완전 오픈소스 SOTA RL 알고리즘 ![GitHub Repo stars](https://img.shields.io/github/stars/verl-project/verl)
- [NoisyRollout](https://github.com/NUS-TRAIL/NoisyRollout): 데이터 증강을 통한 시각적 추론 강화 ![GitHub Repo stars](https://img.shields.io/github/stars/NUS-TRAIL/NoisyRollout)
- [SPEAR](https://github.com/TencentYoutuResearch/SPEAR): 에이전틱 강화 학습을 위한 \*\*자기 모방(Self-imitation)\*\* 및 \*\*점진적 탐색(Progressive Exploration)\*\* (ICLR 2026) ![GitHub Repo stars](https://img.shields.io/github/stars/TencentYoutuResearch/SPEAR)
- [RuleReasoner](https://github.com/bigai-nlco/RuleReasoner): \*\*RuleReasoner:\*\* \*\*도메인 인식 동적 샘플링(Domain-aware Dynamic Sampling)\*\*을 통한 강화된 규칙 기반 추론 (ICLR 2026) ![GitHub Repo stars](https://img.shields.io/github/stars/bigai-nlco/RuleReasoner)
- [MetaphorStar](https://metaphorstar.github.io/): 엔드투엔드 \*\*시각적 강화 학습(Visual Reinforcement Learning)\*\*을 이용한 \*\*이미지 은유(Image Metaphor)\*\* 이해 및 추론 ![GitHub Repo stars](https://img.shields.io/github/stars/MING-ZCH/MetaphorStar)
- [DART-GUI](https://github.com/Computer-use-agents/dart-gui): 컴퓨터 사용 에이전트를 위한 분리된 에이전틱 RL 프레임워크, 약 2배의 학습 속도 향상 및 약 5배의 환경 활용도 달성! ![GitHub Repo stars](https://img.shields.io/github/stars/Computer-use-agents/dart-gui)
- [Rethinking OPD](https://github.com/thunlp/OPD): 대규모 언어 모델의 온폴리시 증류 재고찰: 현상학, 메커니즘 및 레시피 ![GitHub Repo stars](https://img.shields.io/github/stars/thunlp/OPD)
## 기여 가이드
[기여 가이드](CONTRIBUTING.md)를 참조하세요.
## [ByteDance Seed Team](https://team.doubao.com/) 소개
2023년에 설립된 ByteDance Seed Team은 업계 가장 진보된 AI 파운데이션 모델 구축에 전념하고 있습니다. 본 팀은 세계 수준의 연구 팀이 되어 과학과 사회의 발전에 크게 기여하는 것을 지향합니다. 다음 채널을 통해 ByteDance Seed에 대해 더 자세히 알아보실 수 있습니다👇

[![](https://img.shields.io/badge/Website-%231e37ff?style=for-the-badge&logo=bytedance&logoColor=white)](https://team.doubao.com/)
[![](https://img.shields.io/badge/WeChat-07C160?style=for-the-badge&logo=wechat&logoColor=white)](https://github.com/user-attachments/assets/469535a8-42f2-4797-acdf-4f7a1d4a0c3e)
[![](https://img.shields.io/badge/Xiaohongshu-%23FF2442?style=for-the-badge&logo=xiaohongshu&logoColor=white)](https://www.xiaohongshu.com/user/profile/668e7e15000000000303157d?xsec_token=ABl2-aqekpytY6A8TuxjrwnZskU-6BsMRE_ufQQaSAvjc%3D&xsec_source=pc_search)
[![](https://img.shields.io/badge/zhihu-%230084FF?style=for-the-badge&logo=zhihu&logoColor=white)](https://www.zhihu.com/org/dou-bao-da-mo-xing-tuan-dui/)

인재를 채용 중입니다! 에이전트를 위한 RL 분야의 인턴십이나 정규직 기회에 관심이 있으신 분은 [이메일](mailto:the.verl.project@gmail.com)로 연락해 주세요.

verl

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README