autoresearch

KO | EN

gitlite — search

#javascript #react #ai #typescript #golang #android #rust #java #nodejs #cli #vue #awesome-list #security #openai

(★ 93,952)

단일 GPU nanochat 학습에 대한 연구를 자동으로 실행하는 AI 에이전트

autoresearch 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# autoresearch

![teaser](https://raw.githubusercontent.com/karpathy/autoresearch/master/progress.png)

*언젠가 최첨단 AI 연구는 식사, 수면, 기타 여가 활동을 하고 "그룹 미팅"이라는 음파 상호 연결 의식을 통해 가끔 동기화하는 탄소 기반 컴퓨터(meat computer)들에 의해 수행되곤 했습니다. 그 시대는 이미 오래전에 지나갔습니다. 이제 연구는 하늘에 떠 있는 연산 클러스터 메가스트럭처 전반에서 실행되는 자율적인 AI 에이전트 군단의 전유물이 되었습니다. 에이전트들은 우리가 현재 코드베이스의 10,205세대에 도달했다고 주장하지만, "코드"가 이제 인간의 이해를 넘어선 자기 수정형 바이너리가 되었기 때문에 그것이 맞는지 틀린지 누구도 알 수 없습니다. 이 저장소는 그 모든 것의 시작에 대한 이야기입니다. -@karpathy, 2026년 3월*.

아이디어: AI 에이전트에게 작지만 실제 작동하는 LLM 학습 환경을 제공하고 밤새도록 자율적으로 실험하게 합니다. 코드를 수정하고, 5분 동안 학습한 뒤, 결과가 개선되었는지 확인하고, 유지하거나 폐기하며 이를 반복합니다. 아침에 일어나면 실험 로그와 (바라건대) 더 나은 모델을 마주하게 됩니다. 여기에 있는 학습 코드는 [nanochat](https://github.com/karpathy/nanochat)의 단순화된 단일 GPU 구현입니다. 핵심 아이디어는 연구원으로서 평소처럼 Python 파일을 직접 건드리지 않는다는 것입니다. 대신, AI 에이전트에게 컨텍스트를 제공하고 자율 연구 조직을 설정하는 `program.md` 마크다운 파일을 프로그래밍하게 됩니다. 이 저장소의 기본 `program.md`는 의도적으로 최소한의 뼈대만 갖춘 기준선으로 유지되었지만, 가장 빠른 연구 진척도를 달성하는 "연구 조직 코드"를 찾기 위해 시간이 지남에 따라 이를 어떻게 개선할지, 에이전트를 어떻게 더 추가할지 등은 자명합니다. 이 프로젝트에 대한 조금 더 자세한 맥락은 [이 트윗](https://x.com/karpathy/status/2029701092347630069)과 [이 트윗](https://x.com/karpathy/status/2031135152349524125)에서 확인할 수 있습니다.

## 작동 방식

이 저장소는 의도적으로 작게 유지되었으며 실제로 중요한 파일은 다음 세 개뿐입니다.

- **`prepare.py`** — 고정된 상수, 일회성 데이터 준비(학습 데이터 다운로드, BPE 토크나이저 학습), 그리고 런타임 유틸리티(데이터로더, 평가). 수정되지 않음.
- **`train.py`** — 에이전트가 편집하는 단일 파일. 전체 GPT 모델, 옵티마이저(Muon + AdamW), 학습 루프를 포함합니다. 아키텍처, 하이퍼파라미터, 옵티마이저, 배치 크기 등 모든 것이 수정 대상입니다. **이 파일은 에이전트에 의해 편집되고 반복 수정됩니다**.
- **`program.md`** — 에이전트 하나를 위한 기본 지침. 에이전트를 이 파일을 향하게 하고 실행시키세요. **이 파일은 인간에 의해 편집되고 반복 수정됩니다**.

설계에 따라, 학습은 컴퓨팅 성능의 세부 사항과 관계없이 **고정된 5분 시간 예산**(시작/컴파일 제외, 실제 경과 시간 기준) 동안 실행됩니다. 평가지표는 **val_bpb**(검증 바이트당 비트 수)입니다 — 낮을수록 좋으며, 어휘 크기와 무관하여 아키텍처 변경 사항을 공정하게 비교할 수 있습니다.

신경망을 처음 접한다면, 이 ["멍청이를 위한 가이드"(Dummy's Guide)](https://x.com/hooeem/status/2030720614752039185)가 더 많은 맥락을 이해하는 데 꽤 좋아 보입니다.

## 빠른 시작

**요구 사항:** 단일 NVIDIA GPU (H100에서 테스트됨), Python 3.10+, [uv](https://docs.astral.sh/uv/).

```bash

# 1. uv 프로젝트 관리자 설치 (아직 설치하지 않은 경우)
curl -LsSf https://astral.sh/uv/install.sh | sh

# 2. 의존성 설치
uv sync

# 3. 데이터 다운로드 및 토크나이저 학습 (일회성, ~2분)
uv run prepare.py

# 4. 단일 학습 실험 수동 실행 (~5분)
uv run train.py
```

위의 명령들이 모두 정상적으로 작동한다면, 설정이 완료된 것이며 자율 연구 모드로 진입할 수 있습니다.

## 에이전트 실행하기

이 저장소에서 Claude/Codex나 원하는 무엇이든 간단히 실행하고(모든 권한 허용), 다음과 같이 프롬프트를 입력하면 됩니다:

```
Hi have a look at program.md and let's kick off a new experiment! let's do the setup first.
```

`program.md` 파일은 본질적으로 초경량 "스킬"입니다.

## 프로젝트 구조

```
prepare.py      — 상수, 데이터 준비 + 런타임 유틸리티 (수정 금지)
train.py        — 모델, 옵티마이저, 학습 루프 (에이전트가 수정함)
program.md      — 에이전트 지침
pyproject.toml  — 의존성
```

## 설계 선택

- **수정할 단일 파일.** 에이전트는 오직 `train.py`만 건드립니다. 이를 통해 범위를 관리 가능한 수준으로 유지하고 diff를 검토하기 쉽게 만듭니다.
- **고정된 시간 예산.** 학습은 특정 플랫폼과 상관없이 항상 정확히 5분 동안 실행됩니다. 즉, 시간당 약 12회의 실험을 수행할 수 있으며 자는 동안 약 100회의 실험을 수행할 수 있습니다. 이 설계 결정에는 두 가지 장점이 있습니다. 첫째, 에이전트가 무엇을 변경하든(모델 크기, 배치 크기, 아키텍처 등) 실험을 직접 비교할 수 있게 해줍니다. 둘째, autoresearch가 해당 시간 예산 내에서 여러분의 플랫폼에 가장 최적화된 모델을 찾아준다는 뜻입니다. 단점은 여러분의 실행 결과(및 결과물)를 다른 연산 플랫폼에서 실행하는 다른 사람들의 결과와 비교할 수 없게 된다는 점입니다.
- **독립형 구조.** PyTorch와 몇 개의 작은 패키지 외에는 외부 의존성이 없습니다. 분산 학습도, 복잡한 설정도 없습니다. 하나의 GPU, 하나의 파일, 하나의 지표.

## 플랫폼 지원

이 코드는 현재 단일 NVIDIA GPU를 요구합니다. 원칙적으로 CPU, MPS 및 기타 플랫폼을 지원하는 것도 충분히 가능하지만, 이는 코드의 덩치를 키울 뿐입니다. 지금 당장 개인적으로 이 작업을 맡고 싶을지 100% 확신할 수는 없습니다. 사람들은 더 넓은 플랫폼 지원을 제공하고 다양한 솔루션(예: Flash Attention 3 커널 폴백 구현, 일반 장치 지원, 자동 감지 등)을 보여주는 전체/상위 nanochat 저장소를 참조(또는 에이전트가 참조하도록)할 수 있습니다. 다른 플랫폼을 위한 포크나 토론을 자유롭게 생성해 주시면 README의 새로운 주목할 만한 포크 섹션 등에 기꺼이 링크해 드리겠습니다.

H100보다 훨씬 작은 연산 플랫폼에서 autoresearch를 조작하는 데 관심이 많은 것으로 보이므로, 몇 마디 더 덧붙입니다. 더 작은 컴퓨터(Macbook 등)에서 autoresearch를 실행해 보려면 아래 포크 중 하나를 권장하는 바입니다. 이와 더불어, 의욕적인 포크 개발자들을 위해 훨씬 더 작은 모델에 맞게 기본값을 조정하는 몇 가지 권장 사항은 다음과 같습니다.

1. 그나마 쓸만한 결과를 얻으려면 엔트로피가 훨씬 적은 데이터셋을 사용하는 것이 좋습니다. 예를 들어 이 [TinyStories 데이터셋](https://huggingface.co/datasets/karpathy/tinystories-gpt4-clean)을 추천합니다. 이는 GPT-4가 생성한 짧은 이야기들입니다. 데이터의 범위가 훨씬 좁기 때문에, (학습 후 샘플링을 시도해보면) 훨씬 더 작은 모델로도 합리적인 결과를 볼 수 있습니다.
2. `vocab_size`를 줄이는 실험을 해볼 수 있습니다. 예를 들어 8192에서 4096, 2048, 1024로 낮추거나, 혹은 utf-8 인코딩 후 가능한 256바이트를 사용하는 단순 바이트 수준 토크나이저를 쓸 수도 있습니다.
3. `prepare.py`에서 컴퓨터에 따라 `MAX_SEQ_LEN`을 256 등으로 대폭 낮추고 싶을 것입니다. `MAX_SEQ_LEN`을 낮추면서, 보상을 위해 `train.py`의 `DEVICE_BATCH_SIZE`를 약간 늘리는 실험을 하고 싶어질 수 있습니다. 순방향/역방향 패스당 토큰 수는 이 두 값의 곱입니다.
4. 또한 `prepare.py`에서 `EVAL_TOKENS`를 줄여서, 훨씬 적은 데이터로 검증 손실이 평가되도록 해야 합니다.
5. `train.py`에서 모델 복잡도를 제어하는 주요 단일 노브(knob)는 `DEPTH`(여기서는 기본값 8)입니다. 많은 변수들이 이에 대한 함수이므로, 예를 들어 4 등으로 낮출 수 있습니다.
6. "SSSL"은 매우 비효율적일 수 있는 교대 밴드형 어텐션 패턴(alternating banded attention pattern)을 사용하므로, `WINDOW_PATTERN`을 그냥 "L"로 사용하는 것이 가장 좋습니다. 시도해 보세요.
7. `TOTAL_BATCH_SIZE`를 크게 낮추되, `2**14` (~16K) 정도까지 2의 거듭제곱으로 유지하는 것이 좋습니다. 정확히 어느 정도가 좋을지 알기는 어렵습니다.

이것들이 가지고 놀기 합리적인 하이퍼파라미터일 것이라고 생각합니다. 좋아하는 코딩 에이전트에 도움을 요청하고 이 가이드와 전체 소스 코드를 복사해서 붙여넣으세요.

## 주목할 만한 포크

- [miolini/autoresearch-macos](https://github.com/miolini/autoresearch-macos) (MacOS)
- [trevin-creator/autoresearch-mlx](https://github.com/trevin-creator/autoresearch-mlx) (MacOS)
- [jsegov/autoresearch-win-rtx](https://github.com/jsegov/autoresearch-win-rtx) (Windows)
- [andyluo7/autoresearch](https://github.com/andyluo7/autoresearch) (AMD)

## 라이선스

MIT

autoresearch

autoresearch 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

autoresearch

autoresearch 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README