llm-structured-output-benchmarks

(★ 190)

Benchmark various LLM Structured Output frameworks: Instructor, Mirascope, Langchain, LlamaIndex, Fructose, Marvin, Outlines, etc on tasks like multi-label classification, named entity recognition, synthetic data generation, etc.

파일 탐색기

최종 버전 다운로드 (.zip)
  • .gitignore
  • config.yaml
  • LICENSE
  • main.py
  • README.md
  • requirements.txt

# 설치 가이드

1. 코드 내려받기
git clone https://github.com/stephenleo/llm-structured-output-benchmarks

깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.

cd llm-structured-output-benchmarks

방금 내려받은 프로젝트 폴더 안으로 이동합니다.

2. Python

쉬움 추천
사전 준비물
  • Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
  • Python 3 설치 시 'Add Python to PATH' 옵션을 꼭 체크하세요 (Windows).
- Multilabel classification: `python -m main generate-results`

파이썬 스크립트(또는 모듈)를 실행합니다.

- NER: `python -m main generate-results --task ner`

파이썬 스크립트(또는 모듈)를 실행합니다.

- Synthetic data generation: `python -m main generate-results --task synthetic_data_generation`

파이썬 스크립트(또는 모듈)를 실행합니다.

- Benchmarking test is run using synthetic data generated by running: `python -m data_sources.generate_dataset generate-multilabel-data`.

파이썬 스크립트(또는 모듈)를 실행합니다.

- The synthetic data is generated by sampling and combining rows from the base data to achieve multiple classes per row according to some distribution for num classes per row. See `python -m data_sources.generate_dataset generate-multilabel-data --help` for more details.

파이썬 스크립트(또는 모듈)를 실행합니다.

✅ 에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.

이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.

오늘의 추천 프로젝트

tailwindcss ★ 97,294

신속한 UI 개발을 위한 유틸리티 우선 CSS 프레임워크입니다.

TypeScript
tech-interview-handbook ★ 142,052

바쁜 소프트웨어 엔지니어를 위한 엄선된 코딩 인터뷰 준비 자료

TypeScript
skills ★ 170,812

Agent Skills을 위한 공개 저장소

Python
the-algorithm ★ 73,854

X Recommendation Algorithm의 소스 코드

Scala
vscode ★ 189,119

Visual Studio Code

TypeScript
HowToCook ★ 101,850

프로그래머를 위한 집밥 요리 가이드
// repository documentation