textgen
로컬 LLM을 위한 오픈소스 데스크톱 앱. 텍스트, 비전, 툴 콜링, OpenAI/Anthropic 호환 API. 100% 프라이버시 보장.
파일 탐색기
최종 버전 다운로드 (.zip)- bug_report_template.yml
- feature_request.md
- build-everything-tgw.yml
- build-portable-release-cuda.yml
- build-portable-release-ik-cuda.yml
- build-portable-release-ik.yml
- build-portable-release-rocm.yml
- build-portable-release-vulkan.yml
- build-portable-release.yml
- dependabot.yml
- pull_request_template.md
- github-dark.min.css
- github.min.css
- highlightjs-copy.min.css
- Inter-Italic-VariableFont_opsz,wght.ttf
- Inter-VariableFont_opsz,wght.ttf
- KaTeX_AMS-Regular.ttf
- KaTeX_AMS-Regular.woff
- KaTeX_AMS-Regular.woff2
- KaTeX_Caligraphic-Bold.ttf
- KaTeX_Caligraphic-Bold.woff
- KaTeX_Caligraphic-Bold.woff2
- KaTeX_Caligraphic-Regular.ttf
- KaTeX_Caligraphic-Regular.woff
- KaTeX_Caligraphic-Regular.woff2
- KaTeX_Fraktur-Bold.ttf
- KaTeX_Fraktur-Bold.woff
- KaTeX_Fraktur-Bold.woff2
- KaTeX_Fraktur-Regular.ttf
- KaTeX_Fraktur-Regular.woff
- KaTeX_Fraktur-Regular.woff2
- KaTeX_Main-Bold.ttf
- KaTeX_Main-Bold.woff
- KaTeX_Main-Bold.woff2
- KaTeX_Main-BoldItalic.ttf
- KaTeX_Main-BoldItalic.woff
- KaTeX_Main-BoldItalic.woff2
- KaTeX_Main-Italic.ttf
- KaTeX_Main-Italic.woff
- KaTeX_Main-Italic.woff2
- KaTeX_Main-Regular.ttf
- KaTeX_Main-Regular.woff
- KaTeX_Main-Regular.woff2
- KaTeX_Math-BoldItalic.ttf
- KaTeX_Math-BoldItalic.woff
- KaTeX_Math-BoldItalic.woff2
- KaTeX_Math-Italic.ttf
- KaTeX_Math-Italic.woff
- KaTeX_Math-Italic.woff2
- KaTeX_SansSerif-Bold.ttf
- KaTeX_SansSerif-Bold.woff
- KaTeX_SansSerif-Bold.woff2
- KaTeX_SansSerif-Italic.ttf
- KaTeX_SansSerif-Italic.woff
- KaTeX_SansSerif-Italic.woff2
- KaTeX_SansSerif-Regular.ttf
- KaTeX_SansSerif-Regular.woff
- KaTeX_SansSerif-Regular.woff2
- KaTeX_Script-Regular.ttf
- KaTeX_Script-Regular.woff
- KaTeX_Script-Regular.woff2
- KaTeX_Size1-Regular.ttf
- KaTeX_Size1-Regular.woff
- KaTeX_Size1-Regular.woff2
- KaTeX_Size2-Regular.ttf
- KaTeX_Size2-Regular.woff
- KaTeX_Size2-Regular.woff2
- KaTeX_Size3-Regular.ttf
- KaTeX_Size3-Regular.woff
- KaTeX_Size3-Regular.woff2
- KaTeX_Size4-Regular.ttf
- KaTeX_Size4-Regular.woff
- KaTeX_Size4-Regular.woff2
- KaTeX_Typewriter-Regular.ttf
- KaTeX_Typewriter-Regular.woff
- KaTeX_Typewriter-Regular.woff2
- katex.min.css
- NotoSans-Black.woff
- NotoSans-Black.woff2
- NotoSans-BlackItalic.woff
- NotoSans-BlackItalic.woff2
- NotoSans-Bold.woff
- NotoSans-Bold.woff2
- NotoSans-BoldItalic.woff
- NotoSans-BoldItalic.woff2
- NotoSans-ExtraBold.woff
- NotoSans-ExtraBold.woff2
- NotoSans-ExtraBoldItalic.woff
- NotoSans-ExtraBoldItalic.woff2
- NotoSans-ExtraLight.woff
- NotoSans-ExtraLight.woff2
- NotoSans-ExtraLightItalic.woff
- NotoSans-ExtraLightItalic.woff2
- NotoSans-Italic.woff
- NotoSans-Italic.woff2
- NotoSans-Light.woff
- NotoSans-Light.woff2
- NotoSans-LightItalic.woff
- NotoSans-LightItalic.woff2
- NotoSans-Medium.woff
- NotoSans-Medium.woff2
- NotoSans-MediumItalic.woff
- NotoSans-MediumItalic.woff2
- NotoSans-Regular.woff
- NotoSans-Regular.woff2
- NotoSans-SemiBold.woff
- NotoSans-SemiBold.woff2
- NotoSans-SemiBoldItalic.woff
- NotoSans-SemiBoldItalic.woff2
- NotoSans-Thin.woff
- NotoSans-Thin.woff2
- NotoSans-ThinItalic.woff
- NotoSans-ThinItalic.woff2
- stylesheet.css
- chat_style-cai-chat-square.css
- chat_style-cai-chat.css
- chat_style-Dark.css
- chat_style-messenger.css
- chat_style-TheEncrypted777.css
- chat_style-wpp.css
- html_instruct_style.css
- html_readable_style.css
- icon.png
- main.css
- main.js
- package.json
- preload.js
- textgen.bat
- textgen.sh
- docker-compose.yml
- Dockerfile
- docker-compose.yml
- Dockerfile
- docker-compose.yml
- Dockerfile
- docker-compose.yml
- Dockerfile
- Dockerfile
- .dockerignore
- .env.example
- 01 - Chat Tab.md
- 02 - Default and Notebook Tabs.md
- 03 - Parameters Tab.md
- 04 - Model Tab.md
- 05 - Training Tab.md
- 06 - Session Tab.md
- 07 - Extensions.md
- 08 - Additional Tips.md
- 09 - Docker.md
- 11 - AMD Setup.md
- 12 - OpenAI API.md
- 13 - Keyboard Shortcuts.md
- Image Generation Tutorial.md
- Multimodal Tutorial.md
- README.md
- Tool Calling Tutorial.md
- What Works.md
- script.py
- arnold.wav
- female_01.wav
- female_02.wav
- harvard_sentences.txt
- languages.json
- requirements.txt
- script.py
- style.css
- script.py
- script.js
- script.py
- requirements.txt
- script.py
- script.py
- README.md
- requirements.txt
- script.py
- script.py
- README.MD
- script.py
- style.css
- script.py
- outputs-will-be-saved-here.txt
- harvard_sentences.txt
- languages.json
- requirements.txt
- script.py
- style.css
- test_tts.py
- tts_preprocessor.py
- chromadb.py
- download_urls.py
- requirements.txt
- script.py
- aircraft_lease.txt
- questions.json
- english
- wordnet.zip
- averaged_perceptron_tagger.pickle
- api.py
- benchmark.py
- chat_handler.py
- chromadb.py
- config.json
- data_preprocessor.py
- data_processor.py
- download_urls.py
- notebook_handler.py
- optimize.py
- parameters.py
- README.md
- requirements.txt
- script.py
- utils.py
- readme.md
- requirements.txt
- script.js
- script.py
- highlight.min.js
- highlightjs-copy.min.js
- auto-render.js
- katex.min.js
- morphdom-umd.min.js
- dark_theme.js
- global_scope_js.js
- main.js
- save_files.js
- show_controls.js
- switch_tabs.js
- update_big_picture.js
- __init__.py
- anthropic.py
- cache_embedding_model.py
- completions.py
- embeddings.py
- errors.py
- images.py
- logits.py
- models.py
- moderations.py
- script.py
- tokens.py
- typing.py
- utils.py
- __init__.py
- grammar_utils.py
- logits_process.py
- callbacks.py
- chat.py
- evaluate.py
- exllamav3.py
- exllamav3_hf.py
- extensions.py
- html_generator.py
- image_models.py
- image_utils.py
- llama_cpp_server.py
- loaders.py
- logging_colors.py
- logits.py
- LoRA.py
- metadata_gguf.py
- models.py
- models_settings.py
- paths.py
- presets.py
- prompts.py
- reasoning.py
- sampler_hijack.py
- sane_markdown_lists.py
- shared.py
- tensorrt_llm.py
- text_generation.py
- tool_parsing.py
- tool_use.py
- torch_utils.py
- training.py
- transformers_loader.py
- ui.py
- ui_chat.py
- ui_default.py
- ui_file_saving.py
- ui_image_generation.py
- ui_model_menu.py
- ui_notebook.py
- ui_parameters.py
- ui_session.py
- utils.py
- web_search.py
- windows_subprocess.py
- requirements.txt
- requirements_amd.txt
- requirements_apple_intel.txt
- requirements_apple_silicon.txt
- requirements_cpu_only.txt
- requirements_nowheels.txt
- requirements.txt
- requirements_amd.txt
- requirements_apple_intel.txt
- requirements_apple_silicon.txt
- requirements_cpu_only.txt
- requirements_cuda131.txt
- requirements_ik.txt
- requirements_ik_cpu_only.txt
- requirements_ik_cuda131.txt
- requirements_nowheels.txt
- requirements_vulkan.txt
- Assistant.yaml
- Example.png
- Example.yaml
- place-your-extensions-here.txt
- arithmetic.gbnf
- c.gbnf
- chess.gbnf
- json.gbnf
- json_w_trailing_space.gbnf
- list.gbnf
- roleplay.gbnf
- simple_arithmetic.gbnf
- place-your-models-here.txt
- Alpaca.yaml
- ChatML.yaml
- Llama-v3.yaml
- Mistral.yaml
- Open Assistant.yaml
- Vicuna-v1.1.yaml
- place-your-loras-here.txt
- place-your-mmproj-here.txt
- place-your-models-here.txt
- Creative.yaml
- Deterministic.yaml
- Top-P.yaml
- calculate.py
- fetch_webpage.py
- get_datetime.py
- roll_dice.py
- web_search.py
- example_messages.json
- example_sharegpt.json
- example_text.json
- put-trainer-datasets-here.txt
- Default.yaml
- CMD_FLAGS.txt
- .gitignore
- cmd_linux.sh
- cmd_macos.sh
- cmd_windows.bat
- Colab-TextGen-GPU.ipynb
- download-model.py
- LICENSE
- one_click.py
- README.md
- server.py
- setup.cfg
- start_linux.sh
- start_macos.sh
- start_windows.bat
- update_wizard_linux.sh
- update_wizard_macos.sh
- update_wizard_windows.bat
🚀 설치 가이드
1. 코드 내려받기
git clone https://github.com/oobabooga/textgen
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd textgen
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Docker
쉬움 추천사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
ln -s docker/{nvidia/Dockerfile,nvidia/docker-compose.yml,.dockerignore} .
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
ln -s docker/{amd/Dockerfile,amd/docker-compose.yml,.dockerignore} .
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
ln -s docker/{intel/Dockerfile,intel/docker-compose.yml,.dockerignore} .
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
ln -s docker/{cpu/Dockerfile,cpu/docker-compose.yml,.dockerignore} .
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
cp docker/.env.example .env
이 명령어를 터미널에 그대로 입력해 실행하세요.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Node.js
쉬움사전 준비물
cd desktop
이 프로젝트의 관련 파일이 하위 폴더 안에 있어서, 먼저 그 폴더로 이동합니다.
npm install
package.json에 명시된 라이브러리들을 내려받아 설치합니다.
npm start
개발/실행 서버를 켭니다.
명령어 실행 후 터미널에 나타나는 주소(보통 http://localhost:3000 형태)를 브라우저에서 열어보세요.
4. Python
쉬움사전 준비물
python -m venv venv
파이썬 스크립트(또는 모듈)를 실행합니다.
pip install -r requirements/portable/requirements.txt --upgrade
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
pip install -r requirements/full/<requirements file according to table below>
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
pip install -r <requirements file that you have used> --upgrade
requirements.txt 등에 명시된 파이썬 라이브러리를 설치합니다.
에러 메시지 없이 실행되고 터미널에 안내 문구가 출력되면 정상입니다.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
// repository documentation
Was this content helpful?
(0 ratings)