infostart-team-event-2026-usefull-links

KO | EN

gitlite — search

#python #android #machine-learning #rust #deep-learning #docker #macos #awesome #kubernetes #pytorch #security #openai #ios #open-source

infostart-team-event-2026-usefull-links

(★ 10)

Полезные ссылки на инструменты после доклада

infostart-team-event-2026-usefull-links Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

Ниже представлен список решений и инструментов в концепции «кубиков» для системного внедрения ИИ в компании.

Список составлен по итогам доклада на Infostart Team Event 2026.

### Прокси-серверы для ИИ (AI Proxy)

-  **LiteLLM** -- универсальное решение для ИИ-шлюзов: отслеживание бюджетов, ведение журналов (логов), сбор метрик и многое другое. Доступна корпоративная версия (Enterprise): <https://github.com/BerriAI/litellm>

-  **Kong AI Gateway** -- корпоративная альтернатива LiteLLM: <https://konghq.com/products/kong-ai-gateway>

-  **Bifrost AI Gateway** -- более простое решение, также имеется корпоративная версия: <https://github.com/maximhq/bifrost>

### Готовые ИИ-чаты

-  **LibreChat** -- самый универсальный вариант для внутреннего ИИ-портала с многопользовательской авторизацией и интеграциями: <https://github.com/danny-avila/LibreChat>

-  **Open WebUI** -- отличный выбор для локального развертывания (on-premise), автономной работы и запуска локальных моделей через Ollama или API, совместимое с OpenAI: <https://github.com/open-webui/open-webui>

-  **AnythingLLM** -- хороший вариант для корпоративного чата по внутренним документам и закрытых систем RAG: <https://github.com/Mintplex-Labs/anything-llm>

-  **LobeChat** -- современное локально разворачиваемое рабочее ИИ-пространство с продуманным пользовательским интерфейсом: <https://github.com/lobehub/lobe-chat>

### Векторные базы данных

-  **Qdrant** -- лучший вариант для простого старта под RAG и семантический поиск: <https://github.com/qdrant/qdrant>

-  **OpenSearch** -- оптимальный выбор, если в одной платформе нужен и корпоративный, и векторный поиск: <https://github.com/opensearch-project/OpenSearch>

-  **Weaviate** -- мощный специализированный вариант для промышленных векторных нагрузок: <https://github.com/weaviate/weaviate>

-  **Milvus** -- лучшее решение для масштабных распределенных вычислений: <https://github.com/milvus-io/milvus>

### Распознавание отсканированных документов

-  **Docling** -- один из самых сильных вариантов для разбора документов под генеративный ИИ, с поддержкой различных форматов и глубоким анализом PDF: <https://github.com/docling-project/docling>

-  **Marker** -- мощный конвертер документов в Markdown/JSON/HTML. Поддерживает PDF, изображения, PPTX, DOCX, XLSX, HTML и EPUB. Важно: автор отдельно оговаривает ограничения на коммерческое использование, это необходимо проверить перед корпоративным внедрением: <https://github.com/datalab-to/marker>

-  **Unstructured** -- отличный инструмент с открытым исходным кодом для обработки (ETL) и извлечения структурированных элементов из файлов. Особенно хорош как этап предварительной обработки перед фрагментацией текста и RAG: <https://github.com/Unstructured-IO/unstructured>

-  **MinerU** -- ориентирован на сложные документы и позиционируется как преобразователь PDF в форматы Markdown и JSON, готовые для обработки языковыми моделями (LLM): <https://github.com/opendatalab/MinerU>

-  **docling-api** -- готовый локальный бэкенд и слой API поверх конвертации документов в Markdown, с синхронным и асинхронным режимами работы, а также возможностью развертывания на процессорах (CPU) и видеокартах (GPU): <https://github.com/drmingler/docling-api>

### Инструменты фрагментации текста (Чанкеры)

-  **Docling** -- встроенная нарезка текста на основе структуры документа, а также гибридный алгоритм (HybridChunker) с разделением и слиянием фрагментов с учетом токенов и сохранением контекста для обогащения текста: <https://github.com/docling-project/docling>

-  **LangChain Text Splitters** -- стандартный базовый вариант, особенно если нужен простой и гибкий конвейер обработки: <https://github.com/langchain-ai/langchain/tree/master/libs/text-splitters>

-  **LlamaIndex Node Parsers** -- хороший выбор для работы со структурированными узлами и загрузки данных с большим объемом метаданных: <https://github.com/run-llama/llama_index>

### Тестирование и мониторинг

-  **Langfuse** -- самый универсальный вариант, объединяющий в себе контроль состояния (observability), трассировку, управление промптами, работу с наборами данных и проведение экспериментов: <https://github.com/langfuse/langfuse>

-  **Helicone** -- мощное решение для логирования, мониторинга, экспериментов с промптами и аналитики затрат и времени отклика: <https://github.com/Helicone/helicone>

-  **Arize Phoenix** -- отличный открытый инструмент для трассировки и оценки качества LLM, особенно полезен для систем RAG и рабочих процессов на базе ИИ-агентов: <https://github.com/Arize-ai/phoenix>

### Обезличивание данных

-  **Microsoft Presidio** -- базовый выбор для деидентификации персональных и медицинских данных. Умеет обнаруживать, редактировать, маскировать и анонимизировать текст, изображения и структурированные данные: <https://github.com/microsoft/presidio>

-  **OCRmyPDF** -- не является инструментом обезличивания сам по себе, но крайне полезен как этап предварительной обработки для отсканированных PDF, чтобы затем применять скрытие или анонимизацию уже к распознанному тексту: <https://github.com/ocrmypdf/OCRmyPDF>

### Контроль безопасности и ограничения (Guardrails)

-  **NVIDIA NeMo Guardrails** -- самое мощное решение на уровне фреймворка для настройки программируемых ограничений, контроля тематики, предотвращения взлома промптов (джейлбрейков), маскирования персональных данных и привязки к фактам (заземления) в RAG: <https://github.com/NVIDIA/NeMo-Guardrails>

-  **Guardrails AI** -- удобный Python-фреймворк для защиты входящих и исходящих данных, проверки структурированного вывода и оценки рисков: <https://github.com/guardrails-ai/guardrails>

-  **LLM Guard** -- набор инструментов, ориентированный на безопасность: обнаружение инъекций в промпты, фильтрация персональных данных/секретов и сканирование сгенерированных ответов: <https://github.com/protectai/llm-guard>

### Движки для запуска LLM

- **vLLM** — основной вариант для промышленного запуска моделей на GPU: 
https://github.com/vllm-project/vllm

- **SGLang** — сильная альтернатива vLLM для высоких нагрузок: 
https://github.com/sgl-project/sglang

- **llama.cpp** — лучший выбор для локального запуска, CPU и квантованных моделей: 
https://github.com/ggml-org/llama.cpp

- **Ollama** — самый простой способ быстро развернуть внутренний сервис моделей: 
https://github.com/ollama/ollama

### Инструменты распознавания речи (ASR, STT)

- **WhisperX** — быстрый ASR с пометкой времени по словам и диаризацией спикеров: https://github.com/m-bain/whisperX [github](https://github.com/m-bain/whisperX)
- **faster-whisper** — ускоренная реализация Whisper на CTranslate2, часто используется как базовый движок для сервисов распознавания: https://github.com/SYSTRAN/faster-whisper [github](https://github.com/SYSTRAN/faster-whisper)
- **whisper.cpp** — лёгкий C/C++ движок для локального распознавания, хорошо подходит для CPU, edge и закрытого контура: https://github.com/ggml-org/whisper.cpp [github](https://github.com/ggml-org/whisper.cpp)
- **whisper-asr-webservice** — готовый self-hosted REST-сервис с поддержкой Whisper, faster-whisper и WhisperX: https://github.com/ahmetoner/whisper-asr-webservice [github](https://github.com/ahmetoner/whisper-asr-webservice)
- **NVIDIA NeMo** — крупный OSS-фреймворк со speech-направлением и ASR-моделями для промышленного использования: https://github.com/NVIDIA-NeMo/NeMo [github](https://github.com/NVIDIA-NeMo/NeMo)

infostart-team-event-2026-usefull-links

infostart-team-event-2026-usefull-links Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

infostart-team-event-2026-usefull-links

infostart-team-event-2026-usefull-links Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README