Описание
Самостоятельно размещаемый AI стек — это платформа с открытым исходным кодом, предназначенная для пользователей, которые хотят запускать AI модели, чаты, обработку документов и голосовые инструменты на своей собственной инфраструктуре. Платформа построена с использованием Docker Compose, что позволяет легко развертывать её на локальных или облачных серверах Linux. Пользователи могут выбрать развертывание легковесного стека или настроить свою конфигурацию в соответствии с конкретными потребностями.
Читать далее
Стек поддерживает запуск локальных AI моделей с InferCrate, работающим на базе Ollama, и предоставляет возможности чата через AnythingLLM в браузере. Обработка и извлечение документов осуществляется с помощью ParseCrate и EmbedCrate, работающих на базе Docling, что позволяет выполнять семантический поиск и повторную сортировку.
Для обработки аудио ScribeCrate предлагает услуги транскрипции, в то время как SpeakCrate, работающий на базе Kokoro, предоставляет возможности синтеза речи. Платформа также включает GatewayCrate для маршрутизации запросов к моделям и UplinkCrate для подключения поддерживаемых инструментов.
Безопасность является приоритетом, новые развертывания генерируют API ключи и настраивают защиту паролем для AnythingLLM. Платформа лицензирована по MIT, и хотя само программное обеспечение бесплатно, пользователи могут понести расходы на оборудование, облачный хостинг или внешних поставщиков.
Самостоятельно размещаемый AI стек идеально подходит для разработчиков, системных администраторов, пользователей домашних лабораторий и небольших команд, стремящихся к частной AI платформе, которую они могут понять, обеспечить безопасность и уверенно эксплуатировать. Гибкость платформы и акцент на конфиденциальность делают её привлекательным выбором для тех, кто хочет сохранить контроль над своей AI инфраструктурой.
- КатегорияПлатформы машинного обучения
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеDocker Compose
- ПлатформыLinux
Основные функции Самостоятельно размещаемый AI стек
Проект с открытым исходным кодом на Docker Compose
Запуск локальных AI моделей и чатов
Обработка и извлечение документов
Транскрипция аудио и синтез речи
Гибкие варианты развертывания
Опциональное ускорение NVIDIA GPU
Лицензия MIT
API ключи и защита паролем
Как использовать Самостоятельно размещаемый AI стек?
Развертывание: Настройте Docker Compose на вашем сервере
Конфигурация: Выберите сервисы и настройте параметры
Запуск: Запустите локальные модели и инструменты
Безопасность: Реализуйте API ключи и защиту паролем
Варианты использования Самостоятельно размещаемый AI стек
- Развертывание локальных AI моделей
- Частные чат-приложения
- Интеллект документов
- Обработка голоса
- Интеграция пользовательских AI инструментов
