Задача

Задеплоить систему LLM/RAG на VPS (Docker Compose, Postgresql + Vespa)

Дедлайн 19 мая 2024Открыто 13 дней назад0 откликов

Суть задачи

Мы работаем над чат-ботом для просителей убежища. Система основана на системе индексации доков Danswer. Стак работает но глючит, после апдейтов база слетает и трудно её поднять заново. Так же необходимо поднять компоненты в локале для работы и модификаций.

ℹ️Что делает система:
1. Скрейпит ресурсы с информацией по запросу убежища в странах ЕС
2. Осуществляет RAG search + answer generation при помощи LLM
3. Инфа доступна через ТГ-бот, ну и потенциально через веб интерфейс.
Цель — разгрузить операторов НКО предоставляя ответы на частые вопросы.

🔧Стак:
Docker compositor
PostgreSQL
Alembic
Vespa
Всё крутится на VPS Ubuntu 22.04

📋Конкретно необходимо:
1. Разобраться почему слетает база (мигратор Alembic неправильно пишет версию, и из-за конфликтов отказывается применять новые патчи)
2. Создать кастомную конфигурацию докера под dev
3. Накатать скрипты для миграции данных db из dev в prod
По минималке — база больше не будет слетать после ребейса с danswer, и новых докер билдов. В идеале — будет настроен рабочий dev environment.

🥇В плане вознаграждения смогу проконсультировать по тому как свалить в ЕС и вписать в Марселе, на юге Франции.

Этапы

1Публикация
2Поиск
3В работе
4Закрытие
5Отзывы
Черновик

Комментарии