MPS — информационный чат-бот школьного округа
AI-ассистент отвечает сотрудникам и семьям на вопросы о Millard Public Schools (Омаха, Небраска), используя только опубликованные сайты и документы округа.
О проекте
- Командный проект для Millard Public Schools District Office с системой поиска и оценки ответов. Около 98 000 индексированных фрагментов сайтов, PDF, файлов Drive и календарей. Пересборка после повторного скачивания — одной командой.
- Гибридный векторный поиск и BM25, разделы по школам, LLM-переранжирование, ответы с источниками и проверка фактов. Бот отвечает «не знаю», вместо того чтобы угадывать.
- 162 тестовых вопроса с трёхкратной оценкой LLM-судьёй и учётом затрат. A/B-тест выбрал переранжировщик с тем же измеренным качеством, примерно на 9% дешевле и в 2 раза быстрее.
Контекст
Командный проект для реального заказчика — Millard Public Schools District Office. Информация округа разбросана по 44 сайтам округа и школ, PDF, файлам Google Drive, Google Sites и встроенным календарям. Сотрудники не могли быстро найти ответы, а универсальный чат-бот мог их выдумать.
Задача — отвечать по собственным источникам округа, ссылаться на них и говорить «не знаю», когда ответа нет.
Воспроизводимая обработка данных
- Краулер обходит сайты округа, школ и партнёрских организаций. Автоматически пропускает страницы «не найдено», формы входа, корзины и ошибки браузера.
- Веб-страницы преобразуются в чистый Markdown. Навигация удаляется частотным фильтром без жёстких правил для отдельных макетов.
- Поддерживаются цифровые и сканированные PDF: модель компьютерного зрения распознаёт сканы постранично. Также обрабатываются файлы Google Drive и Docs, документы Office и изображения.
- Повторяющиеся события Google Calendar разворачиваются в реальные даты учебного года с учётом праздников, переносов и отмен.
- Парсеры формируют справочники сотрудников, карточки школ, политики и данные о численности учащихся. Численность проверяется по итогам исходного отчёта до записи.
- После повторного скачивания всё пересобирается одной командой без ручных исправлений. В ChromaDB хранится около 98 000 фрагментов с text-embedding-3-large, рядом — лексический индекс BM25.
Поиск и ответы
- Классификатор определяет школу или несколько школ, ограничения источников вроде «только в PDF», запросы полных списков и обычный разговор. Переформулирование создаёт несколько вариантов поиска.
- Векторный поиск и BM25 выполняются отдельно по каждой школе, чтобы небольшие школы не терялись. Критически важные результаты, например собственный справочник школы, обходят переранжировщик.
- LLM-переранжировщик фильтрует кандидатов, затем генерируется ответ со ссылками. Финальная проверка сверяет каждый факт черновика с источниками и исправляет неподтверждённое.
- Вопросы «перечисли все X» используют сформированные справочники, а не неполную поисковую выдачу. Для длинных списков сначала предлагается выбрать категорию.
Без догадок
Три уровня защищают от выдуманных ответов:
- Отказ на этапе поиска, если ничего релевантного не найдено.
- Правило в промпте, запрещающее выводы за пределами источников.
- Самопроверка, сверяющая факты с источниками.
Опубликованное расписание показывается именно как расписание, а не как фактическое состояние зданий.
Оценка и контроль затрат
- Собственный набор из 162 вопросов. Каждый ответ оценивается LLM-судьёй трижды; сохраняются история запусков и стоимость каждого вопроса.
- Между полными запусками проверяется несколько отдельных вопросов, чтобы экономить бюджет API.
- Собственный счётчик оборачивает каждый API-клиент и учитывает токены и стоимость в долларах для каждого шага диалога и этапа обработки. Цены хранятся в JSON-конфигурации. Неизвестная стоимость записывается как неизвестная, а не как $0.
- A/B-тест альтернативного переранжировщика через OpenRouter Decisions API показал то же качество при стоимости примерно на 9% ниже и скорости примерно в 2 раза выше. Этот вариант оставили.
Текущий стек: язык и тестирование
- Python 3 для бэкенда, обработки данных и системы оценки ответов.
- pytest: около 1 600 тестов; примерно 110 тестовых файлов проверяют чистые функции обработки данных без сетевых запросов и вызовов моделей. Модульные тесты Node проверяют JavaScript веб-панели.
Сбор и преобразование данных
- Selenium с undetected-chromedriver запускает настоящий Chrome для обхода сайтов. curl_cffi скачивает документы с TLS-отпечатком Chrome.
- BeautifulSoup и lxml разбирают HTML, затем markdownify преобразует его в Markdown.
- pypdf извлекает текст PDF. PyMuPDF преобразует сканированные страницы в изображения для распознавания моделью компьютерного зрения.
- python-docx и openpyxl обрабатывают документы Office.
- При разборе iCal используется python-dateutil для разворачивания RRULE и zoneinfo/tzdata для часовых поясов.
Стек поиска
- ChromaDB — локальное постоянное векторное хранилище примерно 98 000 фрагментов с эмбеддингами text-embedding-3-large.
- Лексический индекс BM25 написан с нуля, без внешней библиотеки BM25.
- Гибридный поиск объединяет векторные результаты и BM25, выполняя отдельные запросы для каждой школы.
Бэкенд и интерфейс
- Flask с Server-Sent Events передаёт ответы, этапы обработки и расход токенов в реальном времени. В панели также есть подсказки следующих вопросов и карточка расходов по каждому чату.
- Фронтенд написан на обычном JavaScript без фреймворка; marked.js отображает Markdown.
- SQLite хранит историю чатов и журнал проверки сообщений. В интерфейсе есть админ-панель, дашборд оценки и раздел Browse.
Модели и их роли
- GPT-6 Luna (OpenAI): модель по умолчанию для генерации ответов, классификации запросов, переранжирования и самопроверки. Модель и уровень рассуждений настраиваются отдельно для каждого этапа.
- Claude Haiku 5.5 (Anthropic Messages API): альтернативная чат-модель, которую можно выбрать в панели через адаптер с тем же интерфейсом.
- text-embedding-3-large (OpenAI): эмбеддинги для поиска.
- GPT-5.6 Luna: постраничное распознавание сканированных PDF, файлов Drive, изображений и вложений календаря.
- Jev 1.13 через OpenRouter Decisions API: судья переранжирования, классификатор типов сообщений и дополнительная фоновая проверка фактов. Модель отвечает на один вопрос «да/нет» по каждому фрагменту и принимает решение по вероятности. В A/B-тесте проекта альтернативный переранжировщик показал качество чат-модели при стоимости примерно на 9% ниже и скорости примерно в 2 раза выше.
- GPT-5.6 Luna: судья оценки ответов, по три голоса на ответ. Модель судьи зафиксирована, чтобы сравнивать запуски при смене основной модели бота.
- Локальная модель Qwen через Ollama: структурированное извлечение справочника программ без затрат на API.
Как менялся выбор моделей
Проект начался до выхода GPT-6 Luna. Позднее тесты показали меньшую стоимость в этой системе, после чего на неё перешли.
Затем я выбрал Haiku 5.5 для чата. Claude мне привычнее, а в моих запусках Haiku работала примерно вдвое быстрее при сопоставимой с Luna стоимости. Это сравнение относится к задачам данного проекта.