← Все проекты
Антон Рудницкий / Избранные проекты

MPS — информационный чат-бот школьного округа

AI-ассистент отвечает сотрудникам и семьям на вопросы о Millard Public Schools (Омаха, Небраска), используя только опубликованные сайты и документы округа.

О проекте

  • Командный проект для Millard Public Schools District Office с системой поиска и оценки ответов. Около 98 000 индексированных фрагментов сайтов, PDF, файлов Drive и календарей. Пересборка после повторного скачивания — одной командой.
  • Гибридный векторный поиск и BM25, разделы по школам, LLM-переранжирование, ответы с источниками и проверка фактов. Бот отвечает «не знаю», вместо того чтобы угадывать.
  • 162 тестовых вопроса с трёхкратной оценкой LLM-судьёй и учётом затрат. A/B-тест выбрал переранжировщик с тем же измеренным качеством, примерно на 9% дешевле и в 2 раза быстрее.
  • Python
  • OpenAI API
  • Claude Haiku
  • OpenRouter
  • ChromaDB
  • BM25
  • Flask/SSE
  • SQLite
  • Selenium
  • PyMuPDF
  • Ollama
  • pytest
~98 000 фрагментов44 сайта / 162 тестовых вопроса

Контекст

Командный проект для реального заказчика — Millard Public Schools District Office. Информация округа разбросана по 44 сайтам округа и школ, PDF, файлам Google Drive, Google Sites и встроенным календарям. Сотрудники не могли быстро найти ответы, а универсальный чат-бот мог их выдумать.

Задача — отвечать по собственным источникам округа, ссылаться на них и говорить «не знаю», когда ответа нет.

Воспроизводимая обработка данных

  • Краулер обходит сайты округа, школ и партнёрских организаций. Автоматически пропускает страницы «не найдено», формы входа, корзины и ошибки браузера.
  • Веб-страницы преобразуются в чистый Markdown. Навигация удаляется частотным фильтром без жёстких правил для отдельных макетов.
  • Поддерживаются цифровые и сканированные PDF: модель компьютерного зрения распознаёт сканы постранично. Также обрабатываются файлы Google Drive и Docs, документы Office и изображения.
  • Повторяющиеся события Google Calendar разворачиваются в реальные даты учебного года с учётом праздников, переносов и отмен.
  • Парсеры формируют справочники сотрудников, карточки школ, политики и данные о численности учащихся. Численность проверяется по итогам исходного отчёта до записи.
  • После повторного скачивания всё пересобирается одной командой без ручных исправлений. В ChromaDB хранится около 98 000 фрагментов с text-embedding-3-large, рядом — лексический индекс BM25.

Поиск и ответы

  • Классификатор определяет школу или несколько школ, ограничения источников вроде «только в PDF», запросы полных списков и обычный разговор. Переформулирование создаёт несколько вариантов поиска.
  • Векторный поиск и BM25 выполняются отдельно по каждой школе, чтобы небольшие школы не терялись. Критически важные результаты, например собственный справочник школы, обходят переранжировщик.
  • LLM-переранжировщик фильтрует кандидатов, затем генерируется ответ со ссылками. Финальная проверка сверяет каждый факт черновика с источниками и исправляет неподтверждённое.
  • Вопросы «перечисли все X» используют сформированные справочники, а не неполную поисковую выдачу. Для длинных списков сначала предлагается выбрать категорию.

Без догадок

Три уровня защищают от выдуманных ответов:

  1. Отказ на этапе поиска, если ничего релевантного не найдено.
  2. Правило в промпте, запрещающее выводы за пределами источников.
  3. Самопроверка, сверяющая факты с источниками.

Опубликованное расписание показывается именно как расписание, а не как фактическое состояние зданий.

Оценка и контроль затрат

  • Собственный набор из 162 вопросов. Каждый ответ оценивается LLM-судьёй трижды; сохраняются история запусков и стоимость каждого вопроса.
  • Между полными запусками проверяется несколько отдельных вопросов, чтобы экономить бюджет API.
  • Собственный счётчик оборачивает каждый API-клиент и учитывает токены и стоимость в долларах для каждого шага диалога и этапа обработки. Цены хранятся в JSON-конфигурации. Неизвестная стоимость записывается как неизвестная, а не как $0.
  • A/B-тест альтернативного переранжировщика через OpenRouter Decisions API показал то же качество при стоимости примерно на 9% ниже и скорости примерно в 2 раза выше. Этот вариант оставили.

Текущий стек: язык и тестирование

  • Python 3 для бэкенда, обработки данных и системы оценки ответов.
  • pytest: около 1 600 тестов; примерно 110 тестовых файлов проверяют чистые функции обработки данных без сетевых запросов и вызовов моделей. Модульные тесты Node проверяют JavaScript веб-панели.

Сбор и преобразование данных

  • Selenium с undetected-chromedriver запускает настоящий Chrome для обхода сайтов. curl_cffi скачивает документы с TLS-отпечатком Chrome.
  • BeautifulSoup и lxml разбирают HTML, затем markdownify преобразует его в Markdown.
  • pypdf извлекает текст PDF. PyMuPDF преобразует сканированные страницы в изображения для распознавания моделью компьютерного зрения.
  • python-docx и openpyxl обрабатывают документы Office.
  • При разборе iCal используется python-dateutil для разворачивания RRULE и zoneinfo/tzdata для часовых поясов.

Стек поиска

  • ChromaDB — локальное постоянное векторное хранилище примерно 98 000 фрагментов с эмбеддингами text-embedding-3-large.
  • Лексический индекс BM25 написан с нуля, без внешней библиотеки BM25.
  • Гибридный поиск объединяет векторные результаты и BM25, выполняя отдельные запросы для каждой школы.

Бэкенд и интерфейс

  • Flask с Server-Sent Events передаёт ответы, этапы обработки и расход токенов в реальном времени. В панели также есть подсказки следующих вопросов и карточка расходов по каждому чату.
  • Фронтенд написан на обычном JavaScript без фреймворка; marked.js отображает Markdown.
  • SQLite хранит историю чатов и журнал проверки сообщений. В интерфейсе есть админ-панель, дашборд оценки и раздел Browse.

Модели и их роли

  • GPT-6 Luna (OpenAI): модель по умолчанию для генерации ответов, классификации запросов, переранжирования и самопроверки. Модель и уровень рассуждений настраиваются отдельно для каждого этапа.
  • Claude Haiku 5.5 (Anthropic Messages API): альтернативная чат-модель, которую можно выбрать в панели через адаптер с тем же интерфейсом.
  • text-embedding-3-large (OpenAI): эмбеддинги для поиска.
  • GPT-5.6 Luna: постраничное распознавание сканированных PDF, файлов Drive, изображений и вложений календаря.
  • Jev 1.13 через OpenRouter Decisions API: судья переранжирования, классификатор типов сообщений и дополнительная фоновая проверка фактов. Модель отвечает на один вопрос «да/нет» по каждому фрагменту и принимает решение по вероятности. В A/B-тесте проекта альтернативный переранжировщик показал качество чат-модели при стоимости примерно на 9% ниже и скорости примерно в 2 раза выше.
  • GPT-5.6 Luna: судья оценки ответов, по три голоса на ответ. Модель судьи зафиксирована, чтобы сравнивать запуски при смене основной модели бота.
  • Локальная модель Qwen через Ollama: структурированное извлечение справочника программ без затрат на API.

Как менялся выбор моделей

Проект начался до выхода GPT-6 Luna. Позднее тесты показали меньшую стоимость в этой системе, после чего на неё перешли.

Затем я выбрал Haiku 5.5 для чата. Claude мне привычнее, а в моих запусках Haiku работала примерно вдвое быстрее при сопоставимой с Luna стоимости. Это сравнение относится к задачам данного проекта.