Фонд оценочных средств по дисциплине «Модели и методы интеллектуального поиска»

Этот репозиторий предназначен для открытого и воспроизводимого представления фонда оценочных средств (ФОС) по дисциплине «Модели и методы интеллектуального поиска». Здесь объединены рабочая программа дисциплины, модель измерения результатов обучения, контрольно-измерительные материалы (КИМ), критерии оценивания, методические рекомендации и используемые образовательные ресурсы. Результаты обучения связываются с компетентностно-ролевой моделью в области искусственного интеллекта (КРМ версии 3.0).

Быстрая навигация

• Рабочая программа дисциплины
• Методические указания
• Информационные ресурсы
• Команда проекта
• Контроль качества репозитория

1. О дисциплине

Цель дисциплины: сформировать у студентов теоретические знания и практические навыки разработки, настройки и оценки интеллектуальных поисковых систем, использующих методы машинного обучения, обработки естественного языка, векторного поиска, больших языковых моделей и RAG подходов для решения прикладных задач информационного поиска и поддержки принятия решений.

Основные задачи:

• освоить принципы построения современных интеллектуальных поисковых систем и технологий информационного поиска, изучить методы и алгоритмы обработки естественного языка, применяемые в поиске;
• освоить современные подходы NLP, эмбеддингов и семантического поиска;
• научиться проектировать и реализовывать RAG-сценарии на основе текстового корпуса;
• развить навыки применения методов классификации, кластеризации и анализа текста;
• получить опыт работы с инструментами и библиотеками для разработки интеллектуальных поисковых систем;
• изучить методы анализа и интерпретации результатов работы моделей;
• сформировать способность оценивать качество поисковой выдачи с помощью метрик;
• сформировать понимание этических аспектов использования персональных данных и конфиденциальности в поисковых системах.

Структура и содержание. Дисциплина состоит из 5 модулей.

• Модуль 1. Введение в интеллектуальный поиск.
• Модуль 2. Машинное обучение в поиске.
• Модуль 3. Обработка естественного языка для поисковых систем.
• Модуль 4. Глубокое обучение и нейросетевые подходы.
• Модуль 5. Специализированные виды поиска.

Обучение включает лекции, лабораторные работы и работу над проектом. Итоговая оценка формируется по совокупности следующих компонентов:

• промежуточные тестовые задания по темам дисциплины;
• защита лабораторных работ, являющихся этапами сквозного проекта по разработке поисковой системы;
• защита проекта с демонстрацией работоспособности системы, документации, репозитория;
• экзамен.

Пререквизиты дисциплины:

• «Технологии создания программных продуктов» (LC-3),
• «Машинное обучение» (ML-2, ML-3),
• «Рекомендательные системы» (LC-3, ML-2, ML-3).

Кореквизиты дисциплины:

• «Технологии обработки естественного языка» (ML-2).

Постреквизиты дисциплины:

• «Системы поддержки принятия решений» (LC-3, ML-3).

Планируемые результаты обучения. По завершении дисциплины обучающийся сможет

• проектировать и реализовывать RAG-сценарии;
• применять методы обработки естественного языка к данным;
• разрабатывать прототипы интеллектуальных поисковых систем;
• оценивать качество поисковой выдачи и интерпретировать результаты;
• выбирать и настраивать архитектуры ранжирования под задачу;
• обеспечивать этичное использование данных в поисковых системах.

Полное описание приведено в РПД.

2. Модель измерения

№	Модуль / элемент	Код и название компетенции	Индикатор	Уровень	Дескриптор освоения	Форма контроля	КИМ	Ресурсы
1	Модуль 1	ML-2	ML-2.3	С	Способен применять различные типы кросс-валидации и оценивать качество моделей ранжирования с учетом компромисса между смещением и дисперсией (недообучением и переобучением)	Рубежная	ссылка ссылка ссылка ссылка	ссылка
2	Модуль 1	ML-3	ML-3.2	С	Умеет реализовывать базовые компоненты поисковой системы: строить инвертированный индекс, настраивать полнотекстовый поиск и применять классические модели ранжирования на тестовом корпусе данных	Текущая	ссылка ссылка ссылка	ссылка
3	Модуль 2	ML-2	ML-2.1	С	Способен выбирать и обосновывать методы решения задач машинного обучения с учётом характеристик данных и бизнес-контекста, настраивать базовые модели ранжирования и проводить их оценку на отложенной выборке	Рубежная	ссылка ссылка ссылка	ссылка
4	Модуль 2	ML-2	ML-2.2	С	Способен формировать векторные представления текстов с помощью эмбеддингов, реализовывать семантический поиск через вычисление косинусного сходства в пространстве документов	Текущая	ссылка ссылка	ссылка
5	Модуль 2	ML-3	ML-3.2	С	Умеет разрабатывать и обучать алгоритм машинного обучения для задачи точечного или попарного ранжирования, используя признаки запроса, документа и поведения пользователей	Текущая	ссылка ссылка	ссылка
6	Модуль 3	ML-3	ML-3.1	С	Умеет выполнять полный цикл предобработки текстового корпуса (токенизация, лемматизация, удаление стоп-слов), извлекать статистические признаки текста для задач поиска	Текущая	ссылка ссылка ссылка ссылка	ссылка ссылка
7	Модуль 3	ML-3	ML-3.2	С	Умеет применять алгоритмы кластеризации для группировки схожих документов и методы классификации для фильтрации нерелевантной выдачи	Текущая	ссылка ссылка ссылка	ссылка
8	Модуль 3	LC-3	LC-3.1	С	Умеет интегрировать инструменты обработки естественного языка в пайплайн подготовки поисковых запросов и индексации документов	Текущая	ссылка ссылка	ссылка ссылка
9	Модуль 4	ML-3	ML-3.1	С	Умеет настраивать и использовать нейросетевые архитектуры трансформеров для извлечения контекстных эмбеддингов и построения вектора признаков запроса	Текущая	ссылка ссылка ссылка	ссылка ссылка
10	Модуль 4	ML-2	ML-2.2	С	Владеет методами генерации признаков (отбор, создание и преобразование признаков)	Рубежная	ссылка ссылка ссылка	ссылка ссылка
11	Модуль 4	LC-3	LC-3.1	С	Применяет различные принципы и паттерны при проектировании архитектуры систем ИИ	Рубежная	ссылка ссылка ссылка ссылка ссылка	ссылка ссылка
12	Модуль 5	ML-3	ML-3.1	С	Способен обосновывать способы применения классических методов МО к специализированным видам поиска (персонализация, мультимодальность), адаптируя их математическую логику под новые типы входных данных	Рубежная	ссылка ссылка ссылка	ссылка ссылка
13	Модуль 5	ML-3	ML-3.2	С	Умеет эффективно применять классические методы и модели МО для обеспечения достижимости функциональных характеристик систем ИИ	Рубежная	ссылка ссылка ссылка	ссылка ссылка
14	Модуль 5	ML-3	ML-3.3	С	Умеет оценивать результативность применения классических методов и моделей МО в задачах ИИ на основе сопоставления с аналогами	Рубежная	ссылка ссылка	ссылка ссылка
15	Экзамен					Промежуточная	ссылка	ссылка

3. Контрольно-измерительные материалы

• Модуль 1 — описание КИМ для первого модуля;
• Модуль 2 — описание КИМ для второго модуля;
• Модуль 3 — описание КИМ для третьего модуля;
• Модуль 4 — описание КИМ для четвертого модуля;
• Модуль 5 — описание КИМ для пятого модуля;
• Проектная работа — интегральный КИМ по нескольким результатам обучения;
• Экзамен — промежуточная аттестация.

4. Методические материалы

• Рекомендации обучающимся;
• Рекомендации преподавателям по оцениванию.

5. Команда

Сведения об авторах, ролях и вкладе участников размещены в разделе «Команда проекта».

6. Лицензия

Материалы репозитория распространяются на условиях лицензии Creative Commons Zero v1.0 Universal.

При использовании и адаптации материалов необходимо указывать авторов и источник.