Семинар СПбГУ -- 2024.10.30 -- Что происходит в AI сегодня

Бизнесу нужен калькулятор? Создайте в uCalc!
20 Просмотры

  • Спасибо! Поделитесь с друзьями!

    Вам не понравилось видео. Спасибо за то что поделились своим мнением!

admin
Издатель
Это запись семинара, проведённого в Центре искусственного интеллекта СПбГУ 9 октября 2024 года. Название и абстракт:

Что происходит в AI сегодня: научные направления и результаты

Какие направления исследований определяют сегодняшний искусственный интеллект, что нового и интересного появилось за последние годы, кроме увеличения масштабов языковых моделей — а точнее, в дополнение к этому? Мы поговорим о нескольких интересных направлениях:
-- как дообучать большие языковые модели для конкретных задач;
-- как увеличить длину контекста трансформера;
-- как сочетать порождающую модель с поиском (retrieval-augmented generation);
-- разберём появившиеся полгода назад сети Колмогорова-Арнольда как пример нового направления в глубоком обучении;
-- а закончим тем, где я сам в этом потоке, то есть кратким обзором моих публикаций за 2024 год.
Доклад носит более технический характер, чем предыдущий, но тоже является обзорным и не слишком сложным для понимания.

Этот доклад призван дополнять и расширять рассказанное в первом докладе ("Мечтаем ли мы об AGI") с более научной стороны.
Ссылка на предыдущий доклад: https://www.youtube.com/watch?v=6E8JUchlKSg

Слайды обеих лекций выложены как дополнительные материалы к курсам, например:
https://logic.pdmi.ras.ru/~sergey/teaching/mlspsu2023.html

Разделы:
00:00 Введение
03:48 Архитектура трансформера: self-attention
22:37 Позиционные вложения, BERT и GPT
34:02 Дообучение LLM: введение, RLHF
39:42 Низкоранговые приближения: LoRA
46:45 Instruction tuning
01:01:20 Вопросы про дообучение
01:03:10 Расширение длины контекста: разреженное внимание
01:09:35 Низкоранговые разложения
01:12:05 Линейное внимание и трансформеры как RNN
01:23:20 Вопросы про расширение контекста
01:26:04 Перерыв
01:26:25 RAG: идея и простые подходы
01:31:34 Агентный RAG, иерархические подходы
01:38:33 R[e]ALM: RAG на уровне языковой модели
01:39:45 Проблемы RAG
01:43:05 Графы знаний и RAG
01:48:40 Вопросы о RAG
01:50:55 Сети Колмогорова-Арнольда: идея и разложение
01:56:42 Сплайны
01:57:55 Сети Колмогорова-Арнольда (KAN)
02:01:33 Ускорение KAN
02:03:44 KAN сегодня
02:06:22 Вопросы о KAN
02:07:03 Обзор моих работ за 2024
02:07:35 Распознавание AI-порождённых текстов
02:12:15 Улучшение работы LLM
02:16:25 Рекомендательные системы
02:20:34 Информационный поиск
02:25:30 Датасет для квантовой механики
02:27:23 Вопросы и заключение
Категория
Бизнес
Комментариев нет.