Поисковый запрос «Как починить кран?» может вернуть первой ссылкой статью об устранении протечки смесителя. Ни одного общего слова в запросе и тексте нет. Причина в том, что языковые модели работают не с буквами, а с векторами, которые кодируют смысл. Такие векторы называют эмбеддингами. Они лежат в основе поиска, рекомендаций и чат-ботов по документам.

От текста к числам

Компьютер работает только с числами, поэтому текст сначала делят на токены. Токен — это слово или часть слова. Каждому токену присваивают номер в словаре. Например, слову «кошка» может соответствовать номер 18342, слову «кот» — номер 51907.

Номер не отражает смысл. В числовом порядке «кошка» и «кот» стоят далеко друг от друга, а соседом «кошки» может оказаться «кошелёк». Складывать и сравнивать такие номера бессмысленно.

Альтернатива — представление one-hot. Каждому слову соответствует строка из нулей длиной во весь словарь с единицей на месте этого слова. Недостаток очевиден: любые два слова одинаково далеки друг от друга. «Кошка» так же не похожа на «кота», как на «холодильник».

Нужно представление, которое будет коротким, плотным и расположит близкие по смыслу слова рядом. Таким представлением и является эмбеддинг. Термин происходит от английского embedding, что буквально означает «вложение». Слова как бы вкладываются в пространство.

Пространство смыслов

Представим карту, где каждое слово имеет координаты. Одна ось показывает, насколько объект живой. Другая — насколько он большой. Мышь, кошка, собака и слон располагаются справа, по росту. Чайник и грузовик — слева.

В этой системе «кошка» описывается двумя числами: 0,9 и 0,2. Их можно изобразить точкой или стрелкой из центра координат. Стрелка называется вектором, поэтому эмбеддинги также называют векторами.

Двух осей недостаточно. «Тигр» и «кошка» на такой карте почти совпадают. Добавление третьей оси («домашний» или «дикий») разводит их. Каждая новая ось добавляет число и различие, которое модель может учитывать.

Реальные модели используют сотни и тысячи осей. Размерность эмбеддингов составляет 768, 1024 или более 3000 чисел. Такое пространство невозможно нарисовать, но математика в нём совпадает с математикой плоской карты.

Важно учитывать, что в реальной модели оси не имеют названий вроде «живое» или «большое». Модель самостоятельно решает, как распределить смысл по числам. Одно свойство обычно распределено по многим осям одновременно. Значение имеет положение точки в целом, а не отдельное число.

Как измерить сходство

Расстояние между точками часто не отражает близость по смыслу. Длина вектора зависит от факторов, не связанных со значением слова, например от частоты слова в обучающих данных. Вектор может стать длиннее, при этом его направление не изменится.

Поэтому сходство измеряют углом между векторами, точнее косинусом угла:

• векторы направлены в одну сторону: косинус равен 1;
• векторы перпендикулярны: косинус равен 0, общего смысла нет;
• векторы направлены в противоположные стороны: косинус равен −1.

Косинусное сходство вычисляют так: перемножают соответствующие координаты векторов, складывают результаты и делят на произведение длин векторов.

Для слов «кошка» и «котёнок» значение будет высоким, для «кошки» и «собаки» — ниже, для «кошки» и «холодильника» — низким.

Неочевидная деталь: в реальных моделях даже не связанные между собой тексты часто дают значение не 0, а, например, 0,3. Поэтому оценивают не абсолютное значение, а относительное: какая пара ближе, а какая дальше.

Главное: эмбеддинг — это точка в пространстве смыслов. Похожесть — это угол между точками, если смотреть из центра.

Как модель расставляет точки

Никто не задаёт координаты слов вручную. Метод опирается на идею лингвиста Джона Руперта Фёрта, сформулированную в 1957 году: слово можно понять по его окружению.

Рассмотрим фразы с пропуском. На место пропуска подходят «чай», «кофе» и «какао». Слова с похожим окружением обычно имеют близкий смысл, поэтому их точки должны располагаться рядом.

В 2013 году компания Google разработала модель Word2Vec, которая сделала эмбеддинги широко известными. Процесс обучения устроен следующим образом:

1. Каждому слову присваивается случайная точка.
2. Модель проходит по большому массиву текста и учится предсказывать, какие слова стоят рядом.
3. Каждая ошибка слегка смещает точки: соседи сближаются, случайные пары расходятся.
4. После миллиардов таких смещений случайное облако превращается в структурированную карту.

В результате напитки группируются с напитками, животные — с животными, города — с городами. Модель не получала определения понятия «напиток». Она выявила эту группу из способа, которым люди пишут тексты.

Далее обнаружилось свойство, которое удивило даже авторов методики: направления в пространстве начинают соответствовать отношениям между словами. Если взять вектор «король», вычесть «мужчину» и прибавить «женщину», ближайшим словом, за исключением исходных, окажется «королева». Аналогично работают пары «страна» и «столица». В современных моделях такая арифметика выполняется менее точно, но принцип сохраняется.

Таблица эмбеддингов

Первый шаг любой языковой модели — таблица эмбеддингов. В ней есть строка для каждого токена словаря. Модель получает номер токена и извлекает соответствующую строку. Так слово превращается в вектор.

Например, у Llama 3 с 8 млрд параметров словарь содержит 128 тыс. токенов, а каждый эмбеддинг состоит из 4096 чисел. Одна таблица включает более полумиллиарда чисел, и все они определяются в процессе обучения.

У таблицы есть ограничение. Слово «ключ» имеет одну строку, то есть одну точку, для всех значений: «ключ от двери», «скрипичный ключ», «родниковый ключ».

Снять неоднозначность помогают слои модели. Каждый слой добавляет к вектору слова информацию от соседних слов. «Ключ» рядом с «дверью» смещается к замкам, рядом со «скрипкой» — к нотам, рядом с «водой» — к родникам. Такие векторы называют контекстными эмбеддингами.

На последнем этапе модель вычисляет вероятности следующего слова на основе последнего вектора. Таким образом, любой ответ нейросети начинается с векторов и заканчивается ими.

От слова к тексту

Для поиска недостаточно одного слова: требуется сравнивать фразы и документы. Модель выдаёт вектор на каждый токен, поэтому необходимо получить один вектор для всего текста. Существует два основных способа:

• Усреднение (mean pooling): вычисляется среднее значение векторов всех токенов.
• Служебный токен: в начало текста добавляется специальный токен, а модель учится собирать в него смысл всей фразы.

Такой процесс называют пулингом.

Обычная языковая модель не обучается созданию векторов для поиска. Для этого применяют отдельные модели эмбеддингов, которые дообучают на миллионах пар. Вопрос и правильный ответ притягиваются друг к другу, случайные пары отталкиваются. Этот метод называется контрастивным обучением.

После такого обучения фразы «как починить кран» и «устранение протечки смесителя» оказываются рядом. Так объясняется результат поиска из начала статьи.

Области применения

Семантический поиск. Документы заранее преобразуют в векторы и сохраняют в базе данных. Запрос также превращается в вектор, после чего система находит ближайшие векторы. Такие хранилища называют векторными базами данных.

Чат-боты по документам (RAG). Документы делятся на фрагменты, которые преобразуются в векторы. При вопросе система находит ближайшие фрагменты и передаёт их языковой модели. Модель формирует ответ на основе найденного текста, а не только на основе данных, полученных при обучении.

Рекомендации и группировка. Системы определяют похожие товары и фильмы, а также группируют тысячи отзывов по темам без ручной разметки. Во всех случаях выполняется одна операция: поиск ближайших векторов.

Мультиязычные модели. В таких моделях слова «кошка», cat и Katze попадают почти в одну точку пространства. Смысл одинаков, языки различаются.

Мультимодальные модели. Модели типа CLIP размещают в одном пространстве тексты и изображения. Фотография кота оказывается рядом с текстом «фото кота». На этом принципе основан поиск изображений по описанию.

Практическая проверка

Проверку провели на модели BGE-M3. Она хорошо работает с русским языком и запускалась локально через Ollama. Скрипт выполняет три действия: отправляет фразы в модель, получает векторы и вычисляет косинусное сходство каждой пары.

Набор фраз включал две фразы о кране, две о кошках и одну о погоде. Каждая фраза была представлена 1024 числами.

Результаты:

• Пары «кран» и «смеситель» показали высокое сходство, хотя общих слов у них нет.
• «Кошка на подоконнике» и «котёнок у окна» также показали высокое сходство.
• Фраза о погоде имела низкое сходство со всеми остальными фразами.

Поиск по запросу «как починить кран?» вернул текст о протечке смесителя первым, а текст о погоде — последним. Таким образом, семантический поиск реализован менее чем в тридцати строках кода.

Ограничения эмбеддингов

Логика распознаётся плохо. Эмбеддинги хорошо определяют тему, но плохо различают смысловые противоположности. Фразы «Я люблю кошек» и «Я не люблю кошек» оказываются очень близко, так как слова почти совпадают и тема одна и та же. Для поиска такое поведение допустимо, для понимания смысла — нет.

Модели наследуют стереотипы. Эмбеддинги обучаются на текстах людей, которые содержат их стереотипы. В работе 2016 года на аналогии «мужчина относится к программисту, как женщина к…» Word2Vec ответил «домохозяйка».

Векторы разных моделей несовместимы. У каждой модели собственная карта пространства. При смене модели всю базу векторов требуется пересчитать.

Итог

Эмбеддинг — это адрес смысла в многомерном пространстве. Сходство двух объектов определяется углом между их адресами. Все языковые модели начинаются с таблицы эмбеддингов, которая переводит токены в векторы, а дальнейшие слои уточняют эти векторы с учётом контекста.