Ссылка. Алгоритм шинглов

http://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D1%88%D0%B8%D0%BD%D0%B3%D0%BB%D0%BE%D0%B2

"Канонизация текста приводит оригинальный текст к единой нормальной форме. Текст очищается от предлогов, союзов, знаков препинания, HTML тегов, и прочего ненужного «мусора», который не должен участвовать в сравнении. В большинстве случаев также предлагается удалять из текста прилагательные, так как они не несут смысловой нагрузки.
Также на этапе канонизации текста можно приводить существительные к именительному падежу, единственному числу, либо оставлять от них только корни."

:-)

"Шинглы (англ — чешуйки) — выделенные из статьи подпоследовательности слов. Необходимо из сравниваемых текстов выделить подпоследовательности слов, идущих друг за другом по 10 штук (длина шингла). Выборка происходит внахлест, а не встык. Таким образом, разбивая текст на подпоследовательности, мы получим набор шинглов в количестве равному количеству слов минус длина шингла плюс один (кол_во_слов — длина_шингла + 1)."

- а вот это "ещё немного" и будет похоже на "метрику" и "скалярное произведение".

Представьте себе одну простую штуку.

Сначала - "канонизируем текст".

Потом выделяем в нём "последовательности слов" по "словарю".

С учётом "перестановок" и "строгих словосочетаний".

Т.е. таки образом мы "покрываем предметную область".

Последовательностям мы приписываем "веса".

"Оставшимся" словам мы приписываем "другие веса". Меньшие.

При этом - "веса" приписываются по "ортам". Т.е. КАЖДОЕ слово или "словосочетание" это длина "орта".

Это понятно?

Т.е. для документа D1 получаем:

V1 = D11 * i1 + D12 * i2 + ... + D1N * iN

для документа D2 получаем:

V2 = D21 * i1 + D22 * i2 + ... + D2N * iN

Где DXY - длина орта, а iY - орт.

VX - вектор "описывающий" документ DX.

Понятно как скалярное произведение строить?

Понятно, что ортов может быть "МНОГО", но как раз "канонизация текста" и "выделение словосочетаний" как раз и направлены на "минимизацию числа ортов".

А ещё DXY можно нормализовать примерно так:

DXY' := (DXY div 10) * 10 + 1

Ну или точнее:
DXY' := (DXY div Max(DXY)) * Max(DXY) + 1

Или "скорее":
NXY := f(Max(DXY))
DXY' := (DXY div NXY) * NXY + 1

Где - f(Max(DXY)) - вероятностная оценка Max(DXY).

Главное что от "скалярного произведения" и "метрики" - вы никуда не уходим.

Есть "вектор" (документ) и есть "скалярное произведение векторов" (оценка похожести документов".

Это всё про "похожесть".

А про "полнотекстовый" поиск - "всё по-другому" - там банально "обратный индекс" и "слияние цепочек".

P.S. Исходный текст - http://programmingmindstream.blogspot.ru/2014/07/blog-post_5.html

Про метрики кстати:

http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0_(%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0)

"Метрическое пространство есть пара , где  — множество, а  — числовая функция, которая определена на декартовом произведении , принимает значения в множестве вещественных чисел такая, что

1.  (аксиома тождества).
2.  (аксиома симметрии).
3.  (аксиома треугольника или неравенство треугольника).

При этом

• множество  называется подлежащим множеством метрического пространства.
• элементы множества  называются точками метрического пространства.
• функция  называется метрикой.

"

-- при ВВЕДЕНИИ метрики надо ПОМНИТЬ эти АКСИОМЫ. Иначе - не работает.

Т.е. ВВЕДЁННАЯ метрика ДОЛЖНА удовлетворять аксиомам :-)