Автор: ip178
Ilya Geller, кто такой галуба и с каким открытием я имею дело если о нейросетях известно в 86 года и я прекрасно в них разбираюсь (чтобы знать что к ии они могут относится только как рефлексы) |
|
"Голуба" в моих устах есть эвфимизм, замена для более грубых слов, умоляю меня понять?
Речь идёт о конструировании фраз, в то время как традиционный n-gram - это непрерывные последовательности n-элементов в предложении и ни о каком конструировании речи нет.
К примеру есть предложение
-- Иван и Марфа весело смеются, она любит это.
n-gram разбор получает 2-3 фразы (паттерна, если не по Русски) из предложения. Например:
- Иван и Марфа весело смеются
- она любит это
или
- Иван
- Марфа весело смеются
- она любит это.
При этом n-gram чисто субъективен, вы сами решаете как резать текст и по каким критериям.
ИИ-разбор конструирует следующий набор уже осмысленых фраз:
- и Иван весело смеётся 0.25
- и Марфа весело смеётся 0.25
- она любит смеятся 0.5
- Марфа любит смеятся 0.5
- она любит это 0.5
- Марфа любит это 0.5
- это любимо ею 0.5
- это любимо Марфой 0.5
- смех любим ею 0.5
Как видите n-gram произвёл 3 (три) фразы, а ИИ-разбор - 9 (девять) объективно полученных (согласно правилам грамматики) и осмысленных фраз. Т.е. когда кто-то ищет инфу, происходит сравнение поискового запроса не с 3мя а с 9ю фразами. (n-gram вообще зачастую игнорирует грамматику и даже пропускает огромное количество слов, разбирая текст; например пропускаются предлоги, частицы и т.д.)
Цифирь справа - объективные веса, в то время как сейчас и везде веса назначаются вручную, чисто субъективно, потому как n-gram разбор не в состоянии произвести никакой объективной статистики.