Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.4 (36) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Пишу поисковый движок с элементами ИИ
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:30 Цитата: Автор: Egg Правильно ли я понял, что в Вашей системе трос, рост и сорт - это одно и тоже слово? Проверить три секунды дела. http://booben.com/?q=трос&s=sql.ru [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:33 Цитата: Автор: Bazist Если вы будете пытаться навязывать свое виденье контекста, то получится чтото типа эпичного яндекса. Так чудес же не бывает, чтобы Вы про "нейронные сети" не расказывали, в основе Вашего алгоритма близость индексов разных слов. Может быть даже простая разница в индексах. Поэтому пословицы и прочие фразеологизмы лезут вперед. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:34 Цитата: Автор: Egg Так чудес же не бывает, чтобы Вы про "нейронные сети" не расказывали, в основе Вашего алгоритма близость индексов разных слов. Может быть даже простая разница в индексах. Поэтому пословицы и прочие фразеологизмы лезут вперед. Пускай лезут. Это правильно. Когда вам говорят слово Бузина, то в голове как правильно заметили выскакивает всем известная поговорка а не 100 сортов рябины. [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:34 Цитата: Автор: Bazist Проверить три секунды дела. То есть ошибки она у вас не находит. А воспринимает любое сочетание букв как правильное. [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:36 Цитата: Автор: Bazist Это правильно. То есть бузина как растение в кластер растений уже никогда не попадет. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:38 Цитата: Автор: Egg То есть ошибки она у вас не находит. А воспринимает любое сочетание букв как правильное. Сеть сама решает что такое ошибка. Если все пользователи будут писать слово пИченье, то сеть будет думать что так правильно и слово пЕченье неправильное, написано с опечаткой. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:40 Цитата: Автор: Egg То есть бузина как растение в кластер растений уже никогда не попадет. Попадет, если проиндексировать корпус знаний о растениях. [Ответ][Цитата]
NO. Сообщений: 10700	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:41 Цитата: Автор: Egg Главное - это статистика по поговорке "в огороде бузина, а в киеве дядька". От бузины хотелось бы получить рябину, кустарник, ягоду и прочее. Задача ассоциативного поиска в чем? Дать контекст. А контекст автора как раз и не интересует. Да, точно. Значит нужно выбирать самые главные ассоциации и строить дерево. Найти самое главное слово, через которое всё начало быть. Ещё по ассоциациям можно искать ответ на вопрос "Это тут при чём?". Сам "нипричём" тоже вот при чём, (мне админ понравилось): нипричем люмпен реформ запоешь мирной карнизы плинтусо плинтус сознают ученику носкаме блокады рубились элиза гряда всеголиш стебельк титаника порабоще израиля руда адмiн d129 vvd sqi [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:42 Изменено: 10 сен 14 12:45 Цитата: Автор: Bazist Сеть сама решает что такое ошибка. Нет, сеть вообще не догадывается о том, что есть ошибки. Для нее все слова написаны правильно и она строит разные статистики для слова черный и чорный. И, разумеется, это правильно, поскольку всё, что Вы делаете - это правильно. Вот для "чорный": чорный передраз безпризо столбить бровям охранени залатанн hostspid mults заснимут попляшет д40 безликое спалят плывешь фашизму попадос количств излагайт отбивал декадно дешевки нсдап agencies измен У Вас очень неустойчиво работает алгоритм для небольших статистик, поэтому Вы и любите гигабайты, поскольку на небольших корпусах Ваш алгоритм просто не работает. [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:48 Вот "ассоциации" по слову мизерный: мизерный naturall multiver summing merle_ sales_fa golddrag touched 2pi автогонщ vc123 ворохом наложена helped opposed комментр вычитанн apologiz отнимала pmp absence accesses радел стадиями apparent флективный: флективн саттвичн бергсоне оригеном аочетаем трансфик вехом метабиол карлейля лежанье василида joins12 дионисич полисинт нивеллят саттве флексия целокупн витализм раджас маркиона антираци ольденбе dvuch мержсорт имманентный: имманент трансцен подщитыв гришки пощукай присущая вписаным вписавши наубивал бресткий азербаид нигрузит невписав мегареше немощьны льво печная autom взглянь житком годкоф ниожидал морганис парвус уловим Это говно, а не алгоритм, простите. Он работает только со словами из 2-10К частотного списка, а в языке все-таки порядка 100К слов. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:48 Цитата: Автор: Egg Нет, сеть вообще не догадывается о том, что есть ошибки. Для нее все слова написаны правильно и она строит разные статистики для слова черный и чорный. И, разумеется, это правильно, поскольку всё, что Вы делаете - это правильно. Вот для "чорный": чорный передраз безпризо столбить бровям охранени залатанн hostspid mults заснимут попляшет д40 безликое спалят плывешь фашизму попадос количств излагайт отбивал декадно дешевки нсдап agencies измен У Вас очень неустойчиво работает алгоритм для небольших статистик, поэтому Вы и любите гигабайты, поскольку на небольших корпусах Ваш алгоритм просто не работает. Я не говорю что все то что я делаю, это правильно. Но есть большие плюсы системы. 1. Сеть не зависит от внешних факторов, а строит базу знаний только от полученного текста 2. Сеть не зависит от языка, словарей, тезараусов и прочьего хлама 3. Сеть не зависит от семантики языка, знаков припинания и тому подобное. 4. Первоначальные данные хтмл текста в индексе сжимаются особыми методиками до 99.7% Таким образом получается ЧИСТАЯ модель. Если вы в свою схему подмешали внешний источник знаний, то это уже не ИИ, это уже болванка энциклопедии. Как тот андроид в средневековье, вроде бы отвечает на вопросы, а внутри в шкатулке сидит карлик (внешняя система). [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:52 Цитата: Автор: Egg Вот "ассоциации" по слову мизерный: мизерный naturall multiver summing merle_ sales_fa golddrag touched 2pi автогонщ vc123 ворохом наложена helped opposed комментр вычитанн apologiz отнимала pmp absence accesses радел стадиями apparent флективный: флективн саттвичн бергсоне оригеном аочетаем трансфик вехом метабиол карлейля лежанье василида joins12 дионисич полисинт нивеллят саттве флексия целокупн витализм раджас маркиона антираци ольденбе dvuch мержсорт имманентный: имманент трансцен подщитыв гришки пощукай присущая вписаным вписавши наубивал бресткий азербаид нигрузит невписав мегареше немощьны льво печная autom взглянь житком годкоф ниожидал морганис парвус уловим Это говно, а не алгоритм, простите. Он работает только со словами из 2-10К частотного списка, а в языке все-таки порядка 100К слов. Во-первых не 100К слов, а уже писал. Либрусек 13 млн слов. Скуль около 4 млн слов. На счет "флективный", покажите алгоритм который ИЗ НИЧЕГО выведет смысл этого слова. Ведь у вас так работает, правильно ? [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:54 Изменено: 10 сен 14 12:55 Цитата: Автор: Bazist Но есть большие плюсы системы. Для меня это выглядит примерно так: Я изобрел молоток, который имеет огромные плюсы: 1. Он легкий, нет проблем его носить, 2. Очень мягкий, поэтому его приятно держать, 3. И маленький-маленький, поэтому его удобно свернуть и положить в карман. Да, плюсы огромные, и только один минус - гвозди заколачивать им нельзя. Люди, когда ищут текст, они ищут смысл, а не чистую незамутненную модель, не учитывающую язык. Чистота и независимость от грамматики - это не преимущество, это недостаток. Или Вы в самом деле полагаете, что Вам первому пришло в голову построить статистику слов по длине индексов? [Ответ][Цитата]
Gray Tag Сообщений: 13598	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:56 Цитата: Автор: Bazist Во-первых не 100К слов, а уже писал. В словаре примерно 100К слов, 13 млн - это их использование, самих слов меньше, с парадигмами примерно лимон. У вас из всего словарного запаса поиск почти не работает по словам, которые редко встречаются. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 10 сен 14 12:57 Кстате на счет редких слов. В ваших 10гб текста нет и 10% широкоупотребляемых слов из моего списка. Потому что у меня проиндексировано значительно больше. И то что слово "флективный" плохо определилось, проблема не алгоритма. Проблема того, что все еще мало проиндексировано текста. Когда будет 1 Пета, то ситуация будет совсем другая. В вашем случае, могу сказать что вы не сможете определить больше 90% слов которые у меня употребляются. Потому что в 10 гигах их просто нет. [Ответ][Цитата]
Стр.4 (36): 1  2  3  [4]  5  6  7  8  ...  36 << < Пред. | След. > >>