|
NO.
Сообщений: 10700 |
 |
| |
|
На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:01
Изменено: 10 сен 14 13:03
|
Автор: Bazist
покажите алгоритм который ИЗ НИЧЕГО выведет смысл этого слова.
Ведь у вас так работает, правильно ? |
|
Вот мизерный по habrahabr.ru: перепугу брала вкалыват отчисляю социума понижающ нанимают токи гоп рожи союзнико призыва обретени мизер умеешь tdp развитых развала мяса обнаглел охлаждат доказанн дева рпц Гугл мне сказал, что на Хабре 4,530 включений слова "мизерный". Вам пяти тысяч включений не хватило для Вашей статистики? Так я и сказал, что алгоритм - говно. Пять включений, я полагаю, это уже хорошая статистика для правильного алгоритма.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:02
|
Автор: Bazist
Кстате на счет редких слов. В ваших 10гб текста нет и 10% широкоупотребляемых слов из моего списка. |
|
Нормально у меня всё с разнообразием слов. Всё зависит от мозгов, а не объемов. Флективный не берите, я там мизерный взял, посмотрите предыдущий пост.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:02
|
Люди, когда ищут текст, они ищут смысл, а не чистую незамутненную модель, не учитывающую язык.
|
|
Всё верно, они ищут СМЫСЛ. А смысл в современном мире, например, таков http://searchengines.guru/attachment.php?attachmentid=136976&stc=1&d=1408523563А не таков: "сало это белая субстанция получаемая из специально выкормленных ... бла бла бла ..."
Чистота и независимость от грамматики - это не преимущество, это недостаток.  Или Вы в самом деле полагаете, что Вам первому пришло в голову построить статистику слов по длине индексов? |
|
Я вам уже сказал, что это эпик феил. Наймете 100500 обученных обезьян, которые будут вам набивать семантику языка для каждого отдельного а)сайта б)языка. И конролируйте чтобы там не было очепяток. 
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:05
|
Вот мизерный по habrahabr.ru:
|
|
Прежде чем забивать слово, подумайте, какие ассоциации оно у вас вызывает. Кстате не угадывайте алгоритм, всеравно не угадаете. А если угадаете, всеравно он будет бесполезен, поскольку он очень тяжелый и нужно иметь хорошо написаное ядро системы, чтобы эти миллионы подзапросов успевать делать хотябы в пару секунд.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:06
Изменено: 10 сен 14 13:09
|
Автор: Bazist
Я вам уже сказал, что это эпик феил. Наймете 100500 обученных обезьян, которые будут вам набивать семантику языка для каждого отдельного а)сайта б)языка. И конролируйте чтобы там не было очепяток. |
|
Это именно то, что делает Ваш алгоритм: просто тупо собирает статистику по близости индексов. Слово тупо здесь ключевое. Вот пример: "Ел высокий человек холодное мороженное", холодный имеет такое же расстояние, что и высокий, однако никакой ассоциации между холодный и человек в данном контексте нет.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:09
Изменено: 10 сен 14 13:10
|
Автор: Bazist
А если угадаете, всеравно он будет бесполезен, поскольку он очень тяжелый и нужно иметь хорошо написаное ядро системы, чтобы эти миллионы подзапросов успевать делать хотябы в пару секунд. |
|
Зачем они нужны эти запросы и их скорость, если они не дают результата. Алгоритм я не угадываю, я его описал поста два назад, технические подробности меня не очень интересуют, а вот то, что функция ассоциативной близости основана на модуле между индексами - это медицинский факт.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:10
|
Автор: Egg
Это именно то, что делает Ваш алгоритм: просто тупо собирает статистику по близости индексов. Слово глупо здесь ключевое. Вот пример: "Ел высокий человек холодное мороженное", холодный имеет такое же расстояние, что и высокий, однако никакой ассоциации между холодный и человек в данном контексте нет. |
|
Не понимаю, откуда вы берете эти проблемы ? Вот забил опять у себя ради интереса, первая четверка "человек человека людей люди" никаких высоких холодных нет. Это вам нужно с ними бороться, не мне =) И алгоритм у меня посложнее чем голая статистика, особенно учитывая его дальнейшее развитие.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:11
Изменено: 10 сен 14 13:12
|
Автор: Bazist
никаких высоких холодных нет. |
|
Так у вас вообще почти ничего нет. Десяток слов по распространенным словам и полный шум по не очень распространенным. Слово отчим: отчим deepfree индуистс обувают вырваный zhaba feya провисне 3339008 убивца 007604 i526 подверни srk витаешь 6144mb юннат ломанула закачнив firstdvs turnir leonbets 2хintel cranes curlprox
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:12
|
| функция ассоциативной близости основана на модуле между индексами - это медицинский факт. |
|
это бред, а не медецинский факт. Чтобы научится вам усстанавливать какието факты, для начала, вам нужно проиндексировать в 50 раз больше текста. Чтобы иметь хоть чтото стоящее хотябы для тойже статистики. Не говоря уже для всего остального.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:14
|
Автор: Bazist
Чтобы научится вам усстанавливать какието факты, для начала, вам нужно проиндексировать в 50 раз больше текста. Чтобы иметь хоть чтото стоящее хотябы для тойже статистики. Не говоря уже для всего остального. |
|
Я же не виноват, что у Вас "кпд" настолько низкий, что Вам нужны тонны текстов. Мне ничего не нужно, у меня система по слову отчим не дает ассоциации "вырванный юннат".
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:17
|
Поискал "стрекоза": стрекоза стрекозу драгонфл стрекозы начистов орнитопт lex1 chomium dragonfl стрекозе стрекоз спиддиал проинспе festo взмахов престо userpref стрекозо блинка ффоксе wand развитя shpankov 169239 181181
В общем, говно какое-то а не алгоритм. Требует тонны текстов, не влезает в память и не дает никакого осмысленного результата как в плане контекста, так и в плане репрезентативности.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:17
|
Автор: Egg
Я же не виноват, что у Вас "кпд" настолько низкий, что Вам нужны тонны текстов.
Мне ничего не нужно, у меня система по слову отчим не дает ассоциации "вырванный юннат". |
|
Я стесняюсь спросить. Вы опять свой бред проверяете или нет. Ну забейте в поиск не поленитесь "Отчим". Еще раз, это ваша карма бороться с "вырванным юннатом" у меня таких проблем нет. Я даже не понимаю как они у вас возникают. Впрочем углублятся в семантику это тот еще геморрой.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 13:19
|
Автор: Egg
Поискал "стрекоза": стрекоза стрекозу драгонфл стрекозы
|
|
Действительно, между этими четырьмя терминами никакой связи, да. Особенно про драгонфлай
|
|
|
| |
|