GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.2 (2)<< < Пред.   Поиск:  
 Автор Тема: На: GigaChat
Ilya Geller
Сообщений: 5314
На: GigaChat
Добавлено: 28 май 24 9:46
Как подсчитывают веса ключевых слов и фраз?

Подсчет весов ключевых слов и фраз может осуществляться различными методами в зависимости от конкретной задачи и подхода к анализу текста. Вот несколько общих методов:

1. Частотный анализ: Это самый простой метод, который заключается в подсчете количества каждого слова или фразы в тексте. Чем чаще слово встречается, тем выше его вес.

2. Инверсия документа: Этот метод основан на предположении, что если слово встречается редко в общем корпусе документов, но часто в конкретном документе, то оно является важным для этого документа. Вес слова определяется как отношение частоты его появления в данном документе к средней частоте его появления во всем корпусе документов.

3. TF-IDF (Term Frequency – Inverse Document Frequency): Это комбинация двух предыдущих методов. TF (частота термина) определяет, насколько часто слово встречается в конкретном документе, а IDF (обратная частота документа) учитывает, насколько редко слово встречается во всем корпусе документов. Вес слова рассчитывается как произведение этих двух величин.

4. Лассо (Lasso): Это метод машинного обучения, который использует регуляризацию для уменьшения переобучения модели. Он выбирает набор ключевых слов и фраз, которые лучше всего объясняют данные, и присваивает им веса.

Это лишь некоторые из возможных методов подсчета весов ключевых слов и фраз. Выбор конкретного метода зависит от целей анализа и характеристик данных.
[Ответ][Цитата]
Ilya Geller
Сообщений: 5314
На: GigaChat
Добавлено: 28 май 24 9:52
Изменено: 28 май 24 9:53
Как видите ничего даже близко к моему методу… Вот такие вот дела.
Явно говорить об автономизации, суверенном Интернете, об Российских базах данных и Российской-же Операционной Системе, не говоря про ИИ-компьютер Российского производства в таких условиях бессмысленно.
Структурирование предполагает единообразие, единый подход к парсингу, а не применение массы способов. Тем более бывших в употреблении с 40х годов ХХ века. А вот мой ИИ-парсинг, с конструированием осмысленных фраз, не существовал никогда!

Короче GigaChat это потрясающая вещь! Просто молодцы его создатели! Сделали всё очень грамотно и основательно. Ещё раз: молодцы!
Но не использовали мой ИИ-парсинг, к сожалению.
[Ответ][Цитата]
Ilya Geller
Сообщений: 5314
На: GigaChat
Добавлено: 30 май 24 9:18
GigaChat это явно не коммерческий проект, никакого способа его окупить не существует.
[Ответ][Цитата]
Ilya Geller
Сообщений: 5314
На: GigaChat
Добавлено: 10 июн 24 8:17
GigaChat Сбера это нейросети. ChatGPT это лингвистическая модель, когда вместо создания ИИ берется человеческое сознание, запечатлённое в тексте.
Нейросети создаются вручную. А лингвистические модели автоматически. Очевидно что Сбер проиграет.
[Ответ][Цитата]
Ilya Geller
Сообщений: 5314
На: GigaChat
Добавлено: 10 июн 24 8:26
Например ожидание. Непонятно использует ли GigaCHAT свою базу данных, или «ныряет» за ответом в OpenAI или Майкрософт Copilot. Неясная история это GigaChat…
На основе нейронетворков и в исполнении российских программёров крайне сомнительно что Сбербанк мог сбацать такую штукенцию. Подозрительно это всё… С Советских времён не могли, а тут буквально за пару месяцев? Это просто невозможно.
[Ответ][Цитата]
 Стр.2 (2)1  [2]<< < Пред.