|
|
На: GigaChat
Добавлено: 28 май 24 9:46
|
Как подсчитывают веса ключевых слов и фраз?
Подсчет весов ключевых слов и фраз может осуществляться различными методами в зависимости от конкретной задачи и подхода к анализу текста. Вот несколько общих методов:
1. Частотный анализ: Это самый простой метод, который заключается в подсчете количества каждого слова или фразы в тексте. Чем чаще слово встречается, тем выше его вес.
2. Инверсия документа: Этот метод основан на предположении, что если слово встречается редко в общем корпусе документов, но часто в конкретном документе, то оно является важным для этого документа. Вес слова определяется как отношение частоты его появления в данном документе к средней частоте его появления во всем корпусе документов.
3. TF-IDF (Term Frequency – Inverse Document Frequency): Это комбинация двух предыдущих методов. TF (частота термина) определяет, насколько часто слово встречается в конкретном документе, а IDF (обратная частота документа) учитывает, насколько редко слово встречается во всем корпусе документов. Вес слова рассчитывается как произведение этих двух величин.
4. Лассо (Lasso): Это метод машинного обучения, который использует регуляризацию для уменьшения переобучения модели. Он выбирает набор ключевых слов и фраз, которые лучше всего объясняют данные, и присваивает им веса.
Это лишь некоторые из возможных методов подсчета весов ключевых слов и фраз. Выбор конкретного метода зависит от целей анализа и характеристик данных.
|
|
|
|
| На: GigaChat
Добавлено: 28 май 24 9:52
Изменено: 28 май 24 9:53
|
Как видите ничего даже близко к моему методу… Вот такие вот дела.
Явно говорить об автономизации, суверенном Интернете, об Российских базах данных и Российской-же Операционной Системе, не говоря про ИИ-компьютер Российского производства в таких условиях бессмысленно.
Структурирование предполагает единообразие, единый подход к парсингу, а не применение массы способов. Тем более бывших в употреблении с 40х годов ХХ века. А вот мой ИИ-парсинг, с конструированием осмысленных фраз, не существовал никогда!
Короче GigaChat это потрясающая вещь! Просто молодцы его создатели! Сделали всё очень грамотно и основательно. Ещё раз: молодцы!
Но не использовали мой ИИ-парсинг, к сожалению.
|
|
|
|
| На: GigaChat
Добавлено: 30 май 24 9:18
|
GigaChat это явно не коммерческий проект, никакого способа его окупить не существует.
|
|
|
|
| На: GigaChat
Добавлено: 10 июн 24 8:17
|
GigaChat Сбера это нейросети. ChatGPT это лингвистическая модель, когда вместо создания ИИ берется человеческое сознание, запечатлённое в тексте.
Нейросети создаются вручную. А лингвистические модели автоматически. Очевидно что Сбер проиграет.
|
|
|
|
| На: GigaChat
Добавлено: 10 июн 24 8:26
|
Например ожидание. Непонятно использует ли GigaCHAT свою базу данных, или «ныряет» за ответом в OpenAI или Майкрософт Copilot. Неясная история это GigaChat…
На основе нейронетворков и в исполнении российских программёров крайне сомнительно что Сбербанк мог сбацать такую штукенцию. Подозрительно это всё… С Советских времён не могли, а тут буквально за пару месяцев? Это просто невозможно.
|
|
|
|