GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (5)След. > >>   Поиск:  
 Автор Тема: Количество информации
Валентин
Сообщений: 4536
Количество информации
Добавлено: 19 июн 16 23:55
Проверим всех "на дебильность". Положим: есть регистр 64 разряда, есть единичка в первом разряде, остальные - в нуле. Это Информация или нет? Если ДА, то сколько этот регистр её сейчас содержит?
[Ответ][Цитата]
гость
78.25.121.*
На: Количество информации
Добавлено: 20 июн 16 0:05
ясно, что помимо шенноновой информации (за сколько шагов мы из всего многообразия возможных состояний идентифицируем данное) есть и информация о том, что значит это состояние (а значить оно может что угодно - для идетификации этого может потребоваться в свою очередь неопределенное тут количество информации по шеннону).
[Ответ][Цитата]
r
Сообщений: 837
На: Количество информации
Добавлено: 20 июн 16 1:13
Изменено: 20 июн 16 1:21
Задача информации в уменьшении неопределенности относительно того явления, к которому она относится. Каждый бит информации должен раскрывать новые стороны явления, его взамосвязи, устройство. Чем детальнее информация, тем более полно будет раскрыто явление. Т.е. информация как бы имеет свою собственную конечную цель - полное описание явления в результате.

При работе с регистром нужно знать не только его текущее состояние, но и на что этот регистр влияет. Соответстветнно мы можем знать его значение, но если не будем знать на что он влияет, мы не сможем с ним работать (его использовать). Как не сможем использовать зная на что он влияет, но не имея возможности узнать мгновенное значение в нужный момент времени. Получается что это два вроде как независимых куска информации, которые полностью описывают явление исключительно в паре.

В дано не указано что это именно за регистр. Если он адресует ячейку памяти, то у нас стало быть 18Е18 возможных вариантов. А если биты регистра включают pull-up резисторы на 64х входах микроконтроллера, то у нас 128 возможных вариантов. Т.е. в первом случае это будет 1/18Е18-я часть информации, а во втором 1/128-я.

Имхо, это и информация и данные одновременно.
[Ответ][Цитата]
Дмитрий Стволовой
Сообщений: 327
На: Количество информации
Добавлено: 20 июн 16 2:24
Цитата:
Автор: Валентин

Проверим всех "на дебильность". Положим: есть регистр 64 разряда, есть единичка в первом разряде, остальные - в нуле. Это Информация или нет? Если ДА, то сколько этот регистр её сейчас содержит?
log2(64) = 6 бит, не важно в первом разряде или какие либо иные комбинации на регистре
[Ответ][Цитата]
Luarvik.
Сообщений: 17287
На: Количество информации
Добавлено: 20 июн 16 3:19
Цитата:
Автор: Валентин
Положим: есть регистр 64 разряда, есть единичка в первом разряде, остальные - в нуле. Это Информация или нет? Если ДА, то сколько этот регистр её сейчас содержит?

Если формально и для передачи, то - ДА, информация.
Сколько положили, столько и содержит - 1 бит.
[Ответ][Цитата]
Валентин
Сообщений: 4536
На: Количество информации
Добавлено: 20 июн 16 3:23
Действительно, это не информация а данные, которые м.б. её содержат. В данном случае, как было правильно отмечено, они не упорядочены и не отнесены к чему-либо. Теперь положим, что это команда в регистре КЭШа памяти процессора, что тогда с количеством информации?
[Ответ][Цитата]
r
Сообщений: 837
На: Количество информации
Добавлено: 20 июн 16 4:31
Изменено: 20 июн 16 4:47
Цитата:
Автор: Валентин
Действительно, это не информация а данные, которые м.б. её содержат. В данном случае, как было правильно отмечено, они не упорядочены и не отнесены к чему-либо. Теперь положим, что это команда в регистре КЭШа памяти процессора, что тогда с количеством информации?
Вы говорите, что это не информация, но хотите посчитать количество информации. Это противоречие. Или речь идет о количестве данных, но тут все давно придумано - ровно 8 байт.

Это и информация тоже, хотя бы потому, что явно указывает на допустимость конкретно этого значения в диапазоне возможный значений регистра. Ну или, как вы сказали, данные содержат в себе информацию, пусть это будет не принципиально. Но они точно ее содержат.

Имхо, информацию не получится измерять как данные байтами и целыми числами вообще. Максимальное количество информации касаемое одного явления это столько, сколько нужно описать явление полностью, 100%. Но информация из отдельного сообщения это обычно только частичное описание, т.е. обычно это значение менее 100%. Если 100% взять за единицу, то условный "бит" информации будет всегда дробной величиной, меньшей единицы.

Поэтому, чтобы подсчитать количество информации, нужно знать сколько это 100%. Если это информация об одной из связей объекта, нужно знать сколько у него связей вообще. Если это информация о новом поле структуры, нужно знать сколько полей в этой структуре. Если это информация о произошедшем событии, нужно знать общее количество всех возможных событий. Если это информация о команде процессора, нужно знать сколько команд всего, если их 100, то для вашего примера количество информации будет 1/100=0,01 каких-то там единиц измерения, к примеру, инфов.
[Ответ][Цитата]
гость
78.25.122.*
На: Количество информации
Добавлено: 20 июн 16 4:35
вообще говоря, информацией является не только изменение, но и отсутсвие изменения (когда оно возможно, но не происходит).
но и сама структура (статическая) - регистр с единицей в старшем разряже это нечто определенное, отличное он неопределенного состояния регистра, значит для придания этой определенности представлению состояния регистра нужна информация (для описания данной структуры).

NO>

ей-бо, я не понял что вы сказали или хотели сказать.
[Ответ][Цитата]
r
Сообщений: 837
На: Количество информации
Добавлено: 20 июн 16 5:03
А если бы единица стояла в 64м бите, то количества информации было бы на порядки больше?
[Ответ][Цитата]
гость 31.211.0.*
Сообщений: 1849
На: Количество информации
Добавлено: 20 июн 16 6:35
Изменено: 20 июн 16 7:12
Цитата:
Автор: Дмитрий Стволовой

log2(64) = 6 бит, не важно в первом разряде или какие либо иные комбинации на регистре


Не правильно. Правильно: -log2(1\(2**64)=64 бит, при равномерном распределении состояний регистра.

Ваш ответ может быть верным , если только один разряд регистра может быть установлен в единицу, тогда число состояний 64 (кость с 64-мя гранями).
[Ответ][Цитата]
Валентин
Сообщений: 4536
На: Количество информации
Добавлено: 20 июн 16 7:01
Цитата:
Автор: http://NewPoisk.narod.ru Глава "7.4. Данные, знания, информация". Исчерпывающий, развернутый ответ... К слову говоря, вопрос темы - это вопрос №2.1 стр. 19 ИТ.

- Информация должна обладать полнотой!
Единица в регистре команд обозначает первую из 2 в степени 63 команд. А как относительно формулы Шеннона И=Лог(дв)N ?
[Ответ][Цитата]
гость
78.25.121.*
На: Количество информации
Добавлено: 20 июн 16 7:03
I=-dS (или соотв. формула c разностью условных энтропий)
[Ответ][Цитата]
гость
159.122.105.*
На: Количество информации
Добавлено: 20 июн 16 8:01
Цитата:
Автор: гость во лбу гвоздь
Поскольку текст передает информацию, хотелось бы сформулировать саму суть информации в виде предложения. О чем собственно информация, если она вообще есть?

О чем - это уже не в этой парадигме.
Определение классическое, шенноновское: прирост информации равен утраченной неопределенности.

Цитата:
Автор: гость во лбу гвоздь
Из формулировки следует, что разряды зависимы, разве нет?

Нет, это не следует, наоборот. Если топикстертер рассматривает слово как массив битовых разрядов, то это означает, что мы не определяем тип слова в рамках какой-то алгебры. Да и задачи бы тогда такой не было, ибо информационная емкость слова 64 бита равна 64 битам )))))))
[Ответ][Цитата]
Jenka
Сообщений: 959
На: Количество информации
Добавлено: 20 июн 16 8:38
данные в отрыве от контекста не несут никакой информации.
а контекст у 64разрядного регистра может быть любой, соответственно таким регистром можно представить бесконечное множество информации.
[Ответ][Цитата]
гость во лбу гвоздь
Сообщений: 670
На: Количество информации
Добавлено: 20 июн 16 12:59
Кстати вопрос на засыпку, если взять txt файл и пропустить через какой-нибудь zip/rar, то количество данных уменьшится, а уменьшится ли количество информации?
[Ответ][Цитата]
 Стр.1 (5): [1]  2  3  4  5След. > >>