GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (2)След. > >>   Поиск:  
 Автор Тема: Странная структура данных
Bazist
Сообщений: 494
Странная структура данных
Добавлено: 08 ноя 14 9:32
Продолжаем срывать покровы в кодировании информации.

http://blog.pikosec.com/?p=120

Эта структура данных представляет собой ассоциативный массив – набор пар ключ-значение. Вставлять в эту структуру можно только отсортированые данные. Однажды вставив элемент, его невозможно удалить. Невозможно из структуры получить количество вставленных пар ключ-значение. Невозможно сделать выборку по диапазону ключей. Запросив существующий ключ мы гарантировано получим его значение. Запросив несуществующий ключ – мы получим муссор.

Загадочные свойства, не правда ли ? В чем смысл такой структуры и почему она себя так ведет ? Это неоттесаный бриллиант. В то время как другие структуры кодируют данные для удобного поиска месторасположением или хешфункцией – эта структура кодирует данные переходами. Помните на заре программирования, программа в которой используются сотни операторов GoTo – живет своей жизнью. Она настолько сложна и столько содержит в себе состояний, что отладить ее практичеси невозможно. Представьте что в этой структуре таких переходов сотни тысяч, миллионы …. Каждая ячейка это переход, откудато кудато. И они кодируют данные.

Миллиард случайно сгенерированых 16 байтных ключей в контейнере ? Ерунда, любой ключ будет найден ровно в четыре касания. Тогда как обычному бинарному дереву таких касаний понадобится тридцать штук. При этом этой структуре понадобится памяти столькоже, сколько понадобится если эти пары ключ-значение хранить связным списком.

Вот так. VymaDB отошла от той идеальной, первобытной структуры. Она оптимизирована на скорость вставки, проверку существующих ключей, сканы по диапазону. Словом всё то, что нужно типичном потребителю. Но она уже не так удивительна и загадочна как та, первобытная структура, которая кодирует информацию бесконечным количеством запутаных переходов.
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 08 ноя 14 23:51
е9=2^30<>2^2^4?
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 0:25
Цитата:
Автор: гость

е9=2^30<>2^2^4?


Это что ?
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 09 ноя 14 0:26
запрос на комментарий третьего абзаца
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 0:32
Я тут ребятки про то, что грядет революция в поисковых алгоритмах.
Мозг кодирует знания не стат данными, а кодом ! Причем в самой извращенной
его форме, через GoTo. Миллиарды переходов GoTo.

В такой структуре данных могут содержаться триллионы фактов и каждый факт отискивается за наносекунды ! Такое возможно только в этой странной структуре данных.
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 0:34
Изменено: 09 ноя 14 0:35
Цитата:
Автор: гость

запрос на комментарий третьего абзаца


Всё верно. Бинарному поиску нужно 30 репозицирований. Тоесть 2^30.
Этой структуре данных нужно только 4 репозицирования и чтение ровно 16 байт.
Количество переходов в такой структуре зависит от длины ключа, но не от количества ключей.
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 09 ноя 14 0:40
наверное я не понимаю, но давно уже утихли восторги что если на листочке помещается 2 кило текста, то если на этот же листочек поместить точечки-буковки и кодировать полихромными графами, то без особой оснастки туда влезет много мегабайт.. по-моему
уже все давно корпят над реализацией этих очевидных идей, - если я мимо, то прошу прощения.
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 0:43
Цитата:
Автор: гость

наверное я не понимаю, но давно уже утихли восторги что если на листочке помещается 2 кило текста, то если на этот же листочек поместить точечки-буковки и кодировать полихромными графами, то без особой оснастки туда влезет много мегабайт.. по-моему
уже все давно корпят над реализацией этих очевидных идей, - если я мимо, то прошу прощения.


Речь про QR - коды ?
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 09 ноя 14 0:49
а бог его знает как оно теперь конкретно называется, думаю что оно может появляться под разными именами.. это как тот же фильтр кальмана - каждый сезон одно время его кто-то открывал заново под новым названием.. а тут все-таки некий комплекс идей.. - все-таки, что это за структура имеющаяся в виду вами?? (пояснения для широкой общественности будут встречены с горячей благодарностью)
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 0:51
Тут немного не про это. На сегодня нет технологий, которые эффективно будут искать информацию, когда в одной таблице будут триллионы записей. А эта структура дает ответ. Причем поиск всегда будет константным, незавимо от количества записей.

+ тут еще нужно учитывать степень повреждения структуры, при вносе битых ячеек. Если всё сурово пожато без избыточности, то разрушение одной ячейки ведет к уничтожению всей структуры. Если структура избыточна, то разрушение ячейки тоже портит данные, но данные одного элемента, или несколько или так, что данные можно восстановить.

Так вот, в этой структуре при прямом повреждении ячеек, вся структура не херится, а херятся только некоторые элементы.
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 09 ноя 14 0:55
цифровая голография? цифровой аналог когерентной и некогерентной обработки информации в оптике?
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 1:18
Цитата:
Автор: гость

цифровая голография? цифровой аналог когерентной и некогерентной обработки информации в оптике?


Я в этих понятиях плохо ориентируюсь.
Просто эффективный способ кодирования огромных обьемов информации.
В частности ассоциативная память, ключ -> значение. Где ключ отискивается
за очень маленький промежуток времени, внезависимости от того, сколько ключей добавлено в структуру.
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 1:31
Цитата:
Автор: гость
цифровая голография?


Ну у голографии, насколько я знаю, несколько другие цели.
Там во главу угла становятся повреждения, устойчивость к повреждениям.
А здесь во главу угла становится скорость поиска.

Ну вот, для примера, кто плохо знаком с цифровым миром.
Допустим у вас есть огромная страна, 1 миллиард китайцев. Допустим у каждого китайца есть своя уникальная фамилия и уникальный адресс в китае. Фамилия китайца у вас есть, адресса где он живет нет. Допустим вы сидите в офисе и можете отправлять письма в любую точку китая на любой адресс и получать оттуда ответ он\не он. Так вот бинарный поиск позволяет вам отослать 30 таких писем и найти китайца с нужной фамилией. А новая структура, позволяет отослать только 4 таких письма и гарантироно найти китайца по его фамилии из миллиарда.
[Ответ][Цитата]
гость
78.25.123.*
На: Странная структура данных
Добавлено: 09 ноя 14 2:17
так опять непонятно принципиальной новизны: можно искать дихотомиями, трихотомиями,
можно за один шаг - если сеть полносвязная и из любого узла к любому за один шаг..
типа что в каждом узле ключ-дифференциал всего пучка путей.. в натуре сети для экономии должны быть не полносвязными, а связанными т.ск. критически - несколько магистралей и тонкая разводка по оконцовке.. (и до магистрали можно добраться быстро)
[Ответ][Цитата]
Bazist
Сообщений: 494
На: Странная структура данных
Добавлено: 09 ноя 14 2:31
Изменено: 09 ноя 14 2:32
Цитата:
Автор: гость
так опять непонятно принципиальной новизны: можно искать дихотомиями, трихотомиями,
можно за один шаг - если сеть полносвязная и из любого узла к любому за один шаг..
типа что в каждом узле ключ-дифференциал всего пучка путей.. в натуре сети для экономии должны быть не полносвязными, а связанными т.ск. критически - несколько магистралей и тонкая разводка по оконцовке.. (и до магистрали можно добраться быстро)


Всё так, но не учитывается аппаратная часть. Например ограниченость памяти.
Например на миллиард 16 байтных ключей нужно всего 16-20 миллиардов байт.
Все эти разводки и тому подобное нужно гдето хранить. И потом. Как в разводке которая содержит миллиард элементов найти нужный всего за 4 роута ?
[Ответ][Цитата]
 Стр.1 (2): [1]  2След. > >>