Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.5 (16) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: "Про ML" или "От kNN до AGI, задачи и камни преткновения."
гость 185.220.100.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 03 ноя 22 7:35 [Ответ][Цитата]
Михайло Сообщений: 2366	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 04 ноя 22 1:53 А Царегородцев не обидится, что вы на его компьютере воруете конфиденциальную информацию? Вы его научный ассистент? Я тоже мог бы сделать скриншот CNN или MLP, но там несколько модулей и шрифт получится очень мелкий. [Ответ][Цитата]
гость 185.246.208.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 04 ноя 22 5:03 Цитата: Автор: Михайло А Царегородцев не обидится это не его код все знают что Виктор Генадиевич пишет на паскале поэтому он и подрабатывает репетиторством что устарело всё давно [Ответ][Цитата]
Михайло Сообщений: 2366	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 04 ноя 22 5:36 А еще он пишет вставки на ассемблере, ненавидит ООП, предпочитает тангенсоиду место сигмоиды, которую аппроксимировал функцией x*(105+10*x**2)/(105+45*x**2+x**4), что позволило добиться мирового рекорда в реализации трехслойного перцептрона по скорости вычислений. (Как известно, для точности double экспонента должна взять 18 компонент ряда Тейлора, а у Царегородцева всего пять. Правда точность float.) [Ответ][Цитата]
гость 23.137.251.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 04 ноя 22 8:47 Цитата: Автор: Михайло А еще он пишет вставки на ассемблере, ненавидит ООП, предпочитает тангенсоиду место сигмоиды, которую аппроксимировал функцией x*(105+10*x**2)/(105+45*x**2+x**4), что позволило добиться мирового рекорда в реализации трехслойного перцептрона по скорости вычислений. (Как известно, для точности double экспонента должна взять 18 компонент ряда Тейлора, а у Царегородцева всего пять. Правда точность float.) x*(105+10*x**2)/(105+45*x**2+x**4) - это позор, на мног быстрей будет захардкоженный свич с порезанным гипертангенсом на 10 семплов. float - правильно, но это и малолеткам прыщявым понятно, хотя это даёт только профит в памяти, что для MLP не важно, а проц с даблом работает так и так ну и то что MLP Царегородцева быстрый - ложь, на киберфоруме Данила Зайцев выкладывал MLP в 5-ро быстрее, а Виктор Генадьевич только пеной брызгал, доказать ничего не смог, только блаблабла [Ответ][Цитата]
гость 185.243.218.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 04 ноя 22 8:51 А что админ порезал возможность код публиковать? Чтобы только обсуждать личности и политику? [Ответ][Цитата]
Михайло Сообщений: 2366	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 06 ноя 22 4:23 Любая информация в области машинного обучения и особенно кода нейросетей является конфиденциальной, на этом можно разбогатеть нехило. Нас это волнует, это даже больше, чем политика. Что касается float/double, то один профессор показал, что для некоторых задач точность может иметь важное значение. Dalle 2 и Midjorney используют 64 бита точности, т.е. long double. [Ответ][Цитата]
гость 185.246.208.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 06 ноя 22 4:58 Цитата: Автор: Михайло Dalle 2 и Midjorney используют 64 бита точности, т.е. long double. зависит от длины машинного слова, двоечник [Ответ][Цитата]
гость 23.137.249.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 06 ноя 22 5:44 Цитата: Автор: Михайло Любая информация в области машинного обучения и особенно кода нейросетей является конфиденциальной, на этом можно разбогатеть нехило. Нас это волнует, это даже больше, чем политика. Что касается float/double, то один профессор показал, что для некоторых задач точность может иметь важное значение. Dalle 2 и Midjorney используют 64 бита точности, т.е. long double. Сам алгоритм обратного распространения, уже — очень оптимизированная ЭВРИСТИКА, то есть ПОРЕЗАННАЯ ВЕРСИЯ от изначальной математической модели(ну примерно как только линейная часть в разложении Тейлора). Можно гипертангенс семплировать даже на 4 куска и будет почти также работать, на 10 — 99% идентичность, а после запятой достаточно 5 значащих цифр с головой, хотя можно и 3, но это для оптимизации не играет роли, разве что если делать специальный чип для этого. 64 бита??? Твой "профессор" — форменный мудак, это всё эвристика и статистика, никакой точности тут не нужно, пускай в Шаде эти сказки рассказывает школьникам, это чущь для ТВ статей в СМИ. [Ответ][Цитата]
daner Сообщений: 4593	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 06 ноя 22 13:51 Цитата: Автор: гость алгоритм обратного распространения, уже — очень оптимизированная ЭВРИСТИКА [Ответ][Цитата]
Михайло Сообщений: 2366	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 06 ноя 22 21:01 Изменено: 06 ноя 22 21:02 Цитата: Автор: гость 23 а после запятой достаточно 5 значащих цифр с головой, хотя можно и 3 Это ты количество знаков говоришь, достаточное чтобы человеку заценить логлосс и экьюрэси. А в вычислениях ты нихрена не понимаешь! Гугловский тензорфлоу использует стандартный FP16 в перемешку со своим фирменным bFloat16, потому что действительно знаков после запятой (мантиссы) хватает, но не хватает экспоненциальной части. Нвидиа использует FP32 и иногда свой Tensor Float 32. Это в GPU. Более современные нейросетки перешли на FP64. Хотя есть исключения: GPT-3 на FP16, GPT-2 на FP32. Приходится извращаться и экономить, такое тоже важно при больших моделях. Перспективна Posit-арифметика с двумя экспонентами. Нейросети можно гонять на Posit 8 bit. Короче, тут надо думать либо быстро, либо точно. [Ответ][Цитата]
гость 23.137.249.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 07 ноя 22 5:28 Цитата: Автор: daner https://en.wikipedia.org/wiki/Stochastic_gradient_descent [Ответ][Цитата]
гость 23.137.249.*	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 07 ноя 22 5:31 Цитата: Автор: Михайло Это ты количество знаков говоришь, достаточное чтобы человеку заценить логлосс и экьюрэси. А в вычислениях ты нихрена не понимаешь! Гугловский тензорфлоу использует стандартный FP16 в перемешку со своим фирменным bFloat16, потому что действительно знаков после запятой (мантиссы) хватает, но не хватает экспоненциальной части. Нвидиа использует FP32 и иногда свой Tensor Float 32. Это в GPU. Более современные нейросетки перешли на FP64. Хотя есть исключения: GPT-3 на FP16, GPT-2 на FP32. Приходится извращаться и экономить, такое тоже важно при больших моделях. Перспективна Posit-арифметика с двумя экспонентами. Нейросети можно гонять на Posit 8 bit. Короче, тут надо думать либо быстро, либо точно. Не нужно тыкать мне какими то моделями и мнениями, я сам в состоянии закодить MLP и проверить как и что работает. [Ответ][Цитата]
daner Сообщений: 4593	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 07 ноя 22 8:46 Цитата: Автор: гость https://en.wikipedia.org/wiki/Stochastic_gradient_descent и в каком месте там эвристика? [Ответ][Цитата]
Михайло Сообщений: 2366	На: "Про ML" или "От kNN до AGI, задачи и камни преткновения." Добавлено: 07 ноя 22 10:23 MLP можно написать в 12 строк на Python, используя матричное исчисление. При чем одна строка - это импорт библиотеки numpy. Это не является крутым. С этой хренью мир не завоевать. [Ответ][Цитата]
Стр.5 (16): 1  2  3  4  [5]  6  7  8  9  ...  16 << < Пред. | След. > >>