Сообщений в теме: 1757

[Aлеф]

Есть один совершенно нетривиальный эксперимент, который показывает способности LLM/GPT к обработке смысла и мышлению. Если взять два корпуса на разных языках (предположим, тексты на английском и тексты на немецком), обучить Модель им вместе, то окажется удивительная вещь - она сможет переводить с одного языка на другой, несмотря на то, что у нее в обучающей выборке нет словарей и разговорников, а переводить ее вообще не учили.

Почему она автоматически учится переводить? Потому, что ее внутренее смысловое пространство инвариантно любой системе репрезентации, ее внутренний язык один и он смысловой, она может выражать эти смыслы на любом языке из тех, которым научилась. И такой перевод - это не перевод слов (как в гугл-транслейт), а перевод смыслов.

Сообщение отредактировал Черепанов: 09 August 2024 - 19:28

[Альфред]

Teod (09 August 2024 - 15:07) писал:

... Главное, что настоящее интеллектуальное творчество происходит от Высшего Разума (обычно называемого Богом) через душу. ...

... но и человеческий интеллект уходит из нашей молодёжи.

Так это ж получается не молодежь виновата - это просто бог отворачивается от нас.
Т.е. это надо больше Веры, чтобы вернуть Интеллект.

Кажется, где-то в условии большая ошибка...

[Aлеф]

В связи с тем, что токенами могут быть любые сигналы, а семантику имеют любые процессы, задачи распознавания для трансформеров может не требовать начальных размеченных данных. На этом принципе создан алгоритм Wav2Vec2 — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.

Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.

Появилась возможность понимать язык зверей и птиц https://arxiv.org/abs/2404.18739

"Подобно людям, животные широко используют вербальные и невербальные формы общения, включая широкий спектр звуковых сигналов. В этой статье мы рассматриваем вокализацию собак и исследуем использование моделей речевого представления с самоконтролем, предварительно обученных на человеческой речи, для решения задач классификации лая собак, которые находят параллели в ориентированных на человека задачах по распознаванию речи. Мы конкретно решаем четыре задачи: распознавание собак, идентификация породы, классификация по полу и контекстное обоснование. Мы показываем, что использование представлений встраивания речи значительно улучшается по сравнению с более простыми базовыми классификациями. Кроме того, мы также обнаружили, что модели, предварительно обученные на акустике человеческой речи, могут обеспечить дополнительное повышение производительности при выполнении нескольких задач."

Сообщение отредактировал Черепанов: 10 August 2024 - 13:50

[Alone_Stranger]

Черепанов (09 August 2024 - 18:29) писал:

Alone_Stranger, попробуйте начать с алгебры и математического анализа. Сначала будет трудно, а потом даже интересно.

Попробуйте жить под одним аккаунтом: "Сначала будет трудно, а потом даже интересно." (с) тот, кому ОЧЕНЬ много позволяют....

Скрытый текст

интересно, за какие заслуги?

Черепанов (09 August 2024 - 19:14) писал:

Если взять два корпуса на разных языках (предположим, тексты на английском и тексты на немецком), обучить Модель им вместе, то окажется удивительная вещь - она сможет переводить с одного языка на другой, несмотря на то, что у нее в обучающей выборке нет словарей и разговорников, а переводить ее вообще не учили.

Контексты и смыслы? Не смешите мои тапочки! Ваши тупые матрицы вероятностей просто сравнивают вероятности слов во взаимных порядках на разных языках.
Когда (скорее ЕСЛИ) Манускрипт Войнича (например) разгадают - тогда можно будет говорить о проблесках понимания.
А то ишь, взяли два близких языка - типа демонстрация "удивительных вещей". Бред! Это "удивительно" только для шарлатанов, надувающих очередные пузыри "доткомов"!

Черепанов (10 August 2024 - 13:49) писал:

На этом принципе создан алгоритм Wav2Vec2 — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.

Перефразирую: "алгоритм" позволяет переводить речь в текст. Он "лучше" альтернатив, так как переводит речь в текст, "не пытаясь их сначала конвертировать в текст". ЧТО? Это ваши автоматические говорилки писали? Связность речи так и прёт со всех дыр!

[Aлеф]

Alone_Stranger, простите меня великодушно, но Ваше образование и компетентность в вопросе ИИ не позволяют нам спорить.

Сообщение отредактировал Черепанов: 10 August 2024 - 18:32

[scorta]

Исскусственному интеллекту не стоит заниматься "искусством" - получается тавтология.
Ценность произведения искусства - подлинность, имя и что-то еще, но это вторично. Имени у него нет, ну там легион в голову приходит.
Тот робот с черным стеклянным лицом, его надо бы научить фотографировать на пленку. Чтобы было чуть менее искусственно.

[Aлеф]

scorta сказал:

Исскусственному интеллекту не стоит заниматься "искусством" - получается тавтология.

Получается очень нефигово, зайдите в мой блог и посмотрите снимки

[Alone_Stranger]

Черепанов (10 August 2024 - 18:28) писал:

Alone_Stranger, простите меня великодушно, но Ваше образование и компетентность в вопросе ИИ не позволяют нам спорить.

А ваши поделия уже расшифровали Манускрипт Войнича? Или решили задачи Тысячелетия? Конкретные примеры можно? А не раскручиваемые псевдоисследования для дурачков!

ЗЫ: и да, вы так не ответили на вопрос про ваш супер-пупер "алгоритм" (патентованный, да?) распознавания речи в текст "без предварительного преобразования в текст": это "ваше" поделие текст писало или всё-таки вы сами были СТОЛЬ осознанны при написании того абзаца?

[Protero]

Провёл пару часов беседуя с gpt-chatbot'ами на бытовые темы (философия, политика, поэзия, музыка).
Скучно, вот. Он(и) предсказуемы и до тошноты толерантны. В тех случаях, когда любой приличный человек уже послал бы собеседника на ***, (обиделся бы, подколол бы, стуканул бы в органы, запустил бы вирус в комп собеседника) этот ИИ остаётся вежливым, предсказуемым и скучным.

[Aлеф]

Protero, беседовать?!?! с чат-ботами?!?! Представляю как было скучно им))

[Protero]

Черепанов сказал:

Представляю как было скучно им

Ошибаетесь, у них эмоций нет.

[Aлеф]

Protero,

[Alone_Stranger]

Действительно ли GPT-4o видит сетку 13x13 векторов эмбеддингов? Чтобы проверить это, придумал задачу, отдалённо напоминающую карты Зенера. Задача заключается в определении цвета и формы каждого символа на сетке в изображении.
Простая программа генерирует вот такие тестовые сетки:
Чтобы получить данные сравнения, я использовал следующий промт:
"""Divide this image into a {k}x{k} grid and describe the shape and color of
each cell. Report your results as a JSON array of arrays (no objects or row
labels) and use all lowercase."""
Если гипотеза о сетке 13x13 верна, то GPT-4o должна справляться с этой задачей примерно до 13, после чего точность должна начать снижаться. CNN не буквально делит изображение на сетку, поэтому точность может начать снижаться и раньше, и может испытывать больше проблем с чётными размерами сеток, чем с нечётными, потому что ячейки не будут выровнены.
Однако на самом деле происходит не это. Точность идеальна для сеток 5x5 и меньшего размера (то есть 2x2, 3x3, 4x4), но после начинает быстро снижаться. К моменту, когда мы достигаем 13x13, тем же успехом можно было угадывать случайно.

Взято отсюдова: https://habr.com/ru/articles/834548/

[Альфред]

[JohnWayne]

Alone_Stranger (10 August 2024 - 22:41) писал:

...для дурачков....

аудиторию определили хорошо

[HEKTO]

Альфред, так чего мелочиться-то? Раз уж обучили, пущай нейросеть и третий том напишет заодно!

[Альфред]

HEKTO (05 September 2024 - 11:47) писал:

Альфред, так чего мелочиться-то? Раз уж обучили, пущай нейросеть и третий том напишет заодно!

"Широко шагать - штаны порвёшь" ©
Для начала и второй сойдёт, а там глянем )

Сообщение отредактировал Альфред: 05 September 2024 - 13:31

[Пентагон]

https://www.bbc.com/...atures-40778454

новость по ссылке из 2017 года, интересно, как они общаются между собой в 2024

[Alone_Stranger]

Полагаю, что никак. Это просто мусор. Были же уже статьи с опытом на тему, что будет при скармливании нейросетям в качестве обучающих данных их же собственные испражнения. Всё это очень быстро деградирует и вырождается.

[Aлеф]

[Alone_Stranger]

, нис с именем расходятся.... странно правда?!
Я уже отвечал вам вашей же цитатою - попробуйте жить под одним аккаунтом!

[Aлеф]

Alone_Stranger (09 September 2024 - 17:40) писал:

Я уже отвечал вам вашей же цитатою - попробуйте жить под одним аккаунтом!

Не заметил, чтобы ваше замечание относилось к теме топика и - да - я разберусь как мне жить и что делать, но за безпокойство обо мне - спасибо!

[HEKTO]

Гибрид Сердюкова с вертолётом: нейросети умеют многое, но с рисованием Карлсона случился конфуз

[Aлеф]

HEKTO, да, у нейросетей конфуз на конфузе)))

[Aлеф]

Компания OpenAI представила новую LLM систему о1, которая во много превосходит предыдущую 4о и обладает способностями к рассуждениям.

"Как это работает

Мы обучили эти модели тратить больше времени на обдумывание задач, прежде чем отвечать, как это делают люди. Благодаря обучению они учатся совершенствовать свой мыслительный процесс, пробовать разные стратегии и распознавать свои ошибки.

В наших тестах следующая итерация модели показала такие же результаты, как и аспиранты, на сложных тестах по физике, химии и биологии. Мы также обнаружили, что она преуспевает в математике и кодировании. На отборочном экзамене Международной математической олимпиады (IMO) GPT-4o правильно решил только 13% задач, в то время как модель рассуждений набрала 83%. Их способности к кодированию оценивались на соревнованиях, и они достигли 89-го процентиля в соревновании Codeforces. Подробнее об этом можно прочитать в нашей технической исследовательской статье.

Как ранняя модель, она пока не обладает многими функциями, которые делают ChatGPT полезным, такими как просмотр веб-страниц для получения информации и загрузка файлов и изображений. Во многих распространенных случаях GPT-4o станет более способным в ближайшем будущем.

Но для сложных задач рассуждения это значительный прогресс и представляет собой новый уровень возможностей ИИ. Имея это в виду, мы сбрасываем счетчик обратно на 1 и называем эту серию OpenAI o1."

https://openai.com/i...nai-o1-preview/

Сообщение отредактировал Ivan1979: 16 September 2024 - 13:37

[Пентагон]

Повторюсь, главное - чтобы сохранилась возможность механического, ручного отключения всей этой нейробеды от источников питания.
Пост №1, так сказать, круглосуточное дежурство и охрана рубильника

А с другой стороны, подавляющее большинство людей особо не заморачиваясь и заранее зная о последствиях действуют во вред себе (не говоря уже о действиях во вред окружающим).
И по большому счету, совершенно безразлично, кто будет действовать во вред всему в будущем - великие злодеи по злому умыслу, великие гуманисты по ошибке или недомыслию, или ИИ по чьему-то недосмотру.

Сообщение отредактировал Пентагон: 16 September 2024 - 14:02

[Aлеф]

Пентагон (16 September 2024 - 13:55) писал:

Повторюсь, главное - чтобы сохранилась возможность механического, ручного отключения всей этой нейробеды от источников питания.
Пост №1, так сказать, круглосуточное дежурство и охрана рубильника

Мне кажется, что такое решение уже невозможно. В этом месте зависимость носит несколько противоположный характер: не питание компьютеров зависит от нас, а наше питание впрямую зависит от компьютеров.

ИИ - это всего лишь программирование_3.0. (2.0 - это биг-дата, уже пройденный этап) когда вместо алгоритмов и данных создаются промты, стратегии и описания. И проблема цивилизации не в том, что программирование опасно, а в том, что эволюция продолжается и мы, к сожалению, уступаем в этой гонке и не можем ее остановить, она определена законами природы. Самыми фундаментальными.

Сообщение отредактировал Ivan1979: 16 September 2024 - 14:26

[Пентагон]

Ivan1979 (16 September 2024 - 13:59) писал:

Мне кажется, что такое решение уже невозможно. В этом месте зависимость носит несколько противоположный характер: не питание компьютеров зависит от нас, а наше питание впрямую зависит от компьютеров.

Как-то сложно это представить (возможно, и к лучшему - крепче буду спать ) Как это может быть, чтобы не осталось способа физического разрыва электрической или сигнальной цепи? Как это может быть, чтобы ИИ (или как там это будет называться) мог управлять чем бы то ни было, если ему программно не дать такие полномочия?

[Aлеф]

Пентагон (16 September 2024 - 14:35) писал:

Как-то сложно это представить (возможно, и к лучшему - крепче буду спать) Как это может быть, чтобы не осталось способа физического разрыва электрической или сигнальной цепи? Как это может быть, чтобы ИИ (или как там это будет называться) мог управлять чем бы то ни было, если ему программно не дать такие полномочия?

Вы наверняка знакомы с голограммами и знаете, что бывает с изображением, если потерять часть голограммы. Незначительное уменьшение контраста, само изображение не исчезнет. Если останется совсем маленький кусочек, то падение контраста будет сильным, но изображение будет таким же полным.

Компьютерная сеть - это распределенная сетевая система. Погуглите как устроен блокчейн и задумайтесь почему решения на основе этого механизма имеют такую популярность в последнее время))) Чтобы выключить ИИ потребуется отключить электричество и сети вообще))) Совсем. И телефоны, польку это часть глобальной сети. И современные стиральные машины))) и умные дома. И всё прочее. Отключить рубильником можно только переферический узел. А если речь идет о сети, то отключать нужно будет всё.

Сообщение отредактировал Ivan1979: 16 September 2024 - 14:44

[Maшa]

Пентагон (16 September 2024 - 14:35) писал:

Как это может быть, чтобы не осталось способа физического разрыва электрической или сигнальной цепи?

Вот именно.
Вспышечка на солнышке и ИИ ножки протянет.
Или бомбочка бухнет, да и нету таракана.