Сообщений в теме: 1313

[Aлеф]

Есть один совершенно нетривиальный эксперимент, который показывает способности LLM/GPT к обработке смысла и мышлению. Если взять два корпуса на разных языках (предположим, тексты на английском и тексты на немецком), обучить Модель им вместе, то окажется удивительная вещь - она сможет переводить с одного языка на другой, несмотря на то, что у нее в обучающей выборке нет словарей и разговорников, а переводить ее вообще не учили.

Почему она автоматически учится переводить? Потому, что ее внутренее смысловое пространство инвариантно любой системе репрезентации, ее внутренний язык один и он смысловой, она может выражать эти смыслы на любом языке из тех, которым научилась. И такой перевод - это не перевод слов (как в гугл-транслейт), а перевод смыслов.

Сообщение отредактировал Черепанов: 09 August 2024 - 19:28

[Альфред]

Teod (09 August 2024 - 15:07) писал:

... Главное, что настоящее интеллектуальное творчество происходит от Высшего Разума (обычно называемого Богом) через душу. ...

... но и человеческий интеллект уходит из нашей молодёжи.

Так это ж получается не молодежь виновата - это просто бог отворачивается от нас.
Т.е. это надо больше Веры, чтобы вернуть Интеллект.

Кажется, где-то в условии большая ошибка...

[Aлеф]

В связи с тем, что токенами могут быть любые сигналы, а семантику имеют любые процессы, задачи распознавания для трансформеров может не требовать начальных размеченных данных. На этом принципе создан алгоритм Wav2Vec2 — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.

Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.

Появилась возможность понимать язык зверей и птиц https://arxiv.org/abs/2404.18739

"Подобно людям, животные широко используют вербальные и невербальные формы общения, включая широкий спектр звуковых сигналов. В этой статье мы рассматриваем вокализацию собак и исследуем использование моделей речевого представления с самоконтролем, предварительно обученных на человеческой речи, для решения задач классификации лая собак, которые находят параллели в ориентированных на человека задачах по распознаванию речи. Мы конкретно решаем четыре задачи: распознавание собак, идентификация породы, классификация по полу и контекстное обоснование. Мы показываем, что использование представлений встраивания речи значительно улучшается по сравнению с более простыми базовыми классификациями. Кроме того, мы также обнаружили, что модели, предварительно обученные на акустике человеческой речи, могут обеспечить дополнительное повышение производительности при выполнении нескольких задач."

Сообщение отредактировал Черепанов: 10 August 2024 - 13:50

[Alone_Stranger]

Черепанов (09 August 2024 - 18:29) писал:

Alone_Stranger, попробуйте начать с алгебры и математического анализа. Сначала будет трудно, а потом даже интересно.

Попробуйте жить под одним аккаунтом: "Сначала будет трудно, а потом даже интересно." (с) тот, кому ОЧЕНЬ много позволяют....

Скрытый текст

интересно, за какие заслуги?

Черепанов (09 August 2024 - 19:14) писал:

Если взять два корпуса на разных языках (предположим, тексты на английском и тексты на немецком), обучить Модель им вместе, то окажется удивительная вещь - она сможет переводить с одного языка на другой, несмотря на то, что у нее в обучающей выборке нет словарей и разговорников, а переводить ее вообще не учили.

Контексты и смыслы? Не смешите мои тапочки! Ваши тупые матрицы вероятностей просто сравнивают вероятности слов во взаимных порядках на разных языках.
Когда (скорее ЕСЛИ) Манускрипт Войнича (например) разгадают - тогда можно будет говорить о проблесках понимания.
А то ишь, взяли два близких языка - типа демонстрация "удивительных вещей". Бред! Это "удивительно" только для шарлатанов, надувающих очередные пузыри "доткомов"!

Черепанов (10 August 2024 - 13:49) писал:

На этом принципе создан алгоритм Wav2Vec2 — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.

Перефразирую: "алгоритм" позволяет переводить речь в текст. Он "лучше" альтернатив, так как переводит речь в текст, "не пытаясь их сначала конвертировать в текст". ЧТО? Это ваши автоматические говорилки писали? Связность речи так и прёт со всех дыр!

[Aлеф]

Alone_Stranger, простите меня великодушно, но Ваше образование и компетентность в вопросе ИИ не позволяют нам спорить.

Сообщение отредактировал Черепанов: 10 August 2024 - 18:32

[scorta]

Исскусственному интеллекту не стоит заниматься "искусством" - получается тавтология.
Ценность произведения искусства - подлинность, имя и что-то еще, но это вторично. Имени у него нет, ну там легион в голову приходит.
Тот робот с черным стеклянным лицом, его надо бы научить фотографировать на пленку. Чтобы было чуть менее искусственно.

[Aлеф]

scorta сказал:

Исскусственному интеллекту не стоит заниматься "искусством" - получается тавтология.

Получается очень нефигово, зайдите в мой блог и посмотрите снимки

[Alone_Stranger]

Черепанов (10 August 2024 - 18:28) писал:

Alone_Stranger, простите меня великодушно, но Ваше образование и компетентность в вопросе ИИ не позволяют нам спорить.

А ваши поделия уже расшифровали Манускрипт Войнича? Или решили задачи Тысячелетия? Конкретные примеры можно? А не раскручиваемые псевдоисследования для дурачков!

ЗЫ: и да, вы так не ответили на вопрос про ваш супер-пупер "алгоритм" (патентованный, да?) распознавания речи в текст "без предварительного преобразования в текст": это "ваше" поделие текст писало или всё-таки вы сами были СТОЛЬ осознанны при написании того абзаца?

[Protero]

Провёл пару часов беседуя с gpt-chatbot'ами на бытовые темы (философия, политика, поэзия, музыка).
Скучно, вот. Он(и) предсказуемы и до тошноты толерантны. В тех случаях, когда любой приличный человек уже послал бы собеседника на ***, (обиделся бы, подколол бы, стуканул бы в органы, запустил бы вирус в комп собеседника) этот ИИ остаётся вежливым, предсказуемым и скучным.

[Aлеф]

Protero, беседовать?!?! с чат-ботами?!?! Представляю как было скучно им))

[Protero]

Черепанов сказал:

Представляю как было скучно им

Ошибаетесь, у них эмоций нет.

[Aлеф]

Protero,

[Alone_Stranger]

Действительно ли GPT-4o видит сетку 13x13 векторов эмбеддингов? Чтобы проверить это, придумал задачу, отдалённо напоминающую карты Зенера. Задача заключается в определении цвета и формы каждого символа на сетке в изображении.
Простая программа генерирует вот такие тестовые сетки:
Чтобы получить данные сравнения, я использовал следующий промт:
"""Divide this image into a {k}x{k} grid and describe the shape and color of
each cell. Report your results as a JSON array of arrays (no objects or row
labels) and use all lowercase."""
Если гипотеза о сетке 13x13 верна, то GPT-4o должна справляться с этой задачей примерно до 13, после чего точность должна начать снижаться. CNN не буквально делит изображение на сетку, поэтому точность может начать снижаться и раньше, и может испытывать больше проблем с чётными размерами сеток, чем с нечётными, потому что ячейки не будут выровнены.
Однако на самом деле происходит не это. Точность идеальна для сеток 5x5 и меньшего размера (то есть 2x2, 3x3, 4x4), но после начинает быстро снижаться. К моменту, когда мы достигаем 13x13, тем же успехом можно было угадывать случайно.

Взято отсюдова: https://habr.com/ru/articles/834548/

[Альфред]

[JohnWayne]

Alone_Stranger (10 August 2024 - 22:41) писал:

...для дурачков....

аудиторию определили хорошо

[HEKTO]

Альфред, так чего мелочиться-то? Раз уж обучили, пущай нейросеть и третий том напишет заодно!

[Альфред]

HEKTO (05 September 2024 - 11:47) писал:

Альфред, так чего мелочиться-то? Раз уж обучили, пущай нейросеть и третий том напишет заодно!

"Широко шагать - штаны порвёшь" ©
Для начала и второй сойдёт, а там глянем )

Сообщение отредактировал Альфред: 05 September 2024 - 13:31

[Пентагон]

https://www.bbc.com/...atures-40778454

новость по ссылке из 2017 года, интересно, как они общаются между собой в 2024

[Alone_Stranger]

Полагаю, что никак. Это просто мусор. Были же уже статьи с опытом на тему, что будет при скармливании нейросетям в качестве обучающих данных их же собственные испражнения. Всё это очень быстро деградирует и вырождается.

[Ivan1979]

[Alone_Stranger]

Ivan1969, нис с именем расходятся.... странно правда?!
Я уже отвечал вам вашей же цитатою - попробуйте жить под одним аккаунтом!

[Ivan1979]

Alone_Stranger (09 September 2024 - 17:40) писал:

Я уже отвечал вам вашей же цитатою - попробуйте жить под одним аккаунтом!

Не заметил, чтобы ваше замечание относилось к теме топика и - да - я разберусь как мне жить и что делать, но за безпокойство обо мне - спасибо!

[HEKTO]

Гибрид Сердюкова с вертолётом: нейросети умеют многое, но с рисованием Карлсона случился конфуз

[Ivan1979]

HEKTO, да, у нейросетей конфуз на конфузе)))