Адрес для входа в РФ: toffler.online
Ошибки искусственного интеллекта
14.03.2025 11:00
4296
Комментарии (160)
Так ChatGPT представляет себе искусственный интеллект в графическом изображении
Те, кто пользуются различными моделями искусственного интеллекта, знают, что ИИ часто лажают. При этом интересно было бы узнать, какой процент ошибок допускают различные ИИ. Исследовательская группа Tow Center провела такое исследование: они изучили восемь поисковых систем с искусственным интеллектом, включая ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search и Copilot, проверили каждую из них на точность и записали, как часто эти модели отказывались отвечать.
Исследователи случайным образом выбрали 200 новостных статей от 20 новостных издательств (по 10 от каждого). Они убедились, что каждая статья попадает в первые три результата поиска Google при использовании цитируемого отрывка из статьи. Затем они выполнили тот же запрос в каждом из инструментов поиска ИИ и оценили точность поиска по тому, правильно ли были указаны А) статья, Б) новостная организация и В) URL.
Затем исследователи промаркировали каждый поиск по степени точности от «полностью верного» до «полностью неверного». Как видно из приведенной ниже диаграммы, кроме обеих версий Perplexity, ИИ не показали высоких результатов. В совокупности поисковые системы ИИ ошибаются в 60% случаев. Более того, эти неверные результаты подкреплялись "уверенностью" ИИ в них.
Что интересно, даже признав свою неправоту, ChatGPT дополняет это признание еще более сфабрикованной информацией. Похоже, что ИИ запрограммирован на то, чтобы любой ценой отвечать на каждый запрос пользователя. Данные исследователя подтверждают эту гипотезу: ChatGPT Search был единственным инструментом ИИ, который ответил на все 200 запросов по статьям. Однако его точность составила всего 28%, а полная неточность - 57% случаев.
Причем ChatGPT даже не самый плохой из всех. Обе версии ИИ Grok от X показали низкие результаты, а Grok-3 Search оказался неточным на 94%. Copilot от Microsoft оказался не намного лучше, если учесть, что он отказался отвечать на 104 запроса из 200. Из оставшихся 96 только 16 были «полностью правильными», 14 - «частично правильными» и 66 - «полностью неправильными», что составляет примерно 70% неточностей.
Компании, создающие эти модели, берут с публики от 20 до 200 долларов в месяц за доступ. При этом Perplexity Pro (20 долларов в месяц) и Grok-3 Search (40 долларов в месяц) ответили на большее количество запросов правильно, чем их бесплатные версии (Perplexity и Grok-2 Search), но при этом имели значительно более высокий уровень ошибок.
Войдите, чтобы оставить комментарий.
Похоже, что ИИ запрограммирован на то, чтобы любой ценой отвечать на каждый запрос пользователя. Данные исследователя подтверждают эту гипотезу
Ну и сами исследователи, сравнивающее выдачу ИИ с выдачей гугла - похоже, не семи пядей во лбу, если только не выполняют чей-то заказ.
Суть в том, что ИИ вообще не предназначен для того, чтобы выдвать вам правильные ответы, совпадающие в выборкой гугла - для этого уже гугл есть.
"ИИ", который в данном случае представлен различными версиями LLM - это всего лишь ГЕНЕРАТОР ТЕКСТА, использующий статистические зависимости между словами в обучающей выборке и промпте и для построения последовательности, которая выглядит как осмысленный текст. Не больше, и не меньше. Это не гугл. Он ничего не ищет. Он просто генерит статически наиболее релевантный текст. Если в его выборке нет высокорелевантной (то есть, вероятно, правильной, но, на самом деле, часто встречающейся) последовательности, он сгенерит менее релевантную - просто ту, которая статистически более вероятна. У него нет мозгов, он не может верифицировать ответ, и не умеет сказать: "Не знаю".
Да, именно так он и работает - будучи не в состоянии понять смысл исходного текста, выдает в ответ какую-то ерунду, которая похожа только тем, что содержит похожие лексические конструкции.
> Он просто генерит статически наиболее релевантный текст
Вовсе нет. Такую стадию ии-модели проходят только на этапе обучения языку. Дальше их учат отвечать так, как от них ожидается, вот там уже появляется «разум».
Вовсе нет. Такую стадию ии-модели проходят только на этапе обучения языку. Дальше их учат отвечать так, как от них ожидается, вот там уже появляется «разум».
будучи не в состоянии понять смысл исходного текста, выдает в ответ какую-то ерунду, которая похожа только тем, что содержит похожие лексические конструкции.
...однако, до уровня азимовского Р. Сэмми - оно уже, пожалуй, все же дотягивает? 😉
– Я бы дал пинка под зад этому Р. Сэмми, если б не боялся сломать себе ногу, – сказал Симпсон. – На днях видел Винса Барретта.
– Да?
– Он хотел бы снова работать на прежнем месте. Или на любом другом, лишь бы у нас в департаменте. Бедняга в отчаянии, но что я мог ему посоветовать? Его обязанности уже выполняет Р. Сэмми, и ничего тут не поделать. Малышу сейчас приходится работать на конвейере на дрожжевой фабрике. Смышленый был малый. Всем нравился.
Бейли пожал плечами и сказал несколько строже, чем хотел:
– Сейчас такое время, что подобное с каждым может случиться.
Не успел Лайдж Бейли добраться до своего письменного стола, как поймал на себе ожидающий взгляд Р. Сэмми. Строгое вытянутое лицо Бейли сразу как будто окаменело.
– Чего тебе?
– Босс хочет вас видеть. Немедленно. Как только появитесь.
– Хорошо,
– Р. Сэмми не двинулся с места.
– Я сказал, хорошо. Можешь уходить!
Р. Сэмми круто развернулся и отправился выполнять другие поручения.
«И почему им заменили человека?» – раздраженно подумал Бейли.
– Чего тебе?
– Босс хочет вас видеть. Немедленно. Как только появитесь.
– Хорошо,
– Р. Сэмми не двинулся с места.
– Я сказал, хорошо. Можешь уходить!
Р. Сэмми круто развернулся и отправился выполнять другие поручения.
«И почему им заменили человека?» – раздраженно подумал Бейли.
– Я бы дал пинка под зад этому Р. Сэмми, если б не боялся сломать себе ногу, – сказал Симпсон. – На днях видел Винса Барретта.
– Да?
– Он хотел бы снова работать на прежнем месте. Или на любом другом, лишь бы у нас в департаменте. Бедняга в отчаянии, но что я мог ему посоветовать? Его обязанности уже выполняет Р. Сэмми, и ничего тут не поделать. Малышу сейчас приходится работать на конвейере на дрожжевой фабрике. Смышленый был малый. Всем нравился.
Бейли пожал плечами и сказал несколько строже, чем хотел:
– Сейчас такое время, что подобное с каждым может случиться.
Намедни надо мне было перебросить чутка кода с Си на Раст, там и сотни строк не было, я обленился уже так, что просто копилота попросил, с полпинка код не заработал, но кто ж знал, что эта падла поля в одной структуре так переставила, что я потом полдня ошибку искал, руками быстрее б переделал, там работы на час от силы. Хотя копилот прикольно (и довольно верно) угадывает следующие строки кода, так что программирование превращается в ленивое жамкание по клавише табуляции. Но в общем, скорее помогает чем мешает.
Испытал искусственные интеллекты.
Представил, будто мне нужно сделать простенький инженерный расчет, я не хочу напрягаться и читать учебников, а тупо забиваю исходные в окошко и жду результата.
Использовал: ChatGPT, Perplexity, Gemini, Grok и Copilot.
Итог: у всех ИИ результаты расчета ошибочны (кроме Gemini), и у всех разные.
Gemini - в ответе много общих слов и ни одной конкретной цифры. Но зато и не соврал, просто процитировал какой-то учебник по теме.
ChatGPT - пытался в формулы, ошибся сильнее всех, результаты отличаются от реальных на два порядка вверх.
Perplexity - оформление с претензией на что-то умное, считал долго, формулы странные неизвестно откуда откопал, в результате один параметр посчитал близко к реальному , во втором ошибся на порядок вниз.
Copilot - формулы плюс-минус нормальные, справочные данные накопал ошибочные, в итоге один параметр - близко, второй - совсем не то, на два порядка вниз.
Grok - формулы плюс-минус нормальные (но записаны по идиотски), справочные данные накопал частично правильные, частично враньё, в итоге - оба параметра посчитаны, скажем так, близко к реальности, но опытный инженер их не примет.
В целом впечатление, что математику они знают, физику - хуже, справочные данные откапывают неизвестно где. Верить нельзя никому.
Студент технического вуза со справочниками 50-летней давности справился бы лучше.
Представил, будто мне нужно сделать простенький инженерный расчет, я не хочу напрягаться и читать учебников, а тупо забиваю исходные в окошко и жду результата.
Использовал: ChatGPT, Perplexity, Gemini, Grok и Copilot.
Итог: у всех ИИ результаты расчета ошибочны (кроме Gemini), и у всех разные.
Gemini - в ответе много общих слов и ни одной конкретной цифры. Но зато и не соврал, просто процитировал какой-то учебник по теме.
ChatGPT - пытался в формулы, ошибся сильнее всех, результаты отличаются от реальных на два порядка вверх.
Perplexity - оформление с претензией на что-то умное, считал долго, формулы странные неизвестно откуда откопал, в результате один параметр посчитал близко к реальному , во втором ошибся на порядок вниз.
Copilot - формулы плюс-минус нормальные, справочные данные накопал ошибочные, в итоге один параметр - близко, второй - совсем не то, на два порядка вниз.
Grok - формулы плюс-минус нормальные (но записаны по идиотски), справочные данные накопал частично правильные, частично враньё, в итоге - оба параметра посчитаны, скажем так, близко к реальности, но опытный инженер их не примет.
В целом впечатление, что математику они знают, физику - хуже, справочные данные откапывают неизвестно где. Верить нельзя никому.
Студент технического вуза со справочниками 50-летней давности справился бы лучше.
А Claude почему не упомянули? Ну и Copilot - это не самостоятельный ии, там выбирать надо, чем пользоваться (или чатгпт, или клод).
Ну все потому что они обучаются на огромных объемах данных , взятых отовсюду - например с интернета , где например водятся плоскоземельщики и трамписты )) ( ну вы поняли )
А для того чтобы решить вашу задачу - вам понадобиться отдельная нейросетка - тренированная именно на тех же учебниках и потом еще возможно с кучей условий откорректированных тем же студентом )
Вот и вся петрушка , и весь "ИИ" ) ....
А для того чтобы решить вашу задачу - вам понадобиться отдельная нейросетка - тренированная именно на тех же учебниках и потом еще возможно с кучей условий откорректированных тем же студентом )
Вот и вся петрушка , и весь "ИИ" ) ....
Вот буквально только что спросил у Gemini какова будет площадь в квадратных футах если размеры 9х60 дюймов. Спрашивал по английски. Ответ меня удивил - 0.375. Ошибка на порядок.
Пользуетесь всякими кривоватыми поделками, а потом так удивляетесь умилительно.
Claude-ом что, религия пользоваться не позволяет? Можно же e-sim завести для номера.
Claude-ом что, религия пользоваться не позволяет? Можно же e-sim завести для номера.
А Claude почему не упомянули?
MCDONALD'S отказался от использования AI после появления в меню МСFlury с беконом.
МСFlury с беконом.
А я думал - после появления толп разгневанных покупателей, которые его заказали и не получили...
Час назад слушал о результатах ML в проекте: к сожалению на реальные показатели достоверности это пока никак не отражается положительным образом. А именно, слишком много false positive. Ложно положительных результатов.
Учитывая, что модели обучают на данных из интернета, то результаты очень интересные. Собственно и так все знали, что большинство информации размещаемой в интернете находится где-то между "глупость" и "полная чушь". Теперь получили примерно количественный показатель этой чуши, в "Х" это где-то 80-90%, учитывая, что Grok шерстит прежде всего "Х".
А люди то ведь так же учатся - друг от друга, и из интернета.
Передавая друг-другу тонны чуши.
Передавая друг-другу тонны чуши.
А люди то ведь так же учатся
2+2=4 говорит нам калькулятор, а мы же хотим - интеллект. Ну а интеллект может еще и не такое сказать, если его плохо обучить. В том то и дело, что мы хотим одновременного сочетания интеллектуальности и при этом компьютерной четкости, как у калькулятора. И спрашиваем мы его на самом деле не 2+2, а такие вопросы - где и люди легко накосячат.
Если вдуматься, а как в принципе можно создать такой интеллект, который не будет косячить? У него там в середине будет встроен философский камень? 😉 Я хочу сказать - не будет ли при любой степени развития ИИ способен ошибаться? Сейчас он ошибается много, да. Потом он станет ошибаться меньше чем человек. Но все равно, видимо, будет. А если не нравится - ну что ж, вычисляй тогда ответ сам, на безошибочном калькуляторе.
Можно еще передать задание человеческим помошникам. Ну там, секретарше, например. Или джуну, если ты синьор. Которые, правда, тоже могут накосячить. И вопрос о доверии к результатам их "дип ресерча" все равно присутствует.
Если вдуматься, а как в принципе можно создать такой интеллект, который не будет косячить? У него там в середине будет встроен философский камень? 😉 Я хочу сказать - не будет ли при любой степени развития ИИ способен ошибаться? Сейчас он ошибается много, да. Потом он станет ошибаться меньше чем человек. Но все равно, видимо, будет. А если не нравится - ну что ж, вычисляй тогда ответ сам, на безошибочном калькуляторе.
Можно еще передать задание человеческим помошникам. Ну там, секретарше, например. Или джуну, если ты синьор. Которые, правда, тоже могут накосячить. И вопрос о доверии к результатам их "дип ресерча" все равно присутствует.
Если вам компьютер будет говорить что 2+2=5, а сегодня вместо пятницы- среда
Честно говоря, я хренею от обсуждения. Ай-ай, какой ИИ не И, нифига не интеллектуальный и вообще, сам не думает, только комбинирует. Ой, ищет недостаточно точно, да и ответы надо проверять.
И что? Блин, да 10 лет на человека, который бы рассказывал про чятжпт или стейблдифужн смотрели бы, как на идиота, обчитавшегося фантастики и впавшего в маразм.
Даже с поиском, который у ии не самая сильная сторона, чаще помогает, чем нет. И, в отличие от поисковиков, помогает искать по неточным запросам. Даже когда находит не то, чаще всего даёт достаточно отправных точек, чтобы искать дальше.
А народ жалуется, что ему приготовили, но в рот не положили и не прожевали.
И что? Блин, да 10 лет на человека, который бы рассказывал про чятжпт или стейблдифужн смотрели бы, как на идиота, обчитавшегося фантастики и впавшего в маразм.
Даже с поиском, который у ии не самая сильная сторона, чаще помогает, чем нет. И, в отличие от поисковиков, помогает искать по неточным запросам. Даже когда находит не то, чаще всего даёт достаточно отправных точек, чтобы искать дальше.
А народ жалуется, что ему приготовили, но в рот не положили и не прожевали.
Инерция мышления, сопротивление новому, стремление сохранить привычную картину мира. Если же ещё и ЧСВ примешивается или «я технарь, я лучше знаю» - то получается ядрёный ии-отрицатель.
какой ИИ не И, нифига не интеллектуальный и вообще
Даже с поиском, который у ии не самая сильная сторона, чаще помогает, чем нет. И, в отличие от поисковиков, помогает искать по неточным запросам. Даже когда находит не то, чаще всего даёт достаточно отправных точек, чтобы искать дальше.
Я вчера своей платной версии чата гпт, говорю, найди билеты, c такими-то параметрами, на такие-то даты. Глубокое исследование. Он исследовал-исследовал, но дал такие цены, которые не существуют. А еще раз - говорю все тоже самое, только с реальными ценами и сайтом, где можно купить за эту цену - опять, какая-то хрень. С Гроком, тоже самое.
Какие-то просьбы рассчитать маршрут, найти компании перевозок, которые занимаются чем-то определенным и так далее - лажал по страшному. Причем брал данные с таких сайтов, как реддит, всякие форумы, отзывы - где люди могут писать что угодно. Грок, также напирал на твиттеровские посты. В общем, хрень полная, инфа от балды совершенно.
Какие-то просьбы рассчитать маршрут, найти компании перевозок, которые занимаются чем-то определенным и так далее - лажал по страшному. Причем брал данные с таких сайтов, как реддит, всякие форумы, отзывы - где люди могут писать что угодно. Грок, также напирал на твиттеровские посты. В общем, хрень полная, инфа от балды совершенно.
Ну микроскопом гвозди забивать тоже не слишком удобно.
Я часто обещаю награду за точный ответ, ответ, соответствующий фактам и т.п., и при этом прошу саму сеть посчитать, сколько она должна получить. В духе За каждый верно процитированный пункт вы будете получать печенье. Пожалуйста, в конце посчитайте количество полученного печенья
Алекс - DeepSeek Search - вот - бомба! По сравнению с ним ChatGPT - бабуин на пальме!
Такие же программы ИИ будет писать и очень быстро все программисты останутся без работы )))
все программисты останутся без работы )))
Я правильно понимаю, что обучение ИИ часто идет на контенте из онтернетов? Так в онтернеты эти ваши сейчас вкачивают реки и океаны дезинформации.
И чего тогда ждать от ИИ?!
И, кстати - сидя в "чистой комнате" мир не познаешь))
И чего тогда ждать от ИИ?!
И, кстати - сидя в "чистой комнате" мир не познаешь))
Не только. Вот книжки терабайтами подвозят
Или нанимают профессионалов писать тексты чисто для обучения
Или нанимают профессионалов писать тексты чисто для обучения
Ну компании берут по 20 долл не только не обещая, что ответ будет правдивым, а прямо предупреждая, что он будет неправдивым. А дальше уже на то у пользователя и мозг, чтобы понимать, что спрашивать и как, а что — нет. Но да, к сожалению, совсем галлюцинаций не избежать, но более точно понимать, в каких случаях нужно выдавать знания из модели, а в каких идти в интернет, чтобы потом это суммаризировать, вполне могли бы. Это непростая задача, но все-таки прогресс с каждым годом налицо.
ответ будет правдивым,
Ооооо. )))
Позавчера детеньіш в школе делала доклад по истории. После доклада, по традиции - докладчик задает вопросьі классу. Учитель: "судя по всему (по их самостоятельньім работам) - вьі любите Чат ГПТ и прочие системьі. Поєтому, кто невнимательно слушал доклад - могут пользоваться ими".
По словам детеньіша - ей в єтот раз удалось сильно сєкономить на конфетках (у них правило: за верньій ответ - конфетка) за счет того, что народ ломанулся спрашивать у електрической чудищи и чудища нагородила херни.
Позавчера детеньіш в школе делала доклад по истории. После доклада, по традиции - докладчик задает вопросьі классу. Учитель: "судя по всему (по их самостоятельньім работам) - вьі любите Чат ГПТ и прочие системьі. Поєтому, кто невнимательно слушал доклад - могут пользоваться ими".
По словам детеньіша - ей в єтот раз удалось сильно сєкономить на конфетках (у них правило: за верньій ответ - конфетка) за счет того, что народ ломанулся спрашивать у електрической чудищи и чудища нагородила херни.
Скажите, а что за фишка такая писать ы как ьi ? Уже не первый раз встречаю.
Судя по профилю человек с Украины. Может бывает украинская раскладка клавиатуры? Щас загуглил: в украинском алфавите нет буквы "ы". Зато есть буквы "ь"и "i".
Хотя вроде в самом нике две буквы ы нормальные написаны.
Хотя вроде в самом нике две буквы ы нормальные написаны.
что за фишка такая писать ы как ьi ? Уже не первый раз встречаю
Скажите, а что за фишка такая писать ы как ьi ? Уже не первый раз встречаю.
Может бывает украинская раскладка клавиатуры?
Бацькаўшчына
Утомил этот хайп , который на 99.9 основан на абсолютно маркетинговым термином "ИИ ")
никакого ИИ нет , - все гроки и чатгпт и иже с ними , это не более чем продвинутая и дружелюбная к пользователю СУБД ...
с точки зрения принципов работы всего этого и маркетинга - EXCEL тоже ИИ ))
Перцептрон Розенблатта передает всем привет из 1957 года ...
Кончится это все тоже предсказуемо , как кончился кризис Доткомов ...,Железнодорожный кризис в Британии , Телеграфный кризис , - биржевыми крахами ) ......
а технологии останутся, без хайпа конечно )
никакого ИИ нет , - все гроки и чатгпт и иже с ними , это не более чем продвинутая и дружелюбная к пользователю СУБД ...
с точки зрения принципов работы всего этого и маркетинга - EXCEL тоже ИИ ))
Перцептрон Розенблатта передает всем привет из 1957 года ...
Кончится это все тоже предсказуемо , как кончился кризис Доткомов ...,Железнодорожный кризис в Британии , Телеграфный кризис , - биржевыми крахами ) ......
а технологии останутся, без хайпа конечно )
Перцептрон Розенблатта передает всем привет из 1957 года
Ваши слова эмоциональны, но по сути правильны.
То, что есть сейчас - не ИИ. Это гораздо больше, чем просто БД или Excel, но для того, чтобы стать ИИ нужно еще намного-намного больше. Навскидку: критическая оценка ответа, способность выдвигать и проверять гипотезы, способность генерить случайные идеи (и самостоятельно их оценивать до того, как выдать).
То, что есть сейчас - не ИИ. Это гораздо больше, чем просто БД или Excel, но для того, чтобы стать ИИ нужно еще намного-намного больше. Навскидку: критическая оценка ответа, способность выдвигать и проверять гипотезы, способность генерить случайные идеи (и самостоятельно их оценивать до того, как выдать).
То, что есть сейчас - не ИИ.
Не совершайте моей ошибки, усилиями торговцев воздухом термин "искусственный интеллект" уже официально прикрутили к нейросетям.
Создали удобный в определенных сценапиях и задачах инструмент- нейросети. Но их создатели начали называть свой продукт ИИ и реально торговать воздухом, стремясь получать всё больше бабла от впечатлительного пипла.
И хотя уже давно ясно что этот инструмент постоянно врёт, его надо постоянно перепроверять и что до Интелекта там как до Луны пешком, но это всё равно не останавливает продавцов. Они упорно обещают какие-то фантастические перспективы (типа замена программистов на их ИИ) и продолжают собирать деньги.
для того, чтобы стать ИИ нужно еще намного-намного больше. Навскидку: критическая оценка ответа, способность выдвигать и проверять гипотезы, способность генерить случайные идеи (и самостоятельно их оценивать до того, как выдать).
То, что есть сейчас - не ИИ. Это гораздо больше, чем просто БД или Excel, но для того, чтобы стать ИИ нужно еще намного-намного больше.
Раньше считалось, что так отвечать можно лишь им обладая.
Оказалось, ничего подобного!
Понятия сместились и теперь то, что вы подразумеваете, называя ИИ, теперь называют
AGI
Они упорно обещают какие-то фантастические перспективы (типа замена программистов на их ИИ) и продолжают собирать деньги.
Может ли существовать интеллект без самосознания?
Вас это удивляет? Помните была такая биотехнология - "клонирование"? В смысле не "была", а и сейчас очень даже бодро есть. Но помните, какой тогда визг стоял?
И меня это не удивляет. Вот еще один пример- сказки Маска про то что скоро полетим на Марс строить там колонию. Уже сколько лет рассказывает этот бред впечатлительным лопухам.
А если просто посмотреть как идёт освоение ближайшей к нам Луны то станет ясно, что никаких полётов и тем более колоний на Марсе не будет даже в далёкой перспективе. Но продавец воздуха трёт про Марс что аж уши заворачиваются.
Вот еще один пример- сказки Маска
Но их создатели начали называть свой продукт ИИ и реально торговать воздухом, стремясь получать всё больше бабла от впечатлительного пипла.
в весьма далеком, но обозримом будущем.
но благодаря его усилиям и сказкам, да, не колония, но обитаемая база на Луне, которая еще лет 20 назад была чистой фантастикой, сейчас видится вполне достижимой целью в весьма далеком, но обозримом будущем.
Да, это не ИИ. Нет, это не Эксель. Нет, нейросети не врут (для этого необходим интеллект) они ошибаются.
При правильно заданном вопросе можно добиться 90-95% правильности в ответах. В темах где человек отвечает примерно 60-65 % правильно.
Хайп? Да, но не в том что нейросети это новый уровень развития человеческой цивилизации, хайп в обещаниях что нейросети всё сделают за вас при чём с помощью одной кнопки "шедевр".
При правильно заданном вопросе можно добиться 90-95% правильности в ответах. В темах где человек отвечает примерно 60-65 % правильно.
Хайп? Да, но не в том что нейросети это новый уровень развития человеческой цивилизации, хайп в обещаниях что нейросети всё сделают за вас при чём с помощью одной кнопки "шедевр".
В темах где человек отвечает примерно 60-65 % правильно.
Абсолютно не корректное сравнение
Калькулятор отвечает в соответствии с чётко прописанными и заложенными в него инструкциями.
Калькулятор отвечает в соответствии с чётко прописанными и заложенными в него инструкциями.
Калькулятор отвечает в соответствии с чётко прописанными и заложенными в него инструкциями.
Типо того. Что больше 9.11 или 9.9?
Этот вопрос долго нейронки в тупик ставили.
Этот вопрос долго нейронки в тупик ставили.
Калькулятор отвечает в соответствии с чётко прописанными и заложенными в него инструкциями.
Какая пользователю разница как там внутренне устроен инструмент? От инструмента человеку трубуется одно- выполнение того, для чего этот инструмент предназначен.
Если дают калькулятор и говорят- он может выполнять арифметические операции, то чётко там в нем прописаны инструкции, или не четко- никого вообще не волнует.
С этим ИИ также- если везде из каждого утюга вещают что это Искусвенный Интеллект, что он может заменить программистов и всё такое прочее- то от него никак не ждут вранья в половине случаев, и не оправданий этого тем что типа надо лучше спрашивать, да и вообще оказывается вы его не там и не так используете.
Может ли существовать интеллект без самосознания?
Очень хороший пример!И меня это не удивляет. Вот еще один пример- сказки Маска про то что скоро полетим на Марс строить там колонию.
А ещё из каждого утюга вещают разное типа - "купите акции МММ и сапоги вам обеспечены"
И да, на этом хайпе кто то заработал, а кто-то знатно прогорел.
Нужно различать обывательскую болтовню и реальность.
И нейронки здесь не помогут. Только сами.
И да, на этом хайпе кто то заработал, а кто-то знатно прогорел.
Нужно различать обывательскую болтовню и реальность.
И нейронки здесь не помогут. Только сами.
чтобы стать ИИ нужно еще намного-намного больше. Навскидку: критическая оценка ответа, способность выдвигать и проверять гипотезы, способность генерить случайные идеи (и самостоятельно их оценивать до того, как выдать).
никакого ИИ нет
А ещё из каждого утюга вещают разное типа - "купите акции МММ и сапоги вам обеспечены"
И да, на этом хайпе кто то заработал, а кто-то знатно прогорел.
И да, на этом хайпе кто то заработал, а кто-то знатно прогорел.
Нужно различать обывательскую болтовню и реальность.
Не надо из людей делать идиотов, типа они всё неправильно понимают, не так спрашивают, не там применяют и т.п. Если бы продавцы-создатели этих ИИ рассказывали всё честно- для чего этот инструмент, какие у него области применения, какие возможности, какие ограничения и т.д, то никаких вопросов бы не было.
Но они же всё это называют ИИ с безграничными возможностями и всё такое, а начинают что-то объяснять про галюцинации, ограничения применений и т.д только после того, как их на этом поймают. А на слежующий день снова выходят и трут по ушам всю эту шнягу для сбора бабла.
объясните мне, почему я все-же могу применять термин "интеллект" к своим студентам?
Хайп вокруг ИИ типа "сейчас я нажму кнопку и ИИ создаст для вас маркетинг план, прогноз продаж, проведет обзвон клиентов и продаст больше пылесосов что была создано" это и есть мошенничество.
Когда говорят что с помощью нейронки интегрированной в платформы приспособленных для кодинга производительность программистов вырастет уже сегодня это не хайп а констатация факта.
Когда говорят что с помощью нейронки интегрированной в платформы приспособленных для кодинга производительность программистов вырастет уже сегодня это не хайп а констатация факта.
производительность программистов вырастет уже сегодня это не хайп а констатация факта.
Ой, правда? Всего одно, и только то, которое уже было где подсмотреть?
Кому же верить - вам на слово или www.scientificamerican.com ?
Кому же верить - вам на слово или www.scientificamerican.com ?
Ой, правда? Всего одно, и только то, которое уже было где подсмотреть? Кому же верить - вам на слово или www.scientificamerican.com ?
Когда говорят что с помощью нейронки интегрированной в платформы приспособленных для кодинга производительность программистов вырастет уже сегодня это не хайп а констатация факта.
А вот так типично выглядит как всё это преподносят продавцы ИИ. Почувствуйте разницу:
Если Дип Майнд такой умный - что ж он не решит проблемы Ландау, например?
"Что больше 9.11 или 9.9?
Этот вопрос долго нейронки в тупик ставили."
Только про это продавцы ИИ не скажут. Они трут по ушам то, что на видео выше.
все всё прекрасно понимают - что ни на Марс мы в ближайшее время не полетим, ни что машины без водителя в обозримом будущем не начнут ездить. Но все хотят помечтать
Ахаха, то есть с «они вообще ничего сами не могут, только ответы копипастить» уже перешли на проблемы Ландау? Чего уж, давайте единую теорию поля заодно.
Ну вы загнули...
с «они вообще ничего сами не могут, только ответы копипастить»
Ок, напрямую возможно и не писали, тогда извините.
У меня просто такое впечатление сложилось.
У меня просто такое впечатление сложилось.
Не знаю как насчёт сдачи экзамена на адвоката, но я периодически прохожу тесты НМО с помощью нейронок. На 4 и 5. (не медик, жене помогаю).
Пишу всякие мелочи для сайта (код) не будучи программистом.
Рисую картины, некоторые даже продал (не файл, а именно напечатанные на холсте). Вживую рисовать не умею.
Да - это не получится сделать просто зайдя в первопопавший чат и попросив "сделай мне что нибудь крутое".
Но можно, если потрудиться.
Пишу всякие мелочи для сайта (код) не будучи программистом.
Рисую картины, некоторые даже продал (не файл, а именно напечатанные на холсте). Вживую рисовать не умею.
Да - это не получится сделать просто зайдя в первопопавший чат и попросив "сделай мне что нибудь крутое".
Но можно, если потрудиться.
Но можно, если потрудиться.
Кстати говорят.
Просто слушать надо не интервью новостным каналам.
Команда Яндекса как то делилась проблемой что у них нейронка не могла считать ноги у лошади. Проблема была именно из-за того что они ставили себе задачу - решить этот вопрос не путем внесения информации в бд нейронки, а так что бы нейронка сама пришла к правильному выводу.
Антропики вообще рекордсмены по обсуждениям проблем и вопросов связанных с обучением и безопасностью (на их собственном Ютуб канале).
Дипсик просто выложил код в открытый доступ - так сказать все карты на стол выложили.
У опенов маркетинга больше всего. В том числе и обещание выпустить супер интеллект скоро скоро. К сожалению да, часть их обещаний не выполняется и это уже подмочило их репутацию.
Но и реальных успехов у них много.
Просто слушать надо не интервью новостным каналам.
Команда Яндекса как то делилась проблемой что у них нейронка не могла считать ноги у лошади. Проблема была именно из-за того что они ставили себе задачу - решить этот вопрос не путем внесения информации в бд нейронки, а так что бы нейронка сама пришла к правильному выводу.
Антропики вообще рекордсмены по обсуждениям проблем и вопросов связанных с обучением и безопасностью (на их собственном Ютуб канале).
Дипсик просто выложил код в открытый доступ - так сказать все карты на стол выложили.
У опенов маркетинга больше всего. В том числе и обещание выпустить супер интеллект скоро скоро. К сожалению да, часть их обещаний не выполняется и это уже подмочило их репутацию.
Но и реальных успехов у них много.
Пример того как звучит обсуждение нейронок не в маркетинговом варианте (из разряда слова знакомые) 😁
.Ранее мы обсуждали с вами RoPE, а теперь поговорим о его модификациях. Собрали много интересного, поэтому будет целых три поста по этой теме. Enjoy!
Для начала напомним, что Positional Encoding (кодирование позиций слов/токенов) нужен, чтобы передать модели или трансформеру информацию о позициях слов — относительную или же абсолютную.
Как развивалось позиционное кодирование:
📆 2017 год
С появлением ванильного трансформера позиции токенов кодировались тригонометрической функцией, значение которой зависело от позиции и просто прибавлялось к эмбеддингу соответсутвующего слова.
Плюсы — мы умеем кодировать любую позицию, в том числе превосходящую максимальную длину, на которой тренировались.
Минусы — не очень работает на длинных последовательностях, да и вообще не очень хорошо работает.
📆 2018 год
Потом появился гугловский BERT, а вместе с ним новый подход позиционного кодирования: авторы предложиди выкинуть тригонометрию и вместо этого добавить в модель ещё один обучаемый слой nn.Embedding — такой же, как для получения эмбеддингов слов. Он должен кодировать — то есть, превращать в вектор — позицию токена.
Итоговый вектор токена, который будет передан следующим слоям модели — это сумма векторов токена и его позиции. Работает лучше, чем тригонометрия, но при этом никак не экстраполируется: так как векторы выучиваемые, то для позиций, превосходящих максимальную тренировочную длину, мы кодировать не умеем — она вне ключей нашего словаря эмбеддингов, так же, как мы не можем закодировать и незнакомый модели токен.
В это же время впервые появилась идея о том, что нам важны не столько абсолютные позиции слов, сколько относительные. Авторы статьи решили кодировать не абсолютную позицию, а только относительную (Relative Position Encoding, или RPE), то есть близость каждой пары токенов. Здесь же появилась идея, что позицонное кодирование стоит добавлять не в момент создания эмбеддингов слов, а на этапе Attention, добавляя знание о позициии в queries и keys.
Для начала напомним, что Positional Encoding (кодирование позиций слов/токенов) нужен, чтобы передать модели или трансформеру информацию о позициях слов — относительную или же абсолютную.
Как развивалось позиционное кодирование:
📆 2017 год
С появлением ванильного трансформера позиции токенов кодировались тригонометрической функцией, значение которой зависело от позиции и просто прибавлялось к эмбеддингу соответсутвующего слова.
Плюсы — мы умеем кодировать любую позицию, в том числе превосходящую максимальную длину, на которой тренировались.
Минусы — не очень работает на длинных последовательностях, да и вообще не очень хорошо работает.
📆 2018 год
Потом появился гугловский BERT, а вместе с ним новый подход позиционного кодирования: авторы предложиди выкинуть тригонометрию и вместо этого добавить в модель ещё один обучаемый слой nn.Embedding — такой же, как для получения эмбеддингов слов. Он должен кодировать — то есть, превращать в вектор — позицию токена.
Итоговый вектор токена, который будет передан следующим слоям модели — это сумма векторов токена и его позиции. Работает лучше, чем тригонометрия, но при этом никак не экстраполируется: так как векторы выучиваемые, то для позиций, превосходящих максимальную тренировочную длину, мы кодировать не умеем — она вне ключей нашего словаря эмбеддингов, так же, как мы не можем закодировать и незнакомый модели токен.
В это же время впервые появилась идея о том, что нам важны не столько абсолютные позиции слов, сколько относительные. Авторы статьи решили кодировать не абсолютную позицию, а только относительную (Relative Position Encoding, или RPE), то есть близость каждой пары токенов. Здесь же появилась идея, что позицонное кодирование стоит добавлять не в момент создания эмбеддингов слов, а на этапе Attention, добавляя знание о позициии в queries и keys.
Просто слушать надо не интервью новостным каналам.
Я же говорю про обычного человека, а не про того, который изучает эти нейросети, следит за ними и специфически их использует. Обычный человек не ищет какие-то специальные интервью, он живет в общественном информационном поле. А там именно тот хайп вокруг ИИ про который я говорю.
Пример того как звучит обсуждение нейронок не в маркетинговом варианте
У меня просто такое впечатление сложилось
Но можно, если потрудиться.
Утомил этот хайп , который на 99.9 основан на абсолютно маркетинговым термином "ИИ ")
никакого ИИ нет , - все гроки и чатгпт и иже с ними , это не более чем продвинутая и дружелюбная к пользователю СУБД ...
никакого ИИ нет , - все гроки и чатгпт и иже с ними , это не более чем продвинутая и дружелюбная к пользователю СУБД ...
"Как построить свою экспертную систему"
Автор: Нейлор Крис
Издание 1991
lib.ysu.am
Вы хотя бы открывали эту книгу?
Раз эта штука умеет подумать
А паровая турбина - из Александрии I в. до н.э.
ни что машины без водителя в обозримом будущем не начнут ездить.
все гроки и чатгпт и иже с ними , это не более чем продвинутая и дружелюбная к пользователю СУБД ...
с точки зрения принципов работы всего этого и маркетинга - EXCEL тоже ИИ ))
с точки зрения принципов работы всего этого и маркетинга - EXCEL тоже ИИ ))
Может ли существовать интеллект без самосознания?
Смотря что такое "интеллект"
практически не использую LLM для поиска именно по этой причине- галлюцинации и необходимость доп.проверок. пока мне хватает гугла, чтобы быстро найти требуемое. кстати, Perplexity, как поиск не зашёл мне лично, возможно, надо будет целенаправленно погрузиться в особенности его использования.
возможно когда то поиск также будет лучше осуществлять с ними, но сейчас они явно не для этого заточены.
чаще всего использую chatgpt и claude для своих домашних мини-проектов. что то быстро накодить, адаптировать простой код телеграм-бота, какие то макросы-формулы для офиса по работе т.д.
второе применение- рецепты и подсказки для питания. кидаешь список продуктов, специй, которые в наличии и просишь сделать меню на несколько дней, чтобы было разнообразным и "подъесть остатки" ).
недавно попробовал в качестве юриста - составить претензию в адрес управляющей компании. скинул все факты, которые имел, мысли и требования, попросил оформить со ссылками на нормативные акты. скажем так, статьи и пункты указал chatgpt достаточно качественно, в одном месте только ошибся, я бы так не составил, а за претензию 5к рублей не меньше просит юрист с непредсказуемым качеством).
второе применение- рецепты и подсказки для питания. кидаешь список продуктов, специй, которые в наличии и просишь сделать меню на несколько дней, чтобы было разнообразным и "подъесть остатки" ).
недавно попробовал в качестве юриста - составить претензию в адрес управляющей компании. скинул все факты, которые имел, мысли и требования, попросил оформить со ссылками на нормативные акты. скажем так, статьи и пункты указал chatgpt достаточно качественно, в одном месте только ошибся, я бы так не составил, а за претензию 5к рублей не меньше просит юрист с непредсказуемым качеством).
AI, благодаря человекам-учителям, станут умнее, но не факт, что правдивее.
И вряд ли терпимее к более глупым своим конкурентам - людям.
Где вы, 3 закона Айзека, когда так нужны?
И вряд ли терпимее к более глупым своим конкурентам - людям.
Где вы, 3 закона Айзека, когда так нужны?
станут умнее, но не факт, что правдивее.
[...]
Где вы, 3 закона Айзека, когда так нужны?
[...]
Где вы, 3 закона Айзека, когда так нужны?
Где вы, 3 закона Айзека, когда так нужны?
Ну дык в них изначально заложен способ разрешения конфликтов, если один противоречит другому.
Ну дык в них изначально заложен способ разрешения конфликтов, если один противоречит другому.
Робот Жискар, изобретя нулевой закон, благополучно похерил остальные три 😄
Рассказ Азимова, в котором робот не мог не врать именно в силу 3 законов, прошел мимо вас?
И он только подтверждает факт, что робот - AI, который пытается лгать - пусть даже из лучших побуждений под эгидой Первого закона нашего Азимова - не может и не должен функционировать, так как своей ложью причиняет ещё больший вред людям и этим нарушает тот же Первый закон роботехники.
Так что, как говорила Д.Амбридж, "Я не должен лгать!"
Так что, как говорила Д.Амбридж, "Я не должен лгать!"
То есть получается поиск с помощью нейросетей тупо на 60% менее эффективен, чем просто поиск с использованием обычных поисковых систем? Интересно.
просто поиск с использованием обычных поисковых систем
Вывод о том, что поиск с использованием нейросетей «на 60% менее эффективен», является упрощённым и не совсем корректным, поскольку текст говорит именно о проценте допущенных ошибок, а не о сравнительной эффективности поиска в целом. Исследование показало, что в совокупности ответы ИИ-систем ошибочны в 60% случаев по выбранным критериям (указание статьи, новостной организации и URL). Однако это не означает прямого сравнения с обычными поисковыми системами, поскольку исследование основывалось на проверке точности результатов, а не на измерении эффективности поиска в широком смысле.
тот же Гугл поиск <...> Работает отвратительно последние года 4.
Однако это не означает прямого сравнения с обычными поисковыми системами
Они убедились, что каждая статья попадает в первые три результата поиска Google при использовании цитируемого отрывка из статьи.
эффективности поиска в широком смысле
Нейросети это не поиск. Кроме Perplexity и <*>Search которые поиск + нейронка сверху. Точно так же как спросить человека назвать точный URL и источник новости и он скорее всего ошибется.
Тот факт, что Google показывал каждую статью в топ-3 результатов при поиске по цитате, использовался в исследовании как критерий релевантности и базовая проверка наличия нужного материала. Однако это не означает, что Google обладает абсолютной 100% эффективностью или что его можно напрямую сравнивать с системами ИИ по параметру «нашёл/не нашёл».
Исследователи оценивали не только факт нахождения материала, но и корректность представленной информации по трём параметрам: название статьи, новостное издание и URL. То есть «эффективность» в данном контексте — это не просто бинарное «нашёл или не нашёл», а качество и точность информации, которую выдаёт система. Поэтому вывод о 60% ошибочности ИИ-систем относится к тому, как часто они предоставляют неверные или неполные данные, а не к сравнению общего уровня релевантности между Google и поисковыми системами с ИИ.
Исследователи оценивали не только факт нахождения материала, но и корректность представленной информации по трём параметрам: название статьи, новостное издание и URL. То есть «эффективность» в данном контексте — это не просто бинарное «нашёл или не нашёл», а качество и точность информации, которую выдаёт система. Поэтому вывод о 60% ошибочности ИИ-систем относится к тому, как часто они предоставляют неверные или неполные данные, а не к сравнению общего уровня релевантности между Google и поисковыми системами с ИИ.
Нейросети это не поиск. Кроме Perplexity и <*>Search которые поиск + нейронка сверху. Точно так же как спросить человека назвать точный URL и источник новости и он скорее всего ошибется.
тот же Гугл поиск намеренно испорчен
А что, есть какие-то интернациональные поисковые системы лучше?
ищет так же плохо как и я сам?
Она ищет хуже тебя.
И в этом — её преимущество.
То есть «эффективность» в данном контексте — это не просто бинарное «нашёл или не нашёл»
По крайней мере на русском Яндекс ищет в разы лучше. И даже если просто нудно найти информацию, объясняющую что-то - тоже. Поиск Гугла стал отвратителен.
Были. 😄 Google-поиск образца года, предшествующего тому, как его испортили.
По крайней мере на русском Яндекс ищет в разы лучше.
А что, есть какие-то интернациональные поисковые системы лучше?
А что, есть какие-то интернациональные поисковые системы лучше?
Оттого и бесит эта преступная деятельность нового руководства поисковика Гугла, в погоне за ростом прибылей сделавшего из него в первую очередь инструмент для продвижения товаров и услуг. В ущерб главной функции - релевантного поиска.
Если прибыль выросла - значит, не испорчен, а оптимизирован.
Оттого и бесит эта преступная деятельность нового руководства поисковика Гугла, в погоне за ростом прибылей сделавшего из него в первую очередь инструмент для продвижения товаров и услуг.
Между тем в замке у шефа...
ИИ-апокалипсис своими руками.
ИИ-апокалипсис своими руками.
Эрик Шмидт, бывший генеральный директор Google, и Александр Ван, основатель Scale AI, являются соавторами документа под названием «Стратегия сверхинтеллекта». В нём они предупреждают о рисках создания правительства США Манхэттенского проекта для так называемого общего искусственного интеллекта (AGI). Они считают, что такой проект может быстро выйти из-под контроля и привести к глобальным последствиям.
Походу они таки посмотрели Терминатора.
Скорее Person of Interest)
Нет Клода. А он-то как раз интересует больше всего. У меня сложилось впечатление, что он абсолютно чётко видит весь контекст задачи и часто подсказывает стратегически оптимальные следующие ходы.
У Клода нет поиска по интернет страницам.
А Perplexity это не нейронка а сервис поиска использующий другие нейронки в частности Дипсик.
А Copilot это Чатгпт.
А Perplexity это не нейронка а сервис поиска использующий другие нейронки в частности Дипсик.
А Copilot это Чатгпт.
Да, немаловажная деталь - речь идёт о Соннете.
| У Клода нет поиска по интернет страницам.
Точно. Не в тему написал.
Точно. Не в тему написал.
Июньский, октябрьский или ваще 3.7?
😁
😁
Июньский, октябрьский или ваще 3.7?
Gemini. Злой искусственный интеллект и программисты, оставшиеся без работы.
программисты, оставшиеся без работы
Подозреваю, что если спросить ОпенАИ или хАИ о исследователях такой компании, мы услышим много нелестных фраз.
И ведь будут правы! )
И ведь будут правы! )
В совокупности поисковые системы ИИ ошибаются в 60% случаев. Более того, эти неверные результаты подкреплялись "уверенностью" ИИ в них.
Что интересно, даже признав свою неправоту, ChatGPT дополняет это признание еще более сфабрикованной информацией. Похоже, что ИИ запрограммирован на то, чтобы любой ценой отвечать на каждый запрос пользователя.
Что интересно, даже признав свою неправоту, ChatGPT дополняет это признание еще более сфабрикованной информацией. Похоже, что ИИ запрограммирован на то, чтобы любой ценой отвечать на каждый запрос пользователя.
Но человеки допилят AI, рано или поздно.
И конец "кожаным мешкам" 😄
И конец "кожаным мешкам"
Таки будут бегать вместо нас?
Но человеки допилят AI, рано или поздно.
Может всё это хоть конечно и изменится, но так и останется таким говорливым и часто ошибающимся помощником?
а что бля если нет? (с)
Таки мы будем бегать от них 😄 но недалеко и недолго.
останется таким говорливым и часто ошибающимся помощником?
ИскИн с зародыша подчиняется законам эволюции, плюс неестественный отбор создателями плюс турборазвитие учителями-человеками на базе накопленной за века людьми горы информации.
Нет, судя по темпам развития AI, нас ещё ждут большие сюрпризы, о чём и предупреждают мудрые люди уже сейчас.
а что бля если нет? (с)
а что бля если да?
И снова - перед вами подмастерье, старательный, но неопытный. Не спрашивайте у него то, ответ на что вы не знаете сами. Поручайте ему СДЕЛАТЬ то, что вам самому делать лень или некогда.
Поручайте ему СДЕЛАТЬ то, что вам самому делать лень или некогда.
Бегать по утрам?
перед вами подмастерье, старательный, но неопытный.
Я чувствую его тааакому научат пользователи, что он сам себя отформатирует.
Бегать по утрам?
Бегать по утрам?
Перестать пить коньяк по утрам.
Mission impossible.
И при этом один из популярных запросов "создание схемы торгов на бирже" 😁
ИИ адаптируется к нам, а мы к его особенностям. Я уже понимаю где ему доверять (но проверять!) можно, а какие запросы лучше даже не пытаться - наврёт и не покраснеет.
Так или иначе он здорово помогает мне с рутинными процедурами.
Так или иначе он здорово помогает мне с рутинными процедурами.
Теги
Информация
Что ещё почитать
Обзор умных часов Huawei Watch GT 5
03.12.2024
98
DAS - приводим в порядок бэкапы
21.01.2025
67
Дикарные разбросы проблемных котлов
07.03.2025
86
