OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность.
Как сообщает сотрудник IBM Carlos E. Perez, что увольнение и попытка возвращения обратно Сэма Альтмана это - всего лишь отвлекающий маневр руководства OpenAI.
Они не понимают, что делать в ситуации, когда исследователи OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность - самостоятельно "на лету" находить новую информацию ( которой нет в базе ее данных), позволяющую модели выходить за пределы знаний, сформированных на стадии ее обучения и потому ограниченных набором обучающих данных.
По сути, это первый шаг к самосовершенствованию ИИ.
И это реальный прорыв на пути к сверхинтеллекту «богоподобному ИИ».
Детали того, как это работает, можете прочесть у Карлоса. Речь идет об архитектуре Retrieval Augment Generation (RAG). Это архитектура, которая позволяет LLM использовать поисковую систему для расширения своих рассуждений.
Карлос обнаружил у новой версии модели, представленной 11 ноября, радикальное улучшение работы RAG.
Практическая проверка показала, что новая версия модели не только знает, какие вопросы она должна задать поисковику для получения нужной ей информации, но и то, какие типы ответов поисковика для нее наиболее предпочтительны, в контексте решаемой ею задачи.
Для справки : Карлос — не последний человек в мире ИИ. Уйдя из IBM он стал независимым исследователем. С тех пор он стал автором многих интересных работ на стыке AI, AGI, семиотики и глубокого обучения, а также написал несколько книг: Artificial Intuition, The Deep Learning Playbook, Fluency & Empathy, Pattern Language for GPT.
Майкрософт забрал его в итоге себе главным по ИИ, хм
если бы вас рассказали детали как построена модель, как ее тренируют и как она генерирует ответ, вы бы поставили все это под сомнение.
Модели дают контекст и она генерирует текст дальше. Если ей дать просто вопрос, то она сгенерирует кучу таких же вопросов.
Это текст генератор
"способность - самостоятельно "на лету" находить новую информацию ( которой нет в базе ее данных)"
чем это отличается от работы поисковиков гугль, яндекс, и других?