+

Все медиа мира обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка.

Система PaLM способна рассуждать, применяя арифметическое и логическое мышление. Она на раз-два решает задачи типа:

«У Роджера 5 теннисных мячей. Он покупает еще 2 упаковки мячей. В каждой упаковке по 3 мяча. Сколько теннисных мячей теперь у Роджера?»

PaLM умеет объяснять Например, шутку

«Я собирался лететь в гости к семье 6 апреля. Но мама сказала, что у отчима поэтические чтения в этот вечер, и я решил лететь 7го»

PaLM объясняет так

«Шутка в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, и поэтому он меняет свой рейс на следующий день после поэтических чтений».

PaLM выстраивает цепочки рассуждений. Например, систему спрашивают:

«Дженни смотрит в окно и видит под собой очень красивое облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?»

Цепочка рассуждений PaLM:

«300 миль в час – это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте»

Следовательно, ответ «Да».

А теперь внимание.

ИИ системы PaLM умеет все вышеупомянутое (и много больше) используя в языковой модели для предварительного обучения до 540 млрд параметров.

ИИ-платформу BaGuaLu – совместную разработку Университета Цинхуа, Alibaba Group, Zhejiang Lab и Пекинской академии искусственного интеллекта: уже обучают на 2-х триллионах параметров; до конца года планируют довести до 14,5 трлн, а потом и до 174 трлн параметров.

Это значит, что уже до конца года у Китая может появиться отрыв в мощности языковых моделей от США в несколько десятков раз. Ну а что будут уметь столь огромные модели с числом параметров, превосходящим число синапсов в человеческом мозге, мы не знаем. Но это может оказаться для человечества большим откровением.