Малые Языковые Модели (Small Language Models или SLM) - главный тренд начала 2024 года
Если вам кажется что языковые модели - это что-то, что работает только на серверах OpenAI, то у меня для вас новости.
С недваних пор, появилось такое явление как Малые Языковые Модели (они же Small Languge Models или SLM). Определение слово малый пока еще не устоялось, но обычно имеются ввиду модели типа 1B, 2B и 7B (миллиарды параметров). Малые языковые модели уже не просто существуют, но и доступны в несколько кликов для установки на ваш ноутбук. Работают в реальном времени и по качеству сравнимы с GPT-3.5 (Mixtral).
При этом, например Phi-2 - 2х миллиардная открытая модель от Microsoft весисит всего 1.5 Гб. То есть в каком-то смысле - это весь интернет, сжатый в такой крошечный объем.
Что бы попробовать самостоятельно:
2. Устанавливаем
3. Запускаем Terminal (CMD на Windows)
4. Пишем ollama run mistral (или phi, или любую другую модель из списка )
5. Приватно общаемся (даже с выключеным интернетом в самолете)