МОСКВА, 9 дек - РИА Новости. Исследователь из научного отдела "Яндекса" Владимир Малиновский создал сервис для запуска большой языковой модели с миллиардами параметров на обычном компьютере или смартфоне через любой браузер; такой подход поможет сократить расходы корпораций и стартапов на разработку и использование нейросетей, сообщил "Яндекс".
"Исследователь из научного отдела "Яндекса" Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне - через интерфейс любого браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM (большая языковая модель – ред.) дешевле. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub", - сказано в релизе.
Перенести все вычисления на пользовательские устройства и отказаться от использования дорогостоящих мощных графических процессоров позволяет технология сжатия нейросетей AQLM.
Чтобы протестировать сервис, пользователю нужно загрузить из облака нейросеть Llama3.1-8B, ее размер уменьшен в шесть раз - до 1,5 ГБ. После загрузки она может работать даже без интернета, а скорость ответа на запрос зависит от производительности самого устройства.
"Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Модель сжата с помощью комбинации методов AQLM и PV-tuning. Первый значительно уменьшает размер модели (до восьми раз) и ускоряет ее, а второй исправляет ошибки, которые возникают при сжатии, чтобы потери в качестве работы нейросети были незначительны. Так, несмотря на уменьшение Llama3.1-8B, удалось сохранить около 80% от первоначального качества ее ответов", - добавили в компании.
При перепечатке и цитировании (полном или частичном) ссылка на РИА "Новости" обязательна. При цитировании в сети Интернет гиперссылка на сайт http://ria.ru обязательна.
Комментарии отключены.
