Новая архитектура может резко удешевить и ускорить большие языковые модели

MIT Technology Review пишет о стартапе, который утверждает, что нашёл способ обойти важное ограничение нынешних больших языковых моделей. Обещание звучит амбициозно: больше контекста, ниже энергозатраты, выше скорость и меньшая стоимость по сравнению с подходами эпохи трансформеров.

Самое интересное здесь не в том, окажется ли именно этот конкретный проект победителем, а в более широком выводе. Если стоимость серьёзных ИИ-нагрузок действительно удастся заметно снизить на уровне архитектуры, это изменит не только рынок моделей, но и круг тех, кто вообще может позволить себе внедрение ИИ. Тогда конкурентное преимущество получат не только компании с гигантскими бюджетами на чипы и дата-центры, но и те, кто сможет быстро встроить более дешёвые модели в продукты, аналитику, автоматизацию и внутренние процессы.

Практический смысл для бизнеса простой: следующая волна внедрения ИИ может идти через эффективность, а не только через гонку за максимальным качеством. Если архитектурные прорывы согнут кривую затрат вниз, ИИ станет массовее именно потому, что его станет проще окупать в повседневных сценариях.

Источник: MIT Technology Review