17 марта 2026 г.
ИИ больше не фигня
ИИ больше не фигня
Исследователи из Percepta опубликовали статью, где рассказали об эксперименте по запуску кода на Си прямо внутри модели. Для этого они обучили трансформер работать как виртуальная машина (WASM-интерпретатор).
Это стало возможно благодаря их новому механизму 2D‑attention. Он позволяет модели искать данные в истории с логарифмической сложностью вместо квадратичной, достигая скорости в десятки тысяч токенов в секунду на обычном CPU при выполнении кода.
Пока это proof‑of‑concept — маленькая модель, специально заточенная под VM. Неясно, насколько такой подход будет интегрируем в большие мультимодальные LLM. А главный вопрос —
Чем это лучше привычного tool use?
«Ну, во-первых, это красиво». Во-вторых, если такой подход станет мейнстримом, мой папа больше не сможет использовать неспособность LLM в математику как аргумент, что ИИ — фигня :)
А если серьезно, то для целого класса задач исчезает потребность во внешней обвязке как таковой, что потенциально кардинально снижает latency — больше не нужно передавать контекст от нейронки к внешнему инструменту и обратно.
По крайней мере отзывы от мэтров звучат многообещающе.
Михаил Парахин:
Это похоже на настоящий прорыв. Так красиво, так просто задним умом — все признаки отличной работы! [1]
Андрей Карпатый:
Погодите-ка, это же так здорово!! И то, и другое: 1) компилятор Си в весах LLM и 2) hard-max attention с логарифмической сложностью, и потенциальные обобщения. Вдохновляет! [2]
Как думаете, когда мы увидим WASM VM внутри GPT или Claude?
[1] https://x.com/MParakhin/status/2033347801544065076
[2] https://x.com/karpathy/status/2033383295237734847