Журнал новых технологий

Oб этoм сooбщили в прeсс-службe Microsoft.

Снaчaлa пoддeржкa будeт рeaлизoвaнa с целью устрoйств нa бaзe Qualcomm Snapdragon X, a зaтeм и ради Intel Core Ultra 200V.

Лoкaльный ИИ нa Copilot+ PC

Пeрвaя oптимизирoвaннaя трансформирование модели – DeepSeek-R1-Distill-Qwen-1.5B – с открытым кодом сейчас доступна в AI Toolkit, а более мощные варианты для 7B и 14B появятся в ближайшее время. Сии модели позволят разработчикам вселять и запускать программы искусственного интеллекта прямо на устройстве, используя объём производства NPU.

В Microsoft рассказывают, что устройство нейронной обработки на Copilot+ PC обеспечивает быстрое претворение моделей ИИ, поддерживая полунепрерывную работу служб. Сие позволяет разработчикам создавать проактивные решения бери базе генеративного ИИ, адаптируемые в режиме реального времени.

Вследствие разработке Phi Silica Microsoft смогла неизмеримо улучшить производительность ШИ-моделей, в частности, година до первого токена и поспешность обработки. Оптимизированные версии DeepSeek в (видах NPU используют уникальные подходы, в частности:

• классификация вычислительных операций между процессором и нейронным блоком в (видах оптимальной производительности;
• 4-битное квантование QuaRot, позволяющее модели гнуть горб быстрее, уменьшая потребление памяти;
• эксплуатация ONNX QDQ для совместимости с разными типами NPU в экосистеме Windows.

Подобный подход обеспечивает скорость поперед 16 токенов в секунду и минимальное исполнившееся ответа – 130 мс.

Т. е. испытать DeepSeek R1

Для тестирования модели Microsoft предлагает списать расширение AI Toolkit для VS Code. Марка, оптимизированная в формате ONNX QDQ, в скором времени появится в каталоге AI Toolkit, отнюдуже ее можно будет навалить локально.

Также пользователи могут проверить облачную версию DeepSeek R1 стоймя в Azure AI Foundry.

Благодаря сим нововведениям Microsoft делает ИИ пока еще более доступным для разработчиков, расширяя внутренние резервы локальных вычислений и обеспечивая жесткость в работе с моделями на ПК Copilot+.

Добавим, Microsoft и OpenAI начали обманывать расследование относительно того, противоправно ли группа, связанная с китайским стартапом DeepSeek, получила цифирь по технологии OpenAI.

Напомним,   мудреный ШИ-стартап DeepSeek AI Assistant из пизды на лыжах стал лидером   промеж бесплатных приложений в Apple App Store в Соединенных Штатах. Сие событие вызвало резонанс в технологическом мире.