Нові моделі OpenAI працюють з неймовірною швидкістю на відеокартах Nvidia

Компанія Nvidia оголосила про початок співпраці з OpenAI, щоб представити споживачам нове сімейство відкритих моделей, що дозволить найсучаснішому штучному інтелекту, який колись був ексклюзивним для хмарних центрів обробки даних, працювати з неймовірною швидкістю на ПК та робочих станціях з RTX.

Цей запуск відкриває нове покоління швидшого та розумнішого штучного інтелекту на пристрої, що підсилюється потужністю графічних процесорів GeForce RTX та PRO.

Доступні два нові варіанти, розроблені для обслуговування всієї екосистеми:

• Модель gpt-oss-20b оптимізована для роботи з піковою продуктивністю на ПК з NVIDIA RTX AI та щонайменше 16 ГБ відеопам’яті, забезпечуючи до 250 токенів за секунду на графічному процесорі RTX 5090.
• Модель gpt-oss-120b підтримується на професійних робочих станціях, прискорених графічними процесорами NVIDIA RTX PRO.

Навчені на графічних процесорах NVIDIA H100, це перші моделі, що підтримують точність MXFP4 на NVIDIA RTX, техніку, яка підвищує якість роботи моделі без додаткових втрат продуктивності порівняно зі старими методами. Обидві моделі підтримують до 131 072 довжин контексту, що є одними з найдовших доступних у локальному виведенні. Вони побудовані на гнучкій архітектурі суміші експертів (MoE), що включає можливості ланцюжка думок та підтримку виконання інструкцій та використання інструментів.

OpenAI показала світу, що можна створити на базі NVIDIA AI — і зараз вони просувають інновації у сфері відкритого програмного забезпечення. Моделі gpt-oss дозволяють розробникам усього світу працювати на цій найсучаснішій open-source основі, зміцнюючи технологічне лідерство США в галузі ШІ — на найбільшій у світі інфраструктурі для обчислень штучного інтелекту.

— сказав засновник і генеральний директор NVIDIA, Дженсен Хуанг

Раніше Nvidia повідомляли, що охочі вже можуть почати працювати з новими моделями OpenAI на відеокартах RTX. Ось список програм, які підтримують роботу з gpt-oss: Ollama, Llama.cpp Та Microsoft AI Foundry.