OpenVINO™ 工具套件:一款可轻松实现“一次写入,处处部署”的开源 AI 工具套件。
最新特性
更轻松地访问和转换模型
产品 |
详细信息 |
---|---|
全新模型支持 |
支持具有卓越性能指标的 GenAI LLM 即用型 chat/instruct 模型 Falcon-7b-Instruct。 |
生成式 AI 和 LLM 增强功能
扩展了模型支持,加快了推理过程。
功能 |
详细信息 |
---|---|
模型覆盖范围 |
新增 Jupyter* Notebook:YOLOv9*、YOLOv8* 定向边界框检测 (OBB)、Keras 中的 Stable Diffusion*、MobileCLIP、RMBG-v1.4 背景移除、Magika、TripoSR、AnimateAnyone、LLaVA-Next,以及带有 OpenVINO 工具套件和 LangChain 的检索增强生成 (RAG) 系统。 |
LLM 性能增强 |
通过增加的压缩嵌入优化,缩短了 LLM 编译时间。 利用英特尔® Advanced Matrix Extensions (英特尔® AMX),提高 LLM 在第四代和第五代英特尔® 至强® 平台上的第一个分词性能。 利用对英特尔锐炫™ GPU 的英特尔® oneAPI Deep Neural Network Library (oneDNN)、int4 和 int8 支持,提高 LLM 压缩能力和性能。 |
改进了可移植性和性能
一次开发,随处部署。通过 OpenVINO 工具套件,开发人员可以在边缘、云端或本地使用 AI。
产品 |
详细信息 |
---|---|
Arm* 处理器支持更新 |
对于卷积神经网络 (CNN),Arm 处理器现在默认启用 FP16 推理。 |
英特尔硬件支持 |
为提升英特尔® 至强® 处理器的性能,优化了 Mixtral 和 URLNet 模型。 为提高集成 GPU 的英特尔® 酷睿™ Ultra 处理器的推理速度,优化了 Stable Diffusion* 1.5、ChatGLM3-6b 和 Qwen-7B 模型。 英特尔® 酷睿™ Ultra 处理器的神经处理单元 (NPU) 预览插件除了包含在 PyPI 的主要 OpenVINO 工具套件包中外,现在也包含在 OpenVINO 工具套件开源 GitHub* 存储库中。 对于集成 GPU 的英特尔® 酷睿™ Ultra 处理器,部分小型生成式 AI (GenAI) 模型的内存显著降低。 |
JavaScript* API |
现在,更容易通过 npm 存储库访问 JavaScript API。因此,Javascript* 开发人员能够无缝访问 OpenVINO 工具套件 API。 |
注册了解独家消息、提示和版本发布
率先了解关于英特尔® 发行版 OpenVINO™ 工具套件的一切新内容。注册后,您可以获得抢先了解产品更新和发布信息、独家受邀参加网络研讨会和活动、培训和教程资源、竞赛公告以及其他突发新闻。
资源
社区与支持
探索各种参与方式,并及时了解最新公告。