发布信息
登陆/注册

电子竞技 

当前位置： 首页 游戏应用电子竞技 正文

Google Gemma 优化后可在NVIDIA GPU上运行

作者：admin      2024-02-26 11:00:55     0



Google Gemma 优化后可在NVIDIA GPU上运行2024年2月21日,NVIDIA携手Google在所有NVIDIA AI平台上发布面向Gemma的优化功能,Gemma是Google最先进的新型轻量级2B和 7B开放语言模型,可在任何地方运行,从而降低成本并加快特定领域用户案例的创新工作。　　NVIDIA 和 Google的团队紧密合作,利用NVIDIA TensorRT-LLM(用于优化大语言模型推理性能的开源库),在数据中心的NVIDIA GPU、云计算和搭载NVIDIA RTX GPU 的PC上运行时,加速Gemma性能(Gemma由创建 Gemini 模型的相同研究和技术构建)。　　这使开发者能将全球高性能 AI PC中超过1亿台搭载NVIDIA RTX GPU的用户作为潜在用户进行开发。　　开发者还可在搭载 NVIDIA GPU 的云端运行Gemma,该实例拥有141GB HBM3e显存,速度为4.8TB/秒,Google将于今年部署该实例。　　此外,企业级开发者还可利用NVIDIA丰富的工具生态系统(包括依托NeMo框架的 NVIDIA AI Enterprise和 TensorRT-LLM),对 Gemma 进行微调,并将优化后的模型部署到生产应用中。　　详细了解有关 TensorRT-LLM如何加快 Gemma 推理速度的更多信息,以及面向开发者的其他信息:包括 Gemma 的多个模型文件和模型的 FP8 量化版本,以上这些都使用 TensorRT-LLM 进行优化。　　您可在NVIDIA AI Playground 上直接通过浏览器体验 Gemma 2B 和Gemma 7B。　　Gemma即将上线ChatwithRTX　　NVIDIA Chat with RTX 技术演示版也即将支持 Gemma,该Demo使用 检索增强生成(RAG) 和 TensorRT-LLM 软件,为用户提供在本地 Windows RTX PC 上的生成式AI功能。　　视频链接:https://www.bilibili.com/video/BV1Ky421z7PT/　　借助Chat with RTX,用户可将 PC上的本地文件轻松连接到大语言模型,利用自己的数据打造个性化聊天机器人。　　由于模型在本地运行,因此可快速生成结果,而用户数据则保留在本地设备上。与依赖基于云的 LLM 服务不同,Chat with RTX 可让用户在本地 PC 上处理敏感数据,而无需与第三方共享这些数据或连接互联网。　　关于NVIDIA　　自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,正在推动跨市场的工业数字化。NVIDIA现在是一家全栈计算公司,其数据中心规模的解决方案正在重塑整个行业。更多信息,请访问https://nvidianews.nvidia.com/ 。　　# # #　　媒体咨询:　　Jade Li　　NVIDIA GeForce, Studio PR　　邮箱:jadli@nvidia.com









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!

关键词： 新浪电竞

相关内容 查看全部