【英伟达GTC2024】无限可扩展的高性能AI网络专题-会议要点总结

【GTC 2024】无限可扩展的高性能AI网络专题 会议要点

开场 – 孟庆, NVIDIA中国区网络市场总监

强调了在大模型训练和推理快速发展的背景下，对AI算力的无限需求。讨论了如何通过提升GPU效率和使用率来在AI训练中取得领先地位，并提高投资的经济性。介绍了Nvidia的Infiniband网络和Spectrum-X解决方案，这些方案旨在为云计算运营商和AI创新企业提供高性能、高吞吐、低延迟的网络。强调了Nvidia DPU和Docker环境在释放GPU集群潜力中的作用。

主题演讲：大计算时代的网络 -宋庆春, NVIDIA网络亚太区高级总监

讨论了ChatGPT的出现如何引领我们进入大计算时代，以及对算力需求的增长。强调了数据中心作为算力中心的重要性，以及如何通过重新设计数据中心来满足超大算力的需求。描述了数据中心架构变革的方向，包括AI工厂和AI云服务的概念，以及Nvidia的nvlink和infiniband组合在提供极致性能方面的作用。介绍了ML perf作为衡量计算平台性能的工具，以及NVIDIA在软件和硬件层面的持续优化。

主题演讲：NVIDIA高效网络方案助力大模型应用 – 冯高峰, NVIDIA网络技术市场高级总监

讨论了NVIDIA在网络方面的独到之处，以及这些网络方案如何帮助构建高效的AI计算中心。介绍了大语言模型的训练和推理，以及如何通过网络性能提升集群运行性能。提到了Superpod参考架构，以及如何通过该架构获得高性能。讨论了Infiniband网络技术的发展和在AI领域的应用，以及其性能优势。

主题演讲：NVIDIA Spectrum-X构建以太网为底座拥有极致性能的AI集群 – 陈龙, NVIDIA网络市场开发总监

介绍了Spectrum-X平台，以及如何通过该平台构建高性能的AI集群。讨论了大模型兴起对AI市场的影响，以及以太网在云服务中的优势。强调了Spectrum-X平台在提供高性能网络传输方面的能力和应用场景。

主题演讲：DPU裸金属在大模型场景的应用 – 王晓慧, UCloud计算产品中心研发总监

分享了DPU裸金属产品的迭代和在大模型场景下的应用。讨论了BlueField卡的核心价值，以及如何通过BF卡迭代裸金属产品。介绍了结合裸金属产品和高性能GPU卡组建训练集群的方法。探讨了构建制算平台以方便算法工程师提交模型任务，以及AI GC方向的应用探索。

总结：本次会议深入探讨了高性能AI网络的构建和优化，特别是在大模型训练和推理方面的应用。NVIDIA的专家和UCloud的代表分享了他们在网络技术、DPU裸金属产品以及AI集群构建方面的经验和见解。讨论了如何通过技术创新来满足日益增长的AI算力需求，并提供高效、可扩展的解决方案。通过这些讨论，与会者能够更好地理解当前AI领域的技术趋势和最佳实践。

【GTC 2024】What’s Next in Generative AI 会议要点

-Manuvir Das，NVIDIA 企业计算副总裁

-Brad Lightca，OpenAI 首席运营官

OpenAI的角色与日常工作

Brad Lightca 作为 OpenAI 的 COO，他的工作重点是将实验室中的研究转化为能够服务于客户、用户和合作伙伴的实际应用。他大部分时间都在与客户接触，探索技术如何融入现实世界，并预测未来几年技术的发展。

企业对ChatGPT的应用

尽管ChatGPT最初并非为企业设计，但OpenAI 发现企业中有大量对ChatGPT感兴趣的应用程序。超过90%的财富500强公司正在使用ChatGPT，而且公司的每个职能部门都找到了使用这项技术的方法。

企业客户的合作经验

OpenAI 与企业客户的合作非常投入，尤其是在帮助企业提高运营效率方面。例如，财务团队可以使用ChatGPT来分析大量数据和进行记录调解，将HR转变为数据科学家。

OpenAI的使命与角色

OpenAI 的使命是确保技术的好处得到广泛分配。他们不仅提供服务，还致力于成为应用程序开发人员的完整工具集，帮助他们构建技术、工具和应用程序。

模型生态系统的发展

OpenAI 正在探索大型模型和小型模型在企业中的应用。他们认为，不同的模型可以针对不同的用例进行特殊优化，以提高性能。

企业对AI技术的应用策略

OpenAI 建议企业从解决两三个具体问题的领域开始，然后逐步扩展。他们鼓励企业让团队接触技术，以自然的方式发现技术的价值。

GPT的定制模型

OpenAI 推出了GPT的定制模型，允许用户根据自己的需求定制ChatGPT。这为企业提供了巨大的吸引力，因为他们可以根据自己的特定工作流程定制模型。

AI的未来发展方向

OpenAI 认为，AI模型的核心能力将不断提高，特别是在推理和执行方面。他们预见到AI将作为推理代理，能够提取信息、思考并采取行动。

技术的人性化

OpenAI 和NVIDIA 都认为，技术的人性化是未来发展的关键。他们预见到，随着时间的推移，人们与计算机的互动方式将发生根本性变化，更加自然和直观。

企业的AI采用和变革

OpenAI 观察到，企业对AI的采用和变革正在加速。他们认为，AI技术将帮助企业改善运营、提高效率，并为企业带来新的机会和价值。

总结：本次会议讨论了OpenAI在企业计算领域的工作和愿景，以及他们如何看待AI技术的未来发展方向。OpenAI 强调了技术的**化、人性化界面的重要性，以及他们如何帮助企业通过AI提高效率和创新。NVIDIA 对此表示支持，并期待与OpenAI 在未来的合作。

【GTC 2024】诞生于工业元宇宙、由 OpenUSD 支持的智能机器人 会议要点

-Cristian Satori, 西门子国家业务部经理

-Vincenzo De paola, 西门子人工智能技术销售支持

预测未来的重要性

人类一直渴望预测未来，这与我们理解、控制和创造光明未来的愿望有关。在当前快速变革的时代，新技术不断涌现，预测制造业的未来变得尤为重要。

制造业的挑战与趋势

制造业正面临从大规模生产向个性化生产的转变，需要在保持成本和质量的同时应对低交易量、高混合的生产挑战。

消费者需求的变化

消费者对个性化产品的需求日益增长，这对超市和制造业都提出了新的挑战，需要更灵活和模块化的生产线。

工业元宇宙的应用

工业元宇宙和智能机器人的发展，如由EPF开发的Superta，结合了先进的自动化、机器人技术和AI技术，以满足制造业的新需求。

Superta的特点

Superta是一个灵活的移动AISmARtphieter智能机器人，能够操纵多种组件并易于改变尺寸。它利用基于AI的视觉系统自动识别个体部件，适应新配方和未知产品的加工。

数字孪生的应用

西门子和EPF利用数字孪生技术在虚拟环境中验证自动化程序，执行机器周期时间的验证和警报触发，节省时间和成本。

人工智能与机器学习

AI和机器学习在制造业中的应用，如目标检测和抓取策略的优化，提高了机器人的生产力和准确性。

工业元宇宙的潜力

工业元宇宙提供了一个新的商业模式，通过创建数字孪生和AI代理的游乐场空间，推动制造业向自主工厂的转变。

开放USD联盟

西门子加入开放USD联盟，推动制造业标准的统一，促进不同领域专家之间的合作，优化设计过程。

合作与创新

西门子与英伟达的合作，以及CMS加速器的工业运营，展示了开放的工业数字业务平台和自动化软件的进步，为制造业的未来变革做好准备。

总结：本次演讲讨论了制造业在面临消费者需求变化和技术革新的挑战下，如何通过工业元宇宙和智能机器人的应用来适应和创新。西门子和EPF的合作案例展示了数字孪生技术在制造业中的潜力，以及人工智能和机器学习如何提高生产效率和灵活性。开放USD联盟的加入预示着制造业标准统一的趋势，为未来的工业自动化和自主工厂铺平了道路。

【GTC 2024】大模型深度定制以及在芯片设计应用中的探索 会议要点

-Mingjie Liu，研究科学家, NVIDIA

大语言模型（LLM）的应用现状

大语言模型展现出强大的自然语言处理能力，包括文本生成、数学和逻辑分析以及初步的推理能力。在代码生成方面，大模型展现出初步效果，尤其在API调用和提示词工程方面。

提升大模型性能的方法

使用few-shot learning和chain of thoughts技术来提升大模型的推理能力。通过检索式生成和检索增强的方法来减少模型的幻觉问题。

大模型在芯片设计中的应用

大模型可以辅助芯片设计流程，提供设计知识解答、报告总结和常见问题解决方案。在EDA工具中，大模型可以通过生成代码和脚本来自动化子任务。

定制化大模型的挑战与解决方案

公开的大模型可能缺乏特定领域的技巧和知识，需要通过定制化来适应特定领域。通过领域适应训练和对齐过程来生成增强的、适应特定领域的大模型。

定制化过程的技术细节

基于开源结果进行领域内的预训练，节省计算资源。扩充分词器以包含特定领域的高频词汇，并对模型进行微调以适应新词汇。使用领域内数据进行预训练，并通过Benchmark测试来验证性能。

定制化模型的性能提升

在特定领域任务上，定制化模型的性能显著提升，尤其是在设计知识和代码生成方面。即使在加入检索后，定制化模型仍保持良好的训练效果。

模型对齐和检索模型的训练

采用CRM等先进的对齐方法来提升模型生成文本的质量。通过对比学习增强检索模型的准确率。英伟达的NeMo框架提供从模型定制化到部署的全套解决方案，鼓励大家使用和尝试。

总结：本次演讲探讨了大语言模型在芯片设计领域的定制化应用，包括如何通过特定领域的预训练和对齐来提升模型性能，以及如何通过扩充分词器和微调模型来适应新词汇。通过Benchmark测试，定制化模型在特定领域任务上表现出显著的性能提升。此外，英伟达的NeMo框架为模型的定制化和部署提供了支持，展示了大模型在工业应用中的潜力。