这个人工智能研究引入了突破性的方法来定制语言模型到芯片设计

革新性方法介绍人工智能研究，将语言模型定制应用于芯片设计

ChipNeMo探索了LLMs在工业芯片设计中的利用，采用了领域自适应技术而不是依赖现成的LLMs。这些技术涉及自定义标记化、领域自适应预训练、有监督的领域特定指导下微调和领域自适应的检索模型。该研究通过芯片设计的三个LLM应用评估了这些方法，相比通用型模型显著提高了性能。它在各种设计任务中实现了大幅模型大小的减小，同时突出了领域自适应LLM方法进一步优化的潜力。

该研究探索了LLMs在芯片设计中的领域特定应用，强调了各个领域中专有数据的存在。它深入研究了检索增强生成以增强知识密集型NLP和代码生成任务，结合了稀疏和稠密的检索方法。以往的芯片设计研究利用开源LLMs在领域特定数据上进行微调，以改进例如Verilog代码生成等任务的性能。同时，该研究还呼吁进一步探索和改进芯片设计中的领域自适应LLM方法。

电子设计自动化（EDA）工具提高了芯片设计的生产力，但仍然需要完成一些耗时的语言相关任务。LLMs可以自动化芯片设计中的代码生成、工程回应、分析和错误排除。以往的研究已经探索了LLMs在生成RTL和EDA脚本方面的应用。领域特定LLMs在领域特定的芯片设计任务中表现出优异的性能。其目标是提高LLM的性能同时减小模型大小。

• 监控大数据管道的数据质量变得轻松
• 牛津大学的研究人员介绍了DynPoint：一种人工智能算法，旨在促进无限制单目视频的快速合成新视角
• “认识circ2CBA：一种革新循环RNA-RBP结合位点预测的新型深度学习模型”

芯片设计数据经过定制的标记化处理，优化其适用于分析。进行了领域自适应的继续预训练过程，对预训练的基础模型进行微调，使其与芯片设计领域相匹配。有监督的微调利用领域特定和通用聊天指令数据集来提高模型性能。利用预训练模型，利用稀疏检索技术（如TF-IDF和BM25）以及稠密检索方法，增强信息检索和生成。

ChipNeMo中的领域自适应技术为芯片设计应用中的LLMs提供了显著的性能提升，涵盖的任务包括工程聊天机器人、EDA脚本生成和错误分析。这些技术不仅大幅减小了模型大小，还在各种设计任务中保持或提高了性能。领域自适应的检索模型超越了通用型模型，展示了显著的改进效果，较无监督模型提高了2倍，与句子转换模型相比提升了30倍。严格的评估基准，包括多项选择查询和代码生成评估，提供了模型准确性和有效性的可量化见解。

综上所述，领域自适应技术，如定制标记化、领域自适应预训练、有监督的领域特定指导下微调和领域自适应的检索模型，显著提升了芯片设计应用中LLM的性能。ChipNeMo模型，例如ChipNeMo-13B-Chat，在工程助理聊天机器人、EDA脚本生成和错误分析任务中展现出与基础模型相当或更好的结果，缩小了与更强大的LLaMA2 70B模型之间的性能差距。