通过微调提升人工智能性能

通过微调提升AI性能

将LLMs调整为执行特定任务!

最初发布在louisbouchard.ai上,我博客上提前2天阅读!

观看视频:

我们可以将大型语言模型调整为我们想要的任何功能。它可以成为您的个人助理,回答您的所有电子邮件,或者成为您将来的律师。您可以让它们做任何您想要的事情。但是,您如何做到这一点呢?微调!让我们深入了解它是什么,它如何工作,以及最重要的是,如何与我合作过的一家出色公司Gradient一起轻松完成:Gradient是一个适用于像您和我这样想要构建和部署AI模型的个人的惊人平台。

当涉及几乎所有AI,尤其是大型语言模型时,微调是非常重要的。基本上,它是将非常强大的通用模型(如GPT-4)转化为专业的特定任务的过程。从某种程度上说,它就像是先上高中,然后上大学,获得硕士学位和博士学位。您从非常广泛的知识开始,建立了良好的基础,并在越来越狭窄的用例上进行迭代改进,最终成为专家。

我不必向您推销GPT-4和其他大型语言模型已经有多强大,但对于专门的任务来说它还远非完美,而使其成为这样一个专家的最佳方法之一就是用专业知识对其进行微调。这意味着在我们希望它实现的确切任务上重新训练模型的部分,这比从头开始训练模型要少得多。

例如,GPT-4本身在医学知识方面已经有了一些相当不错的了解,多亏了互联网。但它还远非完美。就像询问您脸上出现的奇怪的疙瘩是什么问题,然后点击第一个出现的链接一样。不,它可能不是癌症,正如它所说的那样。

相反,您可以收集大量医学书籍和词典,并将它们提供给GPT-4,让它从中学习,只从中学习,从通才转变为专家。它将失去一些通才的能力,就像任何一个领域的天才或专家一样。在特定领域投入的大量时间肯定会在其他地方得到补偿。然而,如果您想要成为某事的最佳人选,这就是……