你应该了解的顶级BERT应用
顶级BERT应用
语言模型预训练显著推进了自然语言处理（NLP）和自然语言理解（NLU）领域的发展。它成功地提高了各种NLP任务的性能，如情感分析、问答、自然语言推理、命名实体识别和文本相似性。像GPT、BERT和PaLM这样的模型因其模拟人类的能力而变得流行，它们能够生成准确的内容、回答问题、总结文本段落、翻译语言等等。其中，BERT是一个众所周知的模型，代表了双向编码器-转换器预训练模型。
BERTSUM
文本摘要需要对语言有比单词和句子更深入的理解。它的目标是在保留大部分含义的同时将一篇文章缩减到可管理的长度。可以用来进行文本摘要的两种基本方法是抽取式和生成式。抽取式摘要视任务为二元分类问题，模型决定是否将某个句子包含在摘要中。而生成式摘要则使用生成语言的工具，提供包含源文本中不存在的原始词汇和短语的摘要。
- 这篇AI论文提出了Soft MoE：一种全可微稀疏Transformer，旨在解决这些挑战，同时保持MoE的优势
- 人工智能与运营管理——真正的天作之合？
- “见识 PEARL – 新的人工智能工具，可执行客户支持和销售电话”
最新的研究探索了BERT在文本摘要中的潜力。研究团队提出了一种基于BERT的独特文档级编码器，可以同时表示整个文档和其中的组成短语。为了抽取式模型中的句子抽取任务捕捉文档级信息，他们在该编码器之上叠加了多个句子间Transformer层。生成式模型则将相同的预训练BERT编码器和一个随机初始化的Transformer解码器结合起来。
谷歌智能搜索
最新的研究利用BERT改进了谷歌搜索对特定查询的结果。以前，搜索“2019年巴西到美国旅行需要签证”会返回关于美国居民访问巴西的信息。然而，BERT使搜索引擎能够更准确地理解问题，并将用户识别为巴西旅行者，寻找进入美国的签证要求的信息。因此，用户会发现搜索结果更有用、更相关。
将BERT集成到搜索引擎中还对特色片段（featured snippets）产生了积极影响，这些片段是出现在搜索结果顶部的简洁数据摘要，简明地回答用户的查询。BERT通过更好地理解查询的上下文，使得高亮片段更准确，从而提供更好的用户体验。BERT并不取代谷歌已经建立的排名算法，而是作为额外的工具，帮助搜索引擎更全面地理解搜索查询的上下文和含义，使其呈现更相关且考虑到上下文的结果。
SciBERT
来自美国华盛顿州西雅图的艾伦人工智能研究所的研究团队提出了SCIBERT，这是一个独特的资源，旨在提高科学领域各种NLP任务的性能。它基于BERT，并使用大规模科学资料集进行了开发。其思想是修改BERT以帮助其理解和处理科学写作中使用的特定语言和词汇。
本研究的目的是探究具有冻结嵌入与微调的任务特定架构的性能。作者在科学领域的多个任务上使用SciBERT进行了研究，并在其中许多任务上取得了新的最先进结果。这证明了SCIBERT如何在不同的NLP应用中提高对科学语言的性能和理解。
BioBERT
随着生物医学文献数量的快速增加，生物医学文本挖掘领域变得越来越重要。深度学习在创建高效的生物医学文本挖掘模型方面起到了关键作用。在最新的研究中，研究团队关注了如何修改BERT以适应生物学语料库的使用。他们提出了BioBERT（用于生物医学文本挖掘的双向编码器-转换器表示）作为解决这一问题的方案。BioBERT是一个领域特定的语言表示模型，使用大规模生物医学语料进行了预训练。
BERT将被调整以更好地适应生物医学文本，从而进行涉及生物医学文本挖掘的任务。虽然BERT的性能与先前的最先进模型相当，但BioBERT在三个代表性的生物医学文本挖掘任务（生物医学命名实体识别、生物医学关系提取和生物医学问答）中显著超越了它们。
ClinicalBERT
临床笔记是包含有用患者信息的笔记，这些信息在结构化数据中没有包含，包括测试结果或处方信息。由于这些笔记稀缺且维度高，从中提取出重要的模式和关系是具有挑战性的。一组研究人员使用BERT解析临床文本来实现这一目标。尽管临床文本与维基百科和BookCorpus等典型的语料库有很大的差异，但公开可用的BERT参数是在这些数据源上训练的。该团队使用临床笔记对BERT进行了预训练，成功地使其适应了医学语言的独特特点以解决这个问题。
经过适应和微调，最终得到了一个名为ClinicalBERT的模型。这个模型是理解临床写作的有用资源，因为它能够识别医学概念之间的关联，这些关联被医学专业人员评为高质量。在使用出院报告和最初几天的重症监护病房笔记进行30天住院再次入院预测时，ClinicalBERT优于许多基准模型。该模型在许多临床相关的评估参数上表现更好。
总之，被称为BERT的流行大型语言模型具有许多可以利用的应用，为各种耗时任务提供了新的视角。
