使用生成式人工智能和机器学习模型进行电子邮件和移动主题行优化
使用生成式AI和机器学习模型优化邮件和移动主题行
邮件和推送通知的主题行和标题在确定参与率方面起着重要作用。数字沟通需要掌握撰写引人注目的主题行和简洁的推送通知标题的技巧，以吸引用户的注意力。市场营销人员根据要传达的信息的语气和目标受众来制定主题行。通过有效地“教授”这种技巧并将其优化为数字沟通，生成式人工智能模型为自动化这一过程提供了令人兴奋的途径。本文讨论了一些方法来创建有效的主题行和推送通知消息，并将它们与经典机器学习模型相结合，使用生成式人工智能（大型语言模型）预测开放率。
方法论
重要的不仅仅是创建吸引人的主题行，当今的大型语言模型只要有正确的提示就可以轻松生成。目标是为上下文和内容生成一个理想的候选项，以吸引收件人点击并查看消息。机器学习（ML）模型，特别是随机森林算法，可以在适当训练的情况下高度自信地预测收件人点击消息的可能性。通过将大型语言模型与预测性机器学习模型结合起来，可以生成高质量的主题行和推送通知标题。以下是几种可能的方法。
方法 1：通过从训练数据中提取主题行的关键特征（如长度、语言复杂性、情感）以及相应的开放率（标签）来训练预测性机器学习模型。使用大型语言模型生成多个候选主题行。机器学习模型可以通过提取关键特征并将其作为输入来预测每个候选主题行的开放率。选择预测开放率最高的主题行。
方法 2：与前一种方法类似，该模型是在数据集中使用原始消息和相应的开放率标签进行训练，而不是对数据集进行预处理以提取关键特征。使用训练好的模型生成大型语言模型生成的主题行的预测开放率。选择预测开放率最高的主题行。
方法 3：该方法扩展了方法 1。除了在关键特征上进行训练外，大型语言模型还经过微调，根据电子邮件内容、开放率、语气（如紧急性、积极性等）和目标受众人设（如人口统计学）生成主题行。经过微调的大型语言模型生成多个候选主题行，而训练在主题行特征上的预测性机器学习模型从候选项中选择最有效的主题行
核心思想是通过将语言模型的语言能力和传统机器学习模型的预测能力结合起来利用它们。语言模型生成候选项，然后由机器学习模型评分。
让我们详细阐述方法 3。
训练阶段
收集数据以训练模型
第一步是收集电子邮件和移动推送通知的样本。在训练数据中，除了消息内容、主题行、渠道和开放率之外，还应包括语气和目标受众标签。在数据集中，将每个条目标记如下：内容、主题行、移动推送标题、渠道类型、开放/点击率、语气和受众细分。在信息传递中，“渠道”类型是指通过该渠道传送消息或内容的语音助手。不同渠道（如电子邮件和移动推送通知）的最佳主题行长度和风格有所不同。
#样本训练数据
内容：新产品发布！
主题行：我们的新XYZ产品发布了！
语气：令人兴奋
受众：技术爱好者
渠道：电子邮件
开放率：0.25
内容：黑色星期五特惠来了！
标题：黑色星期五特惠！
语气：紧急
受众：砍价猎人
渠道：移动
点击率：0.15确保提供足够的带有开放/点击率标签的训练数据。
微调大型语言模型（LLM）
根据已收集的样本微调大型语言模型。除了渠道之外，还要指定语气和目标受众细分。这样可以根据消息的语气和预期的收件人条件化文本生成。例如，为了微调模型，可以为数据集创建一个JSON文件（如果使用OpenAI的GPT，则可以使用OpenAI CLI工具的fine_tunes.create命令来微调OpenAI模型）。
JSON
{"prompt": "内容：新产品发布！语气：令人兴奋受众：技术爱好者渠道：电子邮件", "开放率：0.25", "completion": "主题行：我们的新XYZ产品发布了！"}
{"prompt": "内容：黑色星期五特惠来了！语气：紧急受众：砍价猎人渠道：移动", "点击率：0.15", "completion": "标题：黑色星期五特惠！"}训练预测器机器学习模型
在微调LLM模型之后，需要训练一个机器学习模型来评分和选择最有效的主题行。这可以通过多种预测模型来实现。可以使用随机森林算法来预测哪些主题行将具有最高的打开率。需要从训练数据集中提取主题行的关键特征。可以利用这些关键特征的向量来训练随机森林模型。
提取关键特征向量
为了提取关键特征，可以使用几个开源库。对于情感提取，可以使用TextBlob的内置情感方法和VADER（情感感知词典和情感推理器）。可以使用TextStat来确定阅读容易程度、Flesch-Kincaid等级和其他可读性指标。RAKE（快速自动关键字提取）可以提取关键字。
from textblob import TextBlob
import rake
import nltk
def get_features_of_subject_line(text):
# 主题行长度
length = len(text)
# 情感
sentiment = TextBlob(text).sentiment.polarity
# 关键字匹配
keywords_to_match = ["sale", "new", "hot", "free"]
matches = 0
rake_extractor = rake.Rake()
keywords = rake_extractor.extract_keywords_from_text(text)
for kw in keywords:
if kw in keywords_to_match:
matches += 1
# 可读性
readability = nltk.textstat.flesch_reading_ease(text)
return [length, sentiment, matches, readability]对于电子邮件，提取长度、情感、关键字匹配和可读性等特征。移动特征包括字符长度、语气、表情符号和分割。关键区别在于提取针对特定通道的特定特征，以考虑电子邮件和移动设备之间的风格差异。模型学习适当地权衡每个通道的特征。这样可以优化主题行的生成和选择，以适应各个通道的限制和受众期望。
流程图说明训练步骤（作者提供的图像）
预测阶段
生成主题行候选项
要为新消息生成主题行候选项，将消息内容、通道、所需语气和目标受众段输入到微调的LLM模型中。在提示中指定所需候选项的数量。模型将使用适合通道的语言、指定的语气以及针对目标受众进行定制，生成请求的候选项数量。
使用训练好的预测器模型选择最佳候选项
之前训练好的预测器模型现在可以用来从LLM生成的候选项中选择最优的主题行。对于每个候选项，提取关键特征并输入模型生成预测。选择预测得分最高的主题行作为最佳选项，其具有最高的概率吸引目标受众点击和打开消息。
流程图说明预测步骤（作者提供的图像）
产品化的步骤
如果认真考虑将此方法商业化为产品，有几个方面可以探索，以Enhance用户体验。为市场营销人员提供详细的见解，以改善或降低主题行和通知标题的有效性，将特别有用。
文本长度：针对每个受众群体，提供缩短超过最佳长度的文本的建议。
关键词影响：突出影响参与率的关键词，并建议消除负面关键词，同时鼓励添加积极关键词。
关键词使用和频率：提供关于如何避免受众疲劳的见解，如何以正确的频率使用关键词。
历史成功案例：基于过去的成功，提供在过去非常引人注意的类似文本。
行业基准：预测的参与率可以与行业基准进行比较，如果发现表现不佳，则提出修改建议。
测试：对前几个候选项进行A/B测试，并根据性能进行迭代。
训练循环：不断使用新数据对模型进行重新训练，以改进预测。
个性化：根据用户对过去消息的参与程度，为个别订阅者个性化主题行。
人在循环中：平衡人工智能和人类干预
在将人工智能融入营销策略时，人的参与至关重要。在模型部署之前，营销人员应该可以审查和编辑模型生成的主题行或通知标题。除了确保沟通的质量和适当性外，这还可以融入模型可能无法完成的创造性输入。
此外，建立反馈循环机制为持续改进和学习铺平了道路。部署后收集的参与数据提供了宝贵的见解，然后将这些见解反馈到模型中进行进一步的改进。在将部署后的数据用于进一步改进之前，对数据进行匿名处理是确保遵守数据隐私法律的关键。
作为最后一步，为了提高LLMs和其他模型输出的准确性，建立保障措施和基准技术可以帮助营销人员保持合法、道德和品牌合规性。这也增强了信任，并在由人工智能驱动的所有沟通中保持个人联系。
结论
可以利用生成式人工智能和传统机器学习模型的组合来创建引人注目的主题行和通知标题。可以通过微调生成式人工智能来基于语气和受众创建主题行。可以利用随机森林等预测模型来选择最有效的主题行和标题，以实现最大的参与度。
