斯坦福大学的研究人员介绍了Spellburst:一种由大型语言模型(LLM)驱动的创意编码环境

Stanford researchers introduced Spellburst a creative coding environment powered by a large language model (LLM).

在创建令人惊叹的数字艺术作品时,生成艺术家经常发现自己在编码的复杂性中苦苦挣扎。使用Processing或AI文本到图像工具等语言,他们将自己的想象力转化为复杂的代码行,从而产生迷人的视觉构图。然而,由于试错性质的迭代过程,这个过程可能耗时且令人沮丧。传统艺术家可以轻松地用铅笔或画笔进行调整,而生成艺术家必须通过不透明的界面进行导航,导致创意的障碍。

现有的解决方案试图缓解这些挑战,但往往无法提供艺术家所需的控制和灵活性水平。大型语言模型虽然有助于生成初始概念,但在细节如纹理、颜色和图案方面往往无法提供精细控制。这就是斯坦福大学学者开发的突破性工具Spellburst的作用所在。

Spellburst利用尖端的GPT-4语言模型的强大能力,简化将艺术创意转化为代码的过程。它从艺术家输入的初始提示开始,例如“一幅美丽明亮的玻璃花束图像”。然后模型生成相应的代码来实现该概念。然而,Spellburst的独特之处在于它能够超越初始生成。如果艺术家希望调整花朵的色调或调整玻璃花窗的外观,他们可以使用动态滑块或添加特定的修改说明,如“使花朵呈深红色”。这种控制水平使艺术家能够进行微妙的调整,确保他们的创意得以忠实实现。

此外,Spellburst还便于合并不同版本,使艺术家能够结合来自各个迭代版本的元素。例如,他们可以指示工具“将第4版中的花的颜色与第9版中的花瓶形状相结合”。这个功能打开了新的创意可能性领域,使艺术家能够无缝地尝试不同的视觉元素。

Spellburst的一个关键优势在于它能够在基于提示的探索和代码编辑之间过渡。艺术家只需点击生成的图像即可显示底层代码,为他们提供了精细调整的细粒度控制。这种语义空间和代码的桥接为艺术家提供了一个强大的工具,以迭代方式完善他们的创作。

在测试Spellburst时,斯坦福大学的研究团队征求了10位专家创意编码者的反馈。结果非常积极,艺术家们报告说,该工具不仅可以加快从语义空间到代码的过渡,还可以鼓励探索和促进更大的创意飞跃。这种新的效率可能会彻底改变生成艺术家处理工作流程的方式,可能会导致创新和迷人的数字艺术作品的激增。

虽然Spellburst展示了巨大的潜力,但我们要认识到它的局限性。一些提示可能会导致意外的结果或错误,特别是在版本合并时。此外,该工具的有效性可能因不同的艺术家而异,而从小样本收到的反馈可能无法捕捉到生成艺术家社区中的所有经验。

总之,Spellburst在生成艺术领域代表了一大步。通过提供艺术视觉和代码执行之间的无缝接口,它使艺术家能够以前所未有的精确度释放创造力。随着该工具在今年晚些时候准备进行开源发布,它不仅有可能彻底改变经验丰富的创意编码者的工作流程,还可以成为初学者进入代码驱动艺术世界的宝贵学习工具。有了Spellburst,生成艺术的未来看起来比以往更加光明和可获得。