机器学习专家 – Sasha Luccioni

Machine Learning Expert - Sasha Luccioni

🤗 欢迎来到机器学习专家 – Sasha Luccioni

🚀 如果您对了解ML专家（如Sasha）如何帮助加速您的ML路线图感兴趣，请访问：hf.co/support。

嗨朋友们！欢迎来到机器学习专家。我是您的主持人Britney Muller，今天的嘉宾是Sasha Luccioni。Sasha是Hugging Face的研究科学家，她致力于研究机器学习模型和数据集的伦理和社会影响。

Sasha还是Big Science Workshop的碳足迹工作组联席主席，WiML董事会成员以及Climate Change AI（CCAI）组织的创始成员，该组织推动将机器学习应用于气候危机的有影响力工作。

您将听到Sasha谈论如何衡量电子邮件的碳足迹，她如何帮助当地的救济厨房利用机器学习的力量，以及意义和创造力如何推动她的工作。

非常高兴向您介绍这个精彩的剧集！这是我和Sasha Luccioni的对话：

注：为了提供最高质量的阅读体验，转录内容已经进行了轻微修改/重新格式化。

非常感谢您今天加入我们，我们非常激动能够有您的参与！

Sasha：我真的很高兴能够参加。

直接开始，您能谈谈您的背景以及是什么引领您加入Hugging Face的吗？

Sasha：是的，如果我们回到最初，我开始学习语言学。我对语言非常感兴趣，而且我的父母都是数学家。但是我想，我不想做数学，我想做语言。在本科期间，我开始进行自然语言处理（NLP）的研究，并对此产生了浓厚的兴趣。

我的博士学位是计算机科学，但我一直保持着语言学的角度。我最初在人文学科中开始，然后进入计算机科学领域。在获得博士学位后，我花了几年时间从事应用人工智能研究。我最后一份工作是在金融行业，然后有一天我决定我想要从事有益社会的人工智能研究，所以我辞掉了工作。我决定不管有多少钱，都不值得为了人工智能而从事人工智能的研究，我想要做更多的事情。因此，在与Yoshua Bengio合作了几年的同时，我致力于做有益于AI项目、有益于气候变化的AI项目，并寻找下一个角色。

我想要进入一个我信任的地方，这个地方做正确的事情并朝着正确的方向发展。当我遇到Thom和Clem时，我知道Hugging Face是适合我的地方，它将正是我一直在寻找的。

喜欢您想要做一些有意义的事情！

Sasha：是的，当我听到周日晚上的人们说“明天就是周一了…”时，我会想“明天就是周一！太棒了！”并不是说我是一个工作狂，我肯定也会做其他事情，有家庭和其他事情，但是我真的很兴奋去工作做一些非常酷的事情。我认为这很重要。我知道有些人可以没有它生活，但我不能。

您目前最兴奋的工作是什么？

Sasha：我认为Big Science项目绝对是非常激动人心的。在过去几年中，我一直在看这些大型语言模型，我总是在想，它们是如何工作的？代码在哪里？数据在哪里？它们的开发过程中发生了什么？有谁参与其中？这一切都像一个黑盒子，我很高兴我们终于让它成为一个透明的盒子。有很多人参与其中，有很多非常有趣的观点。

我还担任碳足迹工作组的主席，所以我们正在研究环境影响的不同方面，不仅仅是计算二氧化碳排放量，还有其他方面，比如制造成本。有时候，我们甚至考虑一封电子邮件产生了多少二氧化碳排放量之类的问题，所以我们肯定考虑了不同的观点。

关于数据，我参与了Big Science的许多数据工作组，这真的非常有趣，因为通常情况下，我们会尽可能获取最多的数据，将其塞入语言模型中，这样就会很棒。它会学到很多东西，但实际上，互联网上有很多奇怪的东西，有些你可能不希望你的模型看到的东西。因此，我们真的在关注注意力、数据筛选和多语言等方面，以确保它不仅仅是百分之百或百分之九十九的英文。所以这是一个很好的倡议，让我感到兴奋能够参与其中。

喜欢评估电子邮件的碳足迹的想法吗？

Sasha：是的，人们根据是否附有附件来评估，但这只是因为我们找到了这篇文章，我想它是一个理论物理项目，他们做到了这一点，他们做了所有的事情。他们进行了视频通话、旅行、电子邮件以及实际的实验。他们制作了一个饼图，很酷的是这个饼图有37个类别，我们真的想做到这一点。但我不知道我们是否想要进入那么详细的层面，但我们打算进行一项调查，询问参与者平均每天在Big Science工作或在语言模型训练等方面花费多少小时。所以我们不仅仅想要模型的GPU训练小时数，还想要了解人们对项目的参与和贡献。

你能再多谈谈人工智能的环境影响吗？

Sasha：是的，这是我三年前开始参与的一个话题。第一篇发表的文章是由Emma Strubell和她的同事们写的，他们使用超参数调优训练了一个大型语言模型。所以从本质上来说，他们考虑了所有的不同配置，然后得出的结果是，那个人工智能模型排放的碳足迹相当于五辆汽车的寿命。这包括汽油等一般消耗量。我和我的同事们当时觉得，这听起来不对，不可能是所有的模型都是这样的吧？所以我们真的深入研究了哪些因素会影响排放，并且如何测量排放。

所以我们首先创建了一个在线计算器，用户可以输入他们使用的硬件、训练的时间以及他们所在的位置或云计算实例的位置，然后它会给出他们所排放的碳的估计。这实际上是我们的第一次尝试，一个计算器，然后我们帮助创建了一个叫做code carbon的软件包，它可以实时完成这个工作。所以它会与你训练模型的任何操作并行运行，然后最后给出一个碳排放的估计。

最近我们走得越来越远。我刚刚参与了一篇文章的撰写，这篇文章被接受了，内容是关于如何主动减少排放。例如，通过预测服务器使用率不高的时间，选择适当的地区，因为如果你在澳大利亚进行训练，那将是一个基于煤炭的电网，所以污染会很严重。而在我所在的魁北克或蒙特利尔，电力是百分之百的水电。所以仅仅通过做出这个选择，你可以将排放量减少约一百倍。所以像这样的小事情，除了估计之外，我们还希望人们开始减少他们的排放。这是下一步。

我从未想过在不同地理位置进行计算会有不同的排放成本。

Sasha：哦是的，我现在对能源电网非常感兴趣。每次我去某个地方，我都会问，那里的能源是怎么来的？你是如何产生的？所以这真的很有趣，有很多历史因素和文化因素。

例如，法国主要是核能，加拿大有很多水电能源。有些地方有很多风能或潮汐能，所以了解当你打开灯时，电力来自何处以及对环境的成本是多少，这是非常有意义的。因为在我成长的过程中，我总是会关掉灯，拔掉插头，但没有更多的行动。那只是好的最佳实践。当你不在房间时，关掉灯。但在此之后，你可以进一步深入，这取决于你生活的地方，你的能源来自不同的来源。污染程度也不同，但我们只看到光而不知道电力是如何产生的，我们只看到灯光，然后我们会说，哦，这是我的台灯。因此，开始思考这个问题非常重要。

这些东西很容易被忽视，对于可能没有这种普遍意识的机器学习工程师来说，这可能是一个障碍。

Sasha：是的，完全正确。我觉得通常都是习惯使然，对吧？当你使用云实例时，通常会有一个默认选项，比如选择离你最近的或具有最多GPU的实例。有一个默认选项，人们通常会说，好吧，随便，然后点击默认选项。这是一种助推理论的影响。

我在认知科学方面做过硕士研究，仅仅通过更改默认选项，你就可以以令人难以置信的程度改变人们的行为。比如，在收银台附近放置苹果或巧克力棒之类的小东西。所以，如果默认选项突然变成了低碳选项，我们就能够节省很多碳排放量，因为人们只会说好吧，我要在蒙特利尔训练一个模型，我不在乎。只要你能够获取所需的硬件，你不在乎它在哪里。但从长远来看，这真的会累积起来。

机器学习团队和工程师在这方面如何更加积极主动？

Sasha：我注意到很多人在环保意识上非常有责任感。比如，他们会骑自行车上班，或者减少肉类摄入等等。他们对环境有这种意识，但是他们没有意识到作为机器学习研究人员或工程师，我们对环境的影响。我们可以开始测量碳排放量，而不需要分享这些信息。并开始关注你在选择实例时的情况，如果你有选择的余地。例如，我知道Google Cloud和AWS已经开始将低碳作为一个小标签，这样你就可以选择它，因为信息是有的。开始迈出这些小步骤，将环境和科技联系起来。这些点通常不会被联系起来，因为科技是云，它很适合分布式，你不会真正看到它。通过更加实际地把它与环境联系起来，你会看到它对环境的影响。

这是一个很好的观点。我听过你的几个演讲和播客，你提到了机器学习如何帮助抵消模型对环境的影响。

Sasha：是的，几年前我们写了一篇论文，这是一次很有意思的经历。这篇论文有将近一百页，名为《用机器学习应对气候变化》。有25位作者，涵盖了许多不同的领域，包括电力、城市规划、交通运输、林业和农业等等。我们在论文的各个章节中讨论了存在的问题。例如，可再生能源在很多情况下是不稳定的。如果你安装了太阳能电池板，它们在夜间不会产生能量，这是一个基本事实。而风力发电则依赖于风力。因此，在实施可再生能源时面临的一个重大挑战是需要根据需求做出响应。即使你使用的是太阳能，你仍然需要在夜间为人们提供能源。通常情况下，你可以使用柴油发电机或备用系统来解决这个问题，但这往往会抵消掉你所节省的环境影响，例如排放物。然而，机器学习可以做到的是，你可以预测需要多少能源。因此，基于以往的数据、温度和事件，你可以开始预测半小时、一小时、六小时或二十四小时后的能源需求。你可以拥有不同的预测时间范围，并进行时间序列预测。

然后，你可以选择启动柴油发电机，因为它们启动很快，几秒钟就能运行起来。你还可以使用电池，但电池需要提前充电。例如，如果你需要六小时后的能源，你可以开始充电，因为要么有云层来临，要么天黑了，所以你需要提前储存能源。因此，有一些积极主动的事情可以做，这些事情可以产生巨大的影响。而机器学习擅长于此，它擅长预测未来，擅长找到合适的特征等等。所以这是一个常见的例子之一。另一个例子是遥感。我们有大量关于地球的卫星数据，可以用来监测森林砍伐或追踪野火。在许多情况下，你可以根据卫星图像自动检测野火，并立即派遣人员。因为野火往往发生在人口稀少的偏远地区。因此，机器学习在许多不同的情况下都可能非常有用。我们有数据，我们有需求，所以这篇论文就是关于如何参与进来，利用自己擅长的东西，将机器学习应用于应对气候变化。

对于对这项工作感兴趣，但可能在一个不重视环境影响的组织中工作的人来说，你有什么建议来激励团队重视环境影响？

Sasha：所以这总是一个成本和收益或时间的问题，你知道，你需要投入的时间。有时人们不知道存在不同的工具或方法。所以如果人们对此感兴趣或者只是好奇了解它，我认为这是第一步，因为即使当我第一次开始考虑我能做什么时，我也不知道所有这些东西的存在。人们已经在使用不同的数据科学技术研究这个问题相当长的时间了。

例如，我们创建了一个名为climatechange.ai的网站，我们有一些交互式摘要，你可以了解气候变化如何帮助检测甲烷等。我认为只要散布这种知识就可以触发一些有趣的思考过程或讨论。我参与过几个公司的圆桌会议，这些公司通常不以气候变化为导向，但开始思考这个问题。他们说：“好吧，我们在厨房里放了一个堆肥箱，我们做了这个，做了那个。”那么从技术方面来说，我们能做什么？这真的很有趣，因为有很多低成本的事情你只需要了解一下，然后就会说：“噢，好吧，我可以做到这一点，我可以默认使用这个云计算实例，这不会花费我任何费用。”你只需要在某个参数上进行一些改变。

在实施这些改进时，你看到机器学习工程师或团队常见的错误有哪些？

Sasha：实际上，机器学习人员或人工智能人员总的来说，来自其他社区对我们有这样的刻板印象，即我们认为人工智能可以解决一切问题。我们来了，然后说：“噢，我们来做人工智能。不管你们过去50年都在做什么，人工智能会解决它。”我没有看到那种态度很多，但我们知道人工智能能做什么，我们知道机器学习能做什么，我们有一种特定的世界观。就像你手里拿着一把锤子，一切都是钉子，这有点像这样的东西。我参加过一些黑客马拉松比赛，一般来说，人们希望通过制作东西或做些事情来对抗气候变化。通常会有这样的想法：“噢，这听起来像是人工智能可以做的一件很棒的事情，我们就去做吧。”但是他们没有考虑到它将如何被使用，或者它将如何有用，或者它将如何实现。因为人们可能会说：“是的，当然，人工智能可以做所有这些事情。”但是到了最后，没有人会使用它。

例如，如果你创建了一个用于扫描卫星图像和检测野火的系统，你的模型输出的信息必须是可解释的。或者你需要添加一点额外的步骤，比如发送一封新的电子邮件。否则，我们训练出一个很棒、非常准确的模型，但到了最后，没有人会使用它，只是因为它缺少与现实世界或人们使用它的方式的微小联系。这并不吸引人，人们可能会说：“是的，随便，我甚至不知道如何编写发送电子邮件的脚本。”我也不知道。但是，只要多做这一点，这比你迄今为止所做的技术复杂得多。只要添加那个小东西，它就会产生很大的差异，它可以是界面设计，也可以是创建一个应用程序。它是你的项目被使用的关键机器学习部分。

我参与组织了一些研讨会，人们提交了一些在纸上看起来很好、准确率很高的想法，但它们只停留在纸上或文章形式上，因为你仍然需要下一步。我记得有一个关于机器学习算法的演示，这个算法可以通过计算风速等来减少飞机的排放量3%到7%。当然，那个人应该创办一家初创公司或推销给波音或其他公司，否则它只是一篇我组织的研讨会上发表的论文，然后就是这样了。科学家或工程师不一定具备去找到飞机制造商的能力，但这令人沮丧。最终，你看到这些伟大的想法，这些伟大的技术只是渐渐消失。

好伤心。虽然如此，这真是一个很棒的故事，而且还有这样的机会。

Sasha：是的，我认为科学家往往并不一定想赚钱，他们只是想解决问题。所以你甚至不需要创办一家初创公司，你可以跟某人交谈，或者向某人推销你的想法，但是你必须走出你的舒适区。你去参加学术会议，你需要参加航空业的一个社交活动，这是很可怕的，对吗？所以我发现学科之间常常存在这些障碍，我觉得非常可悲。我喜欢去商业或其他行业的社交活动，因为这是建立联系、产生巨大改变的地方。而不是在行业特定的会议上，因为每个人都在谈论同样的技术风格，当然他们在取得进展和创新。但是，如果你是在一个充满航空专家的房间里唯一的机器学习专家，你可以做很多事情。你可以激发很多小火花，然后你会有人减少飞行排放。

这真是强大。想知道你能否提供更多上下文，解释为什么在工作中找到意义如此重要？

Sasha：是的，有一个概念，我妈妈在我还是个孩子的时候在一本杂志上读到过，叫做“生き甲斐”（Ikigai），它是一个日本概念，就像如何找到生活的意义或目标。它是关于如何在宇宙中找到自己的位置。它说你需要找到具备这四个元素的事物。像你喜欢做什么、你擅长什么、世界需要什么，以及什么可以成为一种职业。我总是认为这是我的职业，但她总是说不，因为即使你喜欢做这个，但你不能为此得到报酬，那也是一种艰难的生活。所以当我在大学选择课程或者选择学位时，她总是问我，这是否与你所喜欢和擅长的事物相吻合？有些事情她会说，是的，但你并不擅长那个领域。我的意思是，你可能真的想做这个，但也许这不是你擅长的。

所以我认为这一直是我事业的驱动因素。我觉得这有助于让你觉得自己有用，成为世界上的一股积极力量。例如，当我在摩根士丹利工作时，我觉得那里有一些有趣的问题，我做得非常好，没有任何问题，薪水也很高，没有任何抱怨，但是缺少了这个世界需要的方面，这是一种无法解决的痒感。但是有了这个框架，这种痒痒的感觉，我就明白了，这就是我生活中缺少的东西。所以我认为，不仅仅是机器学习领域的人，大家都应该思考自己不仅仅擅长什么，还喜欢做什么，是什么激励着自己，为什么早上会起床，当然还有这种世界需要的方面。而且它不一定是解决世界饥饿问题，可以是在更小的范围内或更抽象的范围内。

例如，我觉得在Hugging Face所做的事情真正需要的是机器学习领域更多的开源代码、更多的模型共享，但并不是因为它将解决任何一个特定的问题，而是因为它可以为一系列问题做出贡献。从可重复性到兼容性到产品，这些都可以。但是世界在某种程度上需要这个。所以我觉得这真的帮助我确定了Hugging Face可能不一定是世界需要更好的社交网络，因为很多人都在研究与社交媒体或这些大型科技公司相关的人工智能，也许现在世界并不一定需要那样的东西，也许世界需要的是不同的东西。所以这种四要素的框架真的帮助我在我的职业生涯和生活中找到了意义，试图找到这四个要素。

你还发现和看到机器学习领域中有哪些其他示例或应用是具有潜在意义的？

Sasha: 我认为经常被忽视的一个方面是可访问性，以及民主化，也就是让非专业人士更容易使用人工智能。你能想象一下，如果我不认识任何记者、医生或者任何你能想到的职业的人都可以轻松地训练或使用人工智能模型。因为我觉得，当然我们在医疗和保健领域中使用人工智能，但是这是从一个非常人工智能机器学习的角度来看的。但是如果我们有更多的医生被赋予权力去创造更多的工具，或者任何其他职业，比如一个面包师傅…我其实有一个朋友在蒙特利尔开了一家面包店，他说，嗯，人工智能能帮助我做出更好的面包吗？我说，可能吧，我相信如果你做一些实验，他说，噢，我可以在我的烤箱里安装一个摄像头。我说，是的，你可以这样做，我猜。我们谈论着，你知道，事实上，面包是非常挑剔的，你需要正确的湿度，它实际上需要大量的实验和面包师傅的专业知识。对于可颂面包也是一样，他的可颂面包非常好吃，他说，你需要知道正确的黄油等等。他说，我想做一个能帮助烘焙面包的人工智能模型。我说，我甚至不知道如何帮助你开始，你从哪里开始呢？

所以可访问性是非常重要的一部分。例如，互联网现在变得非常易于访问。任何人都可以使用，最初它的可访问性要低得多，所以我认为人工智能在成为一个更易于访问和民主化的工具方面仍有一段路要走。

你之前谈过数据的力量以及人们对此的忽视。

Sasha: 是的，四五年前，我和我丈夫一起去了哥斯达黎加旅行。我们在地图上找到了一个位于世界边缘的研究中心。就像在无人之境中一样。我们必须开车在一条土路上行驶，然后坐第一艘船，再坐第二艘船才能到那里。他们就在丛林中，主要研究丛林，他们有各种自动激活的相机陷阱遍布丛林。然后每隔几天，他们必须徒步从相机到相机，更换SD卡。然后他们把这些SD卡带回研究站，然后他们需要通过每一张照片。当然，由于风或其他原因，有很多误报，所以可能只有大约5%的实际好的图像。我就想为什么他们不用它来跟踪生物多样性呢？他们说不，我们在某个地点看到了一只美洲豹，因为他们有很多这样的照片。

然后他们会尝试追踪美洲豹或其他动物是否被杀死，是否有孩子，或者看起来是否受伤；还有其他很多不同的事情。然后我就想，我相信其中的一部分可以自动化，至少可以过滤掉那些实际上没有用的图像，但他们却是由研究生或其他人来做这个工作。但是，在各个领域中还有很多类似的例子。只需要一些小工具，我并不是说因为我认为我们还没有完全能够用人工智能完全取代科学家在这种任务中的工作，但是一些繁琐且耗时的小组成部分，机器学习可以帮助弥合这种差距。

哇，太有趣了！

Sasha: 实际上，相机陷阱数据是跟踪生物多样性的一个非常重要的部分。它用于鸟类和其他动物。在过去的几年里，围绕着相机陷阱数据一直有Kaggle竞赛。一年期间，在肯尼亚和坦桑尼亚等地有不同地点的相机陷阱。然后在年底，他们会举行这个大型的Kaggle竞赛，识别不同物种的动物。然后在那之后，他们部署这些模型，然后每年更新。

所以现在有所进展，但正如你所说，有很多数据。每个生态系统都是独特的，所以你需要一个能够确切训练的模型。你不能拿肯尼亚的模型来在哥斯达黎加使用，那是行不通的。你需要数据，你需要专家来训练模型，所以有很多元素需要汇聚在一起，才能够做到这一点。就像AutoTrain，Hugging Face有一个，但更简单，让哥斯达黎加的生物多样性研究者可以说这是我的图片，帮我找出那些质量好的和上面有哪些类型的动物。他们可以像使用Web界面一样拖放图片。然后他们就有了这个模型，它可以告诉他们，这是12张美洲豹的图片，这一张受伤了，那一张有小动物等等。

你对那些试图用机器学习解决这类问题但缺乏必要数据的团队有什么见解吗？

Sasha：是的，我想再讲一个轶事，我有很多这样的轶事，但某个时刻我们想在蒙特利尔组织一个以社会公益为目标的AI黑客马拉松大约三四年前的事了。然后我们打算联系蒙特利尔的所有非政府组织，比如救济厨房、无家可归者收容所。我们开始去这些地方，然后我们就问：“你们的数据在哪？”他们回答：“什么数据？”我说：“你们不记录你们的无家可归者收容所里有多少人或者他们是否会回来吗？”他们回答：“不。”然后他们又说：“但另一方面，我们有这些问题，要么是人们消失了我们不知道他们去哪了，要么是人们长时间滞留。然后在某个时刻我们应该不让他们再留在这里。”他们遇到了很多问题，例如在食品厨房，他们浪费了很多食物，因为他们无法预测会有多少人到来。有时他们会说，十月份通常人会比较少，但我们真的没有任何数据来支持这一点。

所以我们完全取消了黑客马拉松，然后我们做了，我想我们称之为数据素养或数字素养的工作坊。所以我们基本上去了那些有兴趣的地方，给他们提供一两小时的工作坊，教他们如何使用电子表格并找出他们想要追踪的内容。因为有时他们甚至不知道他们想要保存或跟踪的内容是什么。所以我们在一些地方进行了几次工作坊，每隔几个月回去检查一下。然后一年后，我们与其中一家食品厨房建立了联系，具体的公司名字我不记得了，但他们实际上是做了这个供应链管理软件的。所以这家厨房实际上能够实施一个系统，他们可以追踪，比如我们今天得到了10磅的番茄，有这么多人来了，我们浪费了这么多食物。然后一年后，我们能够组织一个黑客马拉松来帮助他们减少食物浪费。

所以那真的很酷，因为在一年多之前，他们什么都没有，他们只有直觉，这是有用的，但并不正式。然后一年后，我们能够获取数据并将其集成到他们的应用程序中，然后他们会收到警告，比如说小心，你的番茄很快就会变坏，因为你已经有三天没有处理了。或者在意大利面这类食物的情况下，可能是六个月或一年，所以我们实施了一个系统，实际上会向他们发送警报。而且从技术上来说，这非常简单，甚至没有太多人工智能的东西，只是一些能帮助他们追踪不同类别食物的东西。所以这是一个非常有趣的经历，因为我意识到，是的，你可以进来并说我们要帮助你做任何事情，但如果你没有太多数据，你能做什么呢？

确实，那真的非常有趣。你能够参与其中并提供第一步，也就是教育这个难题的一部分，让他们开始使用这样的东西，这太棒了。

Sasha：是的，我很久没有组织过任何黑客马拉松了。但我认为这些社区参与活动非常重要，因为它们帮助人们学习东西，比如我们学到了不能只是闯进来使用人工智能，数字素养要重要得多，而他们从来没有真正努力去收集数据，即使他们需要它。或者他们不知道可以做些什么之类的事情。所以退后五步，帮助提高技术技能，总的来说，是一个非常有用的贡献，人们并没有真正意识到这是一个选择，我想。

你最期待看到机器学习应用于哪些行业？

Sasha：气候变化！是的，环境是我的头等大事。教育一直是我非常感兴趣的领域，我一直在等待机会。我在教育和人工智能方面完成了我的博士学位，研究了人工智能在教育中的应用。我一直在等待它达到顶峰，但我猜可能存在许多背景因素等等，但我认为人工智能、机器学习和教育可以以许多不同的方式使用。

例如，我在我的博士期间研究的是如何帮助选择最适合学习者的活动，如学习活动和练习。而不是给所有的孩子、成年人或其他人相同的练习，帮助他们专注于他们的薄弱知识点、薄弱技能，并侧重这些方面。所以不是一刀切的方法。而且并不是取代教师，而是更像辅导，比如说，你在学校学了一个概念，然后帮助你在这个概念上进行实践。有些人能很快理解并不需要这些练习，但其他人可能需要更多的时间来练习。我认为有很多事情可以做，但我还没有真正看到它被广泛应用，但我认为它具有巨大的潜力。

好的，我们要开始进行快速提问了。如果你能回到你的机器学习职业生涯的开始，你会做什么不同的事情？

Sasha：我会花更多时间专注于数学。正如我所说，我的父母都是数学家，他们总是给我额外的数学练习。他们总是说数学是普遍的、数学，数学，数学。所以当你在童年时期被灌输这些东西时，你不一定会在以后感激它们，所以我说不，语言。所以在我大学的很大一部分时间里，我说不，只学人文学科。所以我觉得如果我一开始就更加开放一点，意识到数学的潜力，即使在语言学或其他很多方面，我想我就能更快地达到现在的位置，而不是花三年时间说不，不学数学。

我记得在我高中的最后一年，也就是12年级，我的父母让我参加了一场数学竞赛，就像奥林匹克一样，我赢了。然后我记得我得到了一枚奖牌，我把它戴在我妈妈身上，然后我说：“现在别烦我了，我以后再也不会学数学了。” 她说：“对，对。”但在那之后，当我选择我的博士项目时，她说：“噢，我看到有数学课程，因为你要学机器学习，对吧？”我说：“不，不是的。”但是是的，我应该更快地克服我对数学的初步厌恶。

真有趣，有意思听到这样的事情，因为我经常听到人们说，随着这些机器学习库和程序变得越来越先进，你需要了解的数学越来越少。

Sasha：确实，但我认为建立一个良好的基础，我并不是说你必须是一个数学天才，但是有这种直觉。就像当我和Yoshua一起工作时，他是一个数学天才，他能够很轻松地解释结果或理解机器学习模型的行为，因为数学对他来说就像第二本性。而对我来说，我必须这样去想，好吧，我要写这个损失函数的方程式，我要试着理解后果等等，这不是那么自然的。但这是一种你可以发展的技能。它不一定是理论上的，也可以是实验性的知识。但是拥有一个非常扎实的数学背景有助于你更快地达到目标，你不能跳过几个步骤。

太棒了。你可以向你的父母寻求帮助吗？

Sasha：不，我拒绝向我的父母寻求帮助，没门。而且因为他们是理论数学家，他们认为机器学习只是给不擅长数学或懒惰的人用的。所以根据你所在的领域不同，有纯数学家、理论数学家、应用数学家，还有统计学家，还有各种不同的阵营。

所以我记得我小弟弟也在考虑去学机器学习，我爸爸却说不要，留在理论数学，那里才是天才的聚集地。他说“不，机器学习就是数学的坟墓”，然后我说“爸，我在这里呢！”然后他说“我宁愿你弟弟留在更高级的领域”，我说“这不公平。”

所以，机器学习中有很多经验性的方面，还有很多试错，比如你要调整超参数，但你不知道为什么要这么调。所以我认为，除非有一个公式，否则传统的数学家不认为机器学习是真实或合法的。

所以除了可能需要数学基础外，你对想要学习机器学习的人有什么建议？

Sasha: 我认为最好是动手实践，从Jupyter Notebooks或编码练习等开始。特别是如果你有特定的角度或问题想要研究，或者只是一些普通的想法，开始试一试。我记得在我刚开始读博士学位时，我参加了一个机器学习的夏季学校。那时候非常有趣，但那些例子都是如此断开的。我不记得数据是什么，比如猫和狗之类的，但我为什么要用那个呢？然后他们说练习的一部分是找到你想要使用的东西，比如一个分类器。

然后我记得我找到了一些花的图片之类的，然后我对这个很感兴趣。我说是的，它混淆了这朵花和那朵花，因为它们有些相似。我明白我需要更多的图片，我对此非常着迷，这时候我恍然大悟，它不仅仅是一个超抽象的分类。或者说，哦对了，我记得我们使用过一个叫MNIST的数据集，因为它是手写数字，而且它们很小，网络运行得很快。所以人们在机器学习课程的开头经常使用它。但我不在乎，我不想分类数字，无所谓对吧？但是当他们让我们选择自己的图片时，突然之间变得更加个人化、有趣和吸引人了。所以我认为，如果人们感到困境，他们可以真正专注于他们感兴趣的事物。例如，找一些气候变化的数据，开始尝试并让整个过程更加愉快。

我喜欢这个，找到你感兴趣的东西。

Sasha: 确实。我参与过的一个我最喜欢的项目是对蝴蝶进行分类。我们训练神经网络根据人们拍摄的照片来对蝴蝶进行分类，这非常有趣。你会学到很多知识，而且你还在解决一个问题，你了解它将如何被使用，所以参与其中是一件很棒的事情。我希望每个人都能在自己的工作中找到这种兴趣，因为你真的觉得你正在改变世界，这很酷、有趣而且有意思，你想做更多。例如，这个项目是与蒙特利尔昆虫馆合作完成的，这是一个昆虫博物馆。我与很多这些人保持联系，然后他们刚刚重新装修了昆虫馆，经过三年的装修，这个周末将重新开放。

他们还邀请了我和我的家人参加开幕式，我非常兴奋去那里。你实际上可以接触昆虫，他们将放置竹节虫，而且他们将建立一个巨大的温室，到处都是蝴蝶。在那个温室里，你需要安装这个应用程序，然后你可以拍蝴蝶的照片，它会使用我们的AI网络来识别它们。我非常兴奋去那里使用这个应用程序，看到我的孩子们使用它，看到整个过程。因为在旧版本中，他们会给你一本小册子，上面有蝴蝶的图片，然后你必须去找它们。我迫不及待地想看看静态表现和这个实际应用程序之间的区别。

哦天啊。看到你创造的东西被这样使用，真是太酷了。

Sasha：没错。即使不是像对抗气候变化那样，我认为它可以在帮助人们欣赏自然和生物多样性方面起到重要作用，将事物从抽象的、二维的东西转变为真正能够参与并拍照的东西。我认为这在我们的感知和联系方面产生了巨大的影响。它可以帮助你建立自己与自然之间的联系，例如。

那么，人们应该害怕人工智能接管世界吗？

Sasha：我认为我们离这一点还很远。我猜这要看你所说的”接管世界”是指什么，但我认为我们应该更加关注目前正在发生的事情。与其想着未来，担心终结者之类的事情，不如关注人工智能在我们的手机和生活中的应用，并对此有更多的认识。

科技或者一般事件，我们对它们的影响比我们想象的要大，例如，通过使用Alexa，我们给予了这项技术代理权，不仅是物质或资金。我们也可以参与其中，例如，如果我使用这项技术，我可以选择不让我的数据被用于某些目的。或者我可以阅读详细内容，弄清楚人工智能在这种情况下的作用，并在一般情况下更加参与其中。

所以我认为人们真的将人工智能视为一个非常遥远的潜在巨大威胁，但实际上它是一个现实威胁，只是在不同的尺度上。就像是一个不同的观念。我们应该不再只考虑AGI（超级智能）或其他东西，而是开始思考人工智能在我们生活中所使用的一些小事情，并与之互动。这样，如果你在数据共享、同意等方面做出更加谨慎的选择，AGI接管世界的机会就会减少。例如，如果你发现你所在城市的警察部队正在使用面部识别技术，你可以对此发表意见。这是你作为公民的权利。因此，通过参与自己，你可以对未来产生影响。

你现在对什么感兴趣？可以是任何东西，电影、食谱、播客等等。

Sasha：在疫情期间，或者说封锁期间，我对植物非常感兴趣。我买了很多植物，现在我和孩子们正在准备一个花园。这是我第一次这样做，我们种植了番茄、辣椒和黄瓜等种子。以前我通常只在杂货店买现成的植物，但这一次我说，不，我想教我的孩子们。但我也想了解整个过程。所以我们大约10天前种下了它们，它们开始生长了。我们每天给它们浇水，我认为这也是学习更多关于自然和有助于植物生长的条件的过程的一部分。去年夏天，我们已经建造了一个不仅仅是填满土壤的方形区域，但今年我们想做得更好。我想要有几个层次等等，所以我真的很期待学习更多关于种植自己的食物的知识。

太酷了。我觉得那是一种扎根的活动。

Sasha：是的，这与我平时做的事情完全相反。不用坐在电脑前，只是到外面去，弄得手指甲脏兮兮的。我记得以前觉得谁会想做园艺，太无聊了，现在我对园艺非常着迷。我迫不及待地想要去园艺。

是的，太棒了。创造出一些可以看到、摸到、感受到和闻到的东西与推动像素相比，有一种很有回报的感觉。

Sasha：确实，有时你花一整天的时间与一个有错误的程序搏斗，它一点都不工作。你感到非常沮丧，然后你走到外面，想着，但是我有樱桃番茄，一切都好。

你最喜欢的机器学习论文有哪些？

Sasha：我目前最喜欢的论文是由AI伦理研究者Abeba Birhane撰写的。她以一种完全不同的视角来看待问题。例如，她写了一篇论文，该论文刚被接受到AI伦理会议FAcct中，该论文讨论了价值观以及我们进行机器学习研究的方式实际上是由我们所看重的事物和价值观驱动的。例如，如果我看重一个具有高准确性的网络，我可能不太愿意关注效率。因此，我可能会花很长时间来训练模型，只是因为我希望它能够非常准确。或者，如果我想要某种新的东西，比如新颖性价值，我不会去阅读文献并了解人们在过去十年里一直在做什么，而是会重新发明。

因此，她和她的合著者撰写了一篇非常有趣的论文，探讨了理论上的价值观（一种形而上学的东西）与机器学习中的实例化之间的联系。我发现这非常有意思，因为通常我们不会这样看待它。通常的观点是，我们必须建立最先进的技术、确保准确性，然后引用相关工作，但这只是一个勾选框，你只需要这样做。然而，他们更深入地思考了我们为什么要这样做，以及有哪些更加极端的做事方式。例如，在效率和准确性之间进行权衡，如果有一个准确性稍低但更高效且训练速度更快的模型，这可能是普及人工智能的好方法，因为人们需要更少的计算资源来训练模型。因此，他们提出了许多不同的联系，我觉得非常酷。

Sasha：是的，除了Big Science之外，我还在研究评估和模型评估的工作。这个工作与Ababa在她的论文中谈到的内容有些关联，但更多地是从纯粹的机器学习角度来看，我们有哪些不同的方式可以评估模型并在不同方面进行比较。不仅仅是准确性，还有效率、碳排放等等。因此，一个月前我们开始了一个关于如何以一种不仅仅是性能驱动的方式进行评估的项目，而是考虑到不同的方面。我认为这是机器学习中一个被忽视的方面，通常人们只是简单地勾选一下，说哦，你必须评估这个和那个，然后提交论文。但实际上我们可以进行一些有趣的权衡和衡量，但我们目前并没有这样做。

例如，如果你有一个数据集，并且有一个平均准确率，那么准确率在数据集的不同子集中是否相同？例如，你能否发现一些模式，这些模式可以帮助你改进模型，同时使其更加公平？我想典型的例子就是图像识别，它是否在不同的情况下表现相同…就像那篇著名的关于算法的Gender Shades论文，该论文表明算法在白人男性身上的表现优于非洲裔美国女性，但你可以对任何东西都进行这样的分析。不仅仅是性别和种族，还可以对图像、颜色、物体类型或角度进行分析。例如，它对从上方拍摄的图像或街道水平的图像是否有效。我们还没有真正研究的是，我们可以通过更耗时的方式来分析准确性或性能的各种不同方法。因此，我们希望开发工具，帮助人们更深入地研究结果，更好地理解他们的模型。

人们可以在哪里找到你在线上？

Sasha：我在Twitter上的用户名是@SashaMTL，就这些了。我有一个网站，但我没有经常更新，我认为Twitter是最好的方式。

太棒了。我们也可以链接到那个。Sasha，非常感谢你今天的参与，这非常有见地和令人惊叹。我真的很感激。

Sasha: 谢谢，Britney。

感谢您聆听机器学习专家的讲解！

如果您或者您认识的人对直接获得像Sasha这样的领先机器学习专家的帮助，以加速您的机器学习项目感兴趣，请访问hf.co/support了解更多信息。 ❤️