如何在MacBook M1或M2上安装Hadoop,而无需使用Homebrew或虚拟机

在MacBook M1或M2上安装Hadoop,无需使用Homebrew或虚拟机

Hadoop本地主机用户界面。图片由作者提供。

在本文中,我将为您介绍如何在您的本地 MacBook M1 或 M2 上简单安装Hadoop。我将使用一台2020年的MacBook Air M1(arm64),配备8GB内存和MacOS Ventura 13.2.1。让我们开始吧!

在我们开始之前,我相信您对Hadoop生态系统中的关键术语有基本的了解。此外,请确认您的MacBook M1或M2符合以下规格:

  • MacBook M1或M2,配有MacOS Ventura 13.2.1或更高版本。
  • 至少8GB内存(RAM),以确保操作流畅。

在MacBook M1或M2上逐步安装Hadoop的说明:

  1. 使用终端检查并安装Java JDK(如果需要)
  2. 在系统设置中启用本地主机的SSH
  3. 从官方网站下载Hadoop
  4. 通过更新core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml中的JAVA_HOME路径和设置来配置Hadoop
  5. 格式化HDFS NameNode以准备使用
  6. 启动Hadoop服务
  7. 访问Hadoop本地主机用户界面(UI)

为了在Mac M1上完成Hadoop的安装,我们将使用以下工具:

  • 终端
  • Sublime Text编辑器(您可以选择任何您喜欢的编辑器,如Vim,Nano,Atom等)
MacBook上终端的基本常用符号和标记。图片由作者提供。

第1步:使用终端检查并安装Java JDK(如果需要)

打开终端;默认情况下,您将位于主目录中;如果不在,请进入主目录(可以通过键入cd ~实现)。

输入以下代码检查是否已安装Java。

Java -version

看起来好像没有安装Java JDK。