【原创】MacOS HDP Sandbox for VirtualBox 安装

安装准备

1、简介

HDP(Hortonworks Data Platform)是一个大数据的整合平台,使企业更方便更快捷地搭建与部署一整套的高可用的大数据平台。

对于个人用户来说,HDP 也推出了一个 SandBox 版本供个人使用,便于个人用户进行开发学习用,该产品可免费下载使用。

2、安装环境

  • MacOS 11.2.3

  • VirtualBox 6.1.16

  • HDP 2.6.5

3、注意事项

  • 需要事先安装 VirtualBox 软件,且版本需要 5.1 以上。(VirtualBox 为开源软件,直接可搜索下载,此文不赘述)

  • 虚拟机导入后需要设置虚拟机的内存至少为 10GB(10240MB),请确保你的宿主机有足够的内存

安装步骤

1、下载虚拟机文件

Hortonworks 已经将一个安装好了 HDP 环境的 VirtualBox 虚拟机导出为 .ova 的虚拟机文件且提供给我们下载了,所以我们需要下载这个 .ova 的文件。

文件大小为 16GB,需要一定的网络带宽,hdp 2.6.5 的官方下载地址如下:

https://archive.cloudera.com/hwx-sandbox/hdp/hdp-2.6.5/HDP_2.6.5_virtualbox_180626.ova

如果下载过慢,可以试试使用百度网盘进行下载,我已经传到我的网盘空间了,如果你有百度网盘的会员速度应该还不错:

百度网盘链接: https://pan.baidu.com/s/1-GgIQvi9veYH659MM2KT9A  密码: rg0t

2、导入虚拟机到 VirtualBox

可以点击 VirtualBox 的菜单栏中的 “管理” -> “导入虚拟电脑…”

也可以从 VirtualBox 的虚拟机管理界面点击左侧的 “工具” 栏,然后再点击右侧的 “导入” 按钮进行导入

然后在导入界面选择下载到本地的 .ova 的 VirtualBox 虚拟机文件(来源保持默认即可,因为这里使用的是下载到本地的虚拟机文件),然后点击 “继续”

其他配置项基本可以使用默认配置,但内存默认是 8192 MB,而 HDP 要求最少 10GB,所以内存必须要进行设置。双击内存栏后的数字,输入 10240。然后点击 “导入”

注:这里请确认你的宿主机有足够的内存给 VirtualBox 进行分配,也就是你的电脑的可用内存必须超过 10 GB,不然可能会摄氏。

等待导入的进度条完成

3、导入完成并启动

导入完成后,能看到虚拟机列表中存在一个 Hortonworks Sandbox HDP 2.6.5 的虚拟机,状态是关闭状态,右侧是该虚拟机的基本配置信息。

点击上方截图中的启动按钮启动该虚拟机,点击后会弹出一个窗口运行该虚拟机。第一次启动这个过程需要一点时间,可以看到窗口中提示文字显示正在解压和导入这个虚拟机。

如果该窗口大小,看不清内容,可以按 Command + C 进行缩放(再按一次即可退出缩放)

运行成功的窗口如下所示:

4、进入虚拟机操作系统

确保虚拟机已经运行成功且出现了第三步中的截图内容。

鼠标选中 HDP 的虚拟机运行窗口,然后按 Option + F5 (Windows 请按 Alt + F5,有些笔记本可能需要同时按 Fn 键),进入如下操作系统的登录界面:

输入默认的用户名与密码(root/hadoop)然后回车就可以进入操作系统的命令行终端了。

注:

  • 这个操作系统 CentOS 是不带图形化界面的,只有命令行终端)

  • 第一次使用 root 用户登录会强制要求更改密码,自行更改即可。

如果你想要修改默认的密码,只需要在命令行键入 passwd 命令回车,就可以输入新密码进行修改了

也可以通过宿主机的浏览器访问 http://localhost:4200 使用 root/hadoop 登录然后就会提示修改密码:

5、使用 SSH 连接到 HDP 的操作系统命令行

VirtualBox 的操作系统命令行用起来不是很方便,我们可能想通过某些常用的 SSH Client 连接到我们的 HDP 的虚拟机操作系统命令行。

首先,需要对 SSH 端口进行转发。

在虚拟机管理界面的左侧列表中选择 HDP Sandbox 虚拟机 -> 点击右侧的 “设置按钮”

在弹出的窗口中选择 “网络” -> 点击下方的 “高级” -> 点击 “端口转发”

在弹出的窗口中可以看见已经添加了很多的端口转发。点击右侧的 “+” 按钮,在下方添加一条,其中主机端口表示我的宿主机(MacOS)的端口,系统端口对应虚拟机内部的端口,SSH Server 默认端口是 22.

注:主机端口可以随意设置 0 – 65536 之间的可用端口(小于 100 的端口需要 Root 权限),建议设置 5 位的端口不容易与其他程序的端口冲突。

设置完成后点击 “OK” -> “保存” 保存当前的端口转发设置。

这样我们访问本机(localhost/127.0.0.1)的 22222 端口就相当于是访问的虚拟机中的 22 端口了。

然后我们就可以使用 SSH Client 进行连接了,如下所示为 SecureCRT 连接 HDP Sandbox 的配置

运行验证

由于我们选择的是网络地址转换 (NAT)。因此,只能通过端口转发的方式访问虚拟机中的端口。

这种方式不好的一点是会占用宿主机的部分端口,如果宿主机中本来已经有程序使用了该端口,则会发现端口冲突导致访问不到虚拟机中的资源问题。

下面列举几个常用的工具/功能的验证。

1、HDP Tutorial

HDP 的导航页面,端口是 1080。如果该端口映射成功了,你只需要在浏览器中输入 http://localhost:1080 即可打开

点击 QUICK LINKS 即可进入 HDP 常用的几个服务的链接导航。

2、Ambari

Ambari 是一个用来管理大数据平台的 WebUI 工具,他的默认端口是 8080。因此,如果你本地没有其他程序占用了 8080 端口,可以使用 http://localhost:8080 来访问(用户名/密码:raj_ops/raj_ops)

3、WEB SSH CLIENT

该服务可以使你在浏览器中登录 HDP 安装的虚拟机的 SSH 命令行,端口是 4200。

可以在浏览器中输入 http://localhost:4200 来访问,然后输入用户名与密码即可登录 SSH。

默认用户名/密码: root/hadoop

附录

参考:

官方安装文档:

https://www.cloudera.com/tutorials/sandbox-deployment-and-install-guide/1.html

进入虚拟机内部终端窗口:

https://community.cloudera.com/t5/Support-Questions/How-to-SSH-into-HortonWorks-Sandbox-using-Putty/td-p/99802

使用 HDP Sandbox 文档:

https://www.cloudera.com/tutorials/getting-started-with-hdp-sandbox.html

You may also like...

发表评论

您的电子邮箱地址不会被公开。