自建实体服务器

PVE,ESXi,直通,iDRAC

Views:  times Updated on November 21, 2023 Posted by elmagnifico on October 25, 2023

Foreword

打算自建服务器,完成一些内部的测试和使用,有些东西也需要内部验证,一些管理软件也都需要一个内部平台。

硬件选型

成本考虑,1手最新服务器买不起,所以上个老服务器,能用就行了,水平其实差不多的。

  • 机柜 Dell R7525
  • CPU 7H12*2
  • 内存 64G*12
  • 硬盘 7.68T*1
  • 阵列卡H745卡
  • 电源 双电2400w

价格26760 不含税

安装

有了服务器自然还需要机柜,又增加了一个80x60x100的机柜

image-20231103220519471

服务器一般可以使用拖板拖住服务器,也可以使用滑轨方便抽拉。

  • 滑轨又分静态和动态的,静态只能抽出来10cm左右,动态的可以完全抽出来

image-20231103222357103

有了这些还不够,还需要电源,一般都是使用PDU类型的电源

image-20231103221018877

  • 注意总功率,一般可能单电源就2400w了,双电源就4800w,多台服务器,这个数量就上去了
  • 接头高功率都是单独引线过来的,不能直接用默认的线材

风扇

服务器启动真的是飞机起飞,就跟涵道电机一样,呜呜的

想要服务器声音小一点,可以通过DELL的设置,直接修改风扇速率

风扇可以通过iDRAC的API进行控制,下面是一个通用的控制工具

https://github.com/cw1997/dell_fans_controller

image-20231103223743182

这里有更高级的版本,可以独立控制每个风扇

https://github.com/zzccchen/DellEmcFansController

image-20231109185605728

使用风扇控制需要开始IPMI,具体操作在这里

https://zhuanlan.zhihu.com/p/157796567

顺带看了下,他还写了一个温度和内存监控程序,也挺好的

https://github.com/zzccchen/DellEMCThermalMonitor

iDRAC

Integrated Dell Remote Access Controller (iDRAC) 专为实现安全的本地和远程服务器管理而设计,可帮助 IT 管理员随时随地部署、更新和监视戴尔 PowerEdge 服务器。

iDRAC也要一个独立网线接入,接入以后就可以进入服务器远程访问和操作

  • 远程开关机:在iDRAC Web界面或命令行界面中,管理员可以实现服务器的远程开关机、重启和冷启动等操作。
  • 远程监控:iDRAC可以提供服务器的实时监控信息,包括温度、风扇速度、硬盘健康状态等,帮助管理员及时发现和解决潜在问题。
  • 日志查看:iDRAC记录了服务器的事件和日志信息,管理员可以查看这些日志以进行故障排除和问题分析。
  • 虚拟媒体:通过iDRAC,管理员可以将本地计算机上的光盘或ISO映像文件连接到服务器,实现虚拟媒体的加载和启动。

iDRAC也有API接口,可以用python之类的语言写一些自动化管理的脚本

系统虚拟化

有了硬件基础以后,还需要一个好用的系统方便做虚拟化,想折腾就上PVE,想稳定就用ESXi

PVE

PVE,全称Proxmox Virtual Environment,虚拟机内核是KVM,主要还是Linux系统,扩展能力很强,对应要求操作的人也很高

ESXi

ESXi是VMWare旗下的虚拟化组件之一,界面比较清晰,简单易用,扩展性差一些。

VMWare系列用的比较多的话,实际创建虚拟机之类的操作都非常类似,简单好用。

硬件直通

简单说,就是如果虚拟化会严重损失硬件性能,比如显卡、硬盘、网卡等,为了防止损失,所以可以指派某些硬件和虚拟机构成硬件直通,这样可以最大程度利用硬件性能。

目前普遍看到的是ESXi硬件直通大概率会遇到点问题,需要找到各种解决办法才行,PVE的硬件直通大部分都可以配置好以后直接使用。

ESXi基础配置

ISO安装包上传

image-20231109011945733

比较简单,可以直接通过数据存储浏览器上传各种镜像

image-20231109012100222

然后就能在虚拟机的设置中选到对应的iso了

NTP

image-20231109004946261

NTP首先把当前系统时间改到接近真实的时间,然后再填入NTP服务器,使用网络协议时间

保存以后发现NTP依然无法启动,下面却提示成功了

image-20231109005109857

这里需要去服务中手动启动ntpd

image-20231109005134297

再回去刷新,发现时间已经同步并且启动了

image-20231109005214467

开启iDRAC和IPMI

iDRAC需要重启服务器的时候按F2进入BIOS,然后开启iDRAC,设置一下对应的网络即可

再通过ip就可以进入iDRAC的管理页面

image-20231109185308478

开启IPMI,然后就可以通过一些管理软件直接操控了

风扇管理

https://blog.vimc.cc/2020/10/18/%E5%9C%A8ESXi%E4%B8%8A%E6%89%8B%E5%8A%A8%E6%8E%A7%E5%88%B6%E6%9C%8D%E5%8A%A1%E5%99%A8%E9%A3%8E%E6%89%87/

ipmitool

ipmitool可以直接安装在ESXi上,但是目前最新版的是不支持ESXi 8.0的,8.0风控提高了,导致实际无法使用了

https://vswitchzero.com/ipmitool-vib/

此方案行不通

IPMICFG

https://www.cnblogs.com/ispace/p/17261196.html

DellEmcFansController

读取风扇、cpu等信息没有问题,但是控制风扇就会发现没有起作用。

image-20231109190804418

手动试了一下命令,发现直接使用命令会提示权限不足

实际上已经是IPMI和iDRAC的管理员身份了,依然提示权限问题

看了一下能用的都是iDRAC 3.0甚至更老的版本,我是7.0版本,所以不能用了。

代理

如果是正规机房应该是有多线网络的,甚至专门走国外VPN之类的分流也是有的,而我这里就不太行了,想要给服务器一个透明代理没啥好的办法,只能说外面再套一层OpenWRT,这样把服务器直接连到OpenWRT这里,通过OpenWRT分流管理。

  • RouterOS,自身是没有V2ray或者是SS、Clash等代理工具的,甚至SOCKS代理部署起来都有点麻烦

淘宝看到的软路由私聊都是不能说OpenWRT的,这个受到管控了,要聊只能加V私聊

image-20231121233353556

软路由目前老一些的就是各种3代甚至2代的i3笔记本的板子改出来的软路由或者是N系列、J系列低功耗U做的集成的板子

image-20231121233600307

最后选了一个稍微新一点的J6413的系统,安装到机柜里配合使用

image-20231121233813192

Summary

iDRAC的工具还是比较少的,IPMI tools也停止维护了,想要更多的还是得自己写

Quote

https://blog.csdn.net/weixin_42930696/article/details/128642633

https://post.smzdm.com/p/aqm7d5pk/

https://it.sohu.com/a/706181660_121748409

https://www.python100.com/html/NX4HDQ8854F9.html

https://jingyan.baidu.com/article/5d6edee2004690d8eadeec8a.html

https://zhuanlan.zhihu.com/p/157796567