构建自己的homelab

一、硬件准备篇。

I.首先最难选是主板,必要条件如下:

1.SOCKET 1155

2.必须支持VT-D

3.带INTEL或BROADCOM 千兆网卡,PCI-E X16和PCI-E X4以上插口各1

次要求但不强制

1.M-ATX大小

2.带AMT/vPro或者IPMI可供远程维护

3.双千兆网卡

4.支持IVY处理器。

上INTEL官网搜了下,符合要求的只有Q67、Q77或服务器用的C206之类的芯片组了。

虽然某些品牌的Z77板也能在BIOS打开VT-D,但可能会发生各种奇怪的问题,譬如华擎的要想打开VT-D就只能关闭SATA控制器,况且几乎所有中端及以下的Z77板是螃蟹网卡,所以否决。

C206芯片组主板不但贵,那怪异的电源口和内存插槽位置,怕与家用机箱不兼容,功耗也大,同样否决。

首先上某宝找品牌机拆机板,搜到一款精英代工的ACER Q77,除了单网卡外全部符合要求,且只需320不到。一问,上架的两家都没货,买了个表没货就不要摆上架嘛。其余戴尔、联想的拆机板普遍700以上,那还不如买新了。

唯一符合要求的剩下INTEL自家的DQ77MK,某宝上没有卖,买表的我海淘还不行吗。5.13日亚下单,算上运费900不到。但其实这个决定实在太手表了,后面会陆续提到。

JS的转运速度挺快,5.13下单,5.22就到了,敢射中国海关,没有被睡。日亚的包装很寒酸,主板盒和皱巴巴的包装盒之间大把的空隙,最少拿报纸塞一下啊,看来小日本做事也挺随便的。

01

开箱!绿色的PCB稍显廉价,PCI-E X16、X4、X1、PCI各一,4*DIMM,最高支持32G内存,蓝色SATA口是SATA3,黑色是SATA2,灰色同样是SATA2和MSATA同用一个通道,留空的SATA口给ESATA用了。

02

菊花图,接口齐全:DVI-I、DVI-D、DP、USB3.0、1394、ESATA、双千兆网口

03

II.其次难选是CPU,必要条件如下:

1.四核以上且带HT的SNB/IVY I7或E3

2.支持VT-X

3.支持VT-D

4.主频3.0G以上

5.MAX TDP 65W以下(看到某贴的双路L5420服务器待机180W吓尿了)

次要求但不强制

1.支持vPro

其实一开始定的配置是Q67+E3 1260L/I7 2600S,但楼主偶尔也想玩下游戏,看片也是用SVP+MADVR这种超吃CPU+GPU的怪兽组合(I5 2500K OC 4.3G+HD6850看1080P占满资源是常事),怕满足不了。

所以最后配置就锁定DQ77MK+I7 3770S

某宝入的散片,E1步进

04

III.显卡,必要条件如下:

1.全高单槽

2.节能版限定,不能外接电源

3.A卡限定(非专业N卡不能直通)

4.带一定性能

最后锁定HD7750,某宝上不少HD7750的单槽版叫价500左右,虽带店保但来路不明,干脆跟主板一起海淘算了,算上运费580有找。牌子是较实惠的玄人志向。

从包装盒上就能看出其实就是迪兰恒进恒金1G

05

开箱!包装超环保,就卡一张,一页A4大小的说明书,一个DVI-I转VGA的转接头,驱动盘

06

IV.SSD,240G或以上

用来跑各个VM,用MSATA的最好,不占地方,DQ77MK刚好带MSATA口,但只支持SATA2,而且一直收不到合适价钱的,后来看到有坛友低价卖M5S 256G,立即秒了。

V.RAID卡

1.支持4盘或以上

2.功耗尽量低

3.PCI-E X4或以上插口

直通给NAS系统,由于是用ZFS文件系统,所以就只当扩展卡用了,挑便宜的买就是,最后选择LSI 3041E B3版,刷IT模式,280入手。

本来机箱和电源想重新买个V354+X560+定制线的,但这个月败家太多,实在米不动了。

最终配置如下:

主板:INTEL DQ77MK(日亚海淘)

CPU:I7 3770S(某宝购入)

RAM:8G*4(某宝购入,260/根,估计是山寨条)

阵列卡:LSI 3041E B3 (某宝购入,直通)

显卡:HD7750 1G (日亚海淘,直通)

SSD:M5S 256G(本坛1K收的)

HDD:ST32000542AS 2T*4(原来的),WD 500G*1(闲置)

U盘:台达16G(单位A来的,本来想买8G USB DOM,一看价格都能买32G SSD了)

网卡:随便PCI/PCI-E X1 网卡,只要是I家或B家就好

机箱:银欣 LC17B(闲置)

电源:银欣白牌 400W(原来的)

散热器:猫头鹰 U9B(闲置)

系统:ESXI5.0U2

三、系统准备篇:

07

VM1安装Pfsense,分配1.2G主频及1G内存,作为路由器和DHCP服务器,虚拟交换机1设置多个虚拟WAN口做多拨,通过82574(黑色网口)链接ADSL MODEM,安装好WALLPROXY供各设备愤青。

设置虚拟交换机2链接各个VM,并通过82579(红色网口,带AMT)链接到E3000其中一个LAN口上,E3000退作AP使用,并供家里所有物理设备链接。

外来设备(客人、邻居等)则通过WRT310N这个老旧的路由器链接到独立网卡上(虚拟交换机3),用panabit严格控制流量和链接数,并利用pfsense的防火墙功能限制让其不能访问虚拟交换机2上的资源。

VM2安装NAS4free x64,直通RAID卡,分配9G内存(1G系统+8G磁盘缓存),提高ZFS性能。顾名思义就作NAS使用。

VM3安装WIN7 x64专业版,直通显卡与其中一个USB控制器,分配6G内存,作为HTPC,客厅游戏机及女王用机(客厅已有HDMI、USB线拉到主人房,并在主人房放置了一台带音箱的显示器),不用争电脑用了。同时女王用PPS看韩剧时要占用大量连接数和带宽,TOMATO的QoS性能总觉得效果一般,现在她要用机就将HTPC的虚拟网卡切换到虚拟交换机3上。

VM4安装ubuntu12 x86版,分配2G内存,通过NFS挂载NAS4free上的内容,作为AirVideo Server用。为什么不用WIN7? 要知道unbuntu安装好只占3G空间不到,不用装杀毒软件直接裸奔,资源能省就省。

VM5安装Windows2003 R2 x86版,作为WSUS补丁服务器,域服务器使用

VM6安装WINDOWS 2008 R2,分配4G内存,作vCenter使用。

VM7安装CENTOS64,跑oracle 11g,用作跑vCenter的数据库服务器,及跑其他数据库实例作实验用

VM8等安装和VMView相关的服务器、VM等,楼主做实验或者测试时打开使用

四、系统安装篇:

1.既然支持AMT和vPro,当然要好好利用这个特性了。开机按ctrl+p进MEx界面设定好AMT功能,连线到红色标记的82579lm网卡上,客户端安装好realvnc plus,开始连接…… 当然不会顺利如愿了,提示不支持的显示设备。进bios,设定集显为主显卡。bingo,成功了,以下是远程操控BIOS的画面。具体效果就跟支持IPMI的服务器差不多,可远程开关机,远程挂载ISO装系统等等,就不太多描述了。

08

 

2.远程挂载esxi5的iso,顺利安装到16g的u盘上,开机30S左右,还可以接受。这里可看到ESXI将整台机的CPU、内存、硬盘空间、网络等都看成是一个资源池,建虚拟机就要从这个资源池里划分资源。目前CPU是3.1G*2*4=24.8GHZ,内存是32G,ESXI本机系统占用的资源几乎忽略不计。

配置好静态地址,将显卡和显卡自带的HDMI声卡、其中一个USB控制器标记直通。

09

由于独立网卡还没买好,我这里先划分两个网络资源,根据架构图,楼主将82579LM分配的虚拟交换机2并标记为LAN,并设置一个VM KERNEL,配置好固定的管理 IP。

然后将82574LM分配虚拟交换机1并标记为WAN。

3.先安装Pfsense+Panabit,为进一步设置一开始先划分两个E1000的虚拟网卡,并分别对应虚拟交换机LAN和WAN,到webgui界面先打开SSH,再从vmtools的FreeBSD.iso里提取了vmxnet3.ko(大家应该都有装WKS版VMWARE吧,就在安装目录里有),用WINSCP拷贝到/boot/modules/,然后编辑/boot/loader.conf添加vmxnet3_load=”YES”,这样vmxnet3网卡不用安装vmtools都能正常驱动了。关掉VM1电源,添加3个vmxnet3网卡,两个接WAN,一个接LAN。打开VM1电源,重新设定新增的3个网卡对应的INTERFACE,最后看到每个接口都显示10g链接表示很爽,只可惜尝试多拨时未拨上去的WAN口不停UP->DOWN,查日志原来返回了”28103012: check user-name in black list. failed!“信息,看来本地ISP并不允许多拨。

接着安装愤青工具wallproxy,下载地址请自行放狗,先下载完整包申请GAE ID(过程略,跟狗特工差不多),然后下0.5M那个包上传到/etc/就可以,记得之前先编辑proxy.ini加上GAE ID。

部署python环境:

SSH过去在终端界面执行

pkg_add -r ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-8.4-release/Latest/py27-gevent.tbz

pkg_add -r ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-8.4-release/Latest/py27-openssl.tbz

装完后重启,然后再进终端界面执行

python /etc/wallproxy/local/startup.py

如看到下图恭喜你成为粪青者了。

10

4.接着安装htpc,将7750、自带的hdmi声卡、USB控制器直通到客户机上,装系统,装驱动,开机,蓝屏了! 上网到处爬文,HD7750直通是没问题的,但必须屏蔽集显! 艹,主板和CPU白白买贵了。屏蔽集显意味着AMT功能废武功,随便挑块带VT-D的H77+E3 1230 V2就可以,何苦折腾来着。没办法,先安装其他系统。

5.安装ubuntu,分配4颗CPU,主频不作限制,2G内存,启动超快,10S不到就进系统了。下载AirVideo Server并配置好,拿出肾板2,Global Setting拉到最高画质、最高码率和最高分辨率,看阿凡达原盘并快进测试,流畅不丢帧。到ESXI客户端界面看了下CPU资源占用,刚好是12GHZ左右跳动。

6.其他系统安装都非常顺利,过程不表。

7.继续安装VM3,含泪在BIOS屏蔽了集显,原来装好的系统不用重装,待ESXI客户端控制台显示的四点菊花汇聚后,画面就会定着不动,ESXI服务端本来显示ESXI的黄黑画面会黑屏1秒左右,接着自动切换到熟悉的WIN7桌面。接上鼠标键盘,就跟真实的物理机一样操作。不过VM3关机后也回不去ESXI原来的界面了,要维护可通过ssh解决。

下图可看到GPU已经直通成功。

11

VM3独占了物理显卡HD7750,并能正常安装驱动。

8.第二天阵列卡到了,有了必须屏蔽集显这个插曲,总觉得上天不会对我如此厚道,颤抖着手插到X4口上,开机,不认!将显卡拔了立刻认出,尝试升级Firmware,发觉竟然是B2版,臭骂卖家一顿并退货,白白浪费了一天。

再买了块B3版回来,跟B2版没任何区别,该不认的还是不认。继续INTEL官网爬文,发觉有个可怜的家伙和我情况一样,用了一个很奇葩的方法解决了问题,就是显卡和阵列卡互换位置,也就是显卡插X4,阵列卡插X16,果然两张都认出来了。

安装NAS4free,分配2个核心和限制4G主频,内存9G,先不要直通阵列卡,否则会卡机。安装好后编辑/cf/boot/loader.conf,添加以下3句

vmxnet3_load=”yes”

hw.pci.enable_msi=”0″ # Driver Interrupts problem SAS2008

hw.pci.enable_msix=”0″ # Driver Interrupts problem SAS2008

保存退出,关机。直通阵列卡。正常认出4个硬盘,到zfs管理界面,几秒钟就完成数据同步,smart信息也能正常识别,可惜在虚拟机下不能spin down,不开空调的情况下,读写没几下硬盘就直飚到40度(环境温度35度+),而且温度降不下来。在vm3上测试了下,samba读写速度均超过90M+。

由于怕NAS4free系统崩溃,就顺手安装了OpenIndiana + napp-it作为NAS的系统备份。惊喜地发现这套组合支持spin down了,下图显示不作任何读写操作达到我设定的10分钟后,硬盘进入待机状态,温度也降了下来。

12

其实ZFS文件系统下如果CPU够强,内存够大,开启DEDUP,每1T划分5G内存,并用SSD作为L2ARC cache(最好读写的SSD分开),那性能可不比那些FC SAN专业存储差呀。

9. 其余操作系统都是楼主实验环境用,所以vCenter还是需要的,楼主打算在宿主机上再安装两个esxi 5.1,从nas划分空间通过nfs或iscsi共享,ssd划分部分空间作为cache加速。不过这些就超出家庭使用范围了。某回帖提醒了我,上上网看看pps何用7750,几百块再买个瘦客户端丢主人房用VIEW链接就是了。

五. 系统测试篇

1.首先是估计大家最关心的NAS性能

进vm3上测试下读写速度

首先是atto

13

通过网络映射到Z盘测试,持续竟然达到了写400M+,读240M+的爆裂速度,要知道这4个都只是当年希捷节能盘呀,转速只有5900,能达到这个速度已经非常满足。

接着测试windows下的samba速度。

读速度测试找了大家喜闻乐见的波多野老师的作品

14

达到了200M/S,比原来快了1倍多。

写速度测试找了波多野老师的3D大作

15

达到了129M/S,同样比原来提升不少。

虽然这套组合的webgui比NAS4free难用很多,但效率实在是高,果然solaris核心和zfs最匹配啊,决定这套系统继续用下去了。

在ESXI安装DSM并成功挂载OI的NFS共享文件夹,测试中……

16

经过初步测试,多媒体套件除了photo station外其余都能工作,video station部分影片不能播放(应该是FFMPEG版本问题,有空替换试试),PC直接用网页VLC播放器解码原画画面很好但字幕乱码,高画质或以下字幕正常但画面太差,手机版则不能挂载字幕(肾板2忘在女王家了,只用安卓手机测试,机型HTC Z321E,高通S4 CPU,4.1系统,播放器BS PLAYER)。airplay和dlna串流因为缺乏设备不能作测试,估计问题也不大。

本来想将AirVideoServer也部署在DSM上的,可惜由于命令缺失安装不了,暂时不继续研究。

8. 现在看看VM3的CPU、内存、高清播放以及3D性能。首先来看WIN7的分数,仅作参考

17

很诡异的内存竟然满分了,楼主可没有超频,其余都在正常值。

测试工具采用AIDA64最新版

内存读写

18

19

然后是CPU QUEEN和FPU VP8

2021

 

可以看到,虚拟机上的CPU性能和内存读写和物理机几乎无任何分别,3770s的性能接近甚至超过tdp 95w的i7 2600。

接着测试高清播放

上面已提到HD7750已经直通成功,包括自带的HDMI声卡也直通进去了,为了验证声卡是否生效,我用新近海淘的SONY DS7500无线耳机作为测试。

将HDMI线从显卡接到DS7500的解码器后,立即认出一个SONY AVAMP的设备,原来右下角的喇叭标志打叉不能用,现在变得可用了。先进声音控制面板将声道输出调为7.1

22

点击测试,耳机发出各个测试方位的声音,声卡生效了。

进potplayer,设置AC3、DTS等音频输出设为bitstream直通。视频渲染器madvr,视频和音频解码器lav filters,再利用svp做倍频,尽力榨干cpu+gpu。

测试影片是同样大家喜闻乐见的大腿时代演唱会

23

madvr+svp果然霸道,8线程的I7 CPU占用率已经超过40%,GPU更是到92%了,温度也由待机的50度攀升到73度。

24

解码器的DTS灯亮了起来,音频也直通成功了。

不死心继续拿阿凡达REMUX测试

25

CPU占用率接近50%

26

DTS MA的灯亮了起来,高清音频直通也没问题。

切出去到ESXI客户端看了下,CPU总占用率最高为52%,看来其他资源占用是从NAS传输文件过程中产生的。

27

3D性能就只用3DMARK11

P模式分数

28

X模式分数

29

竟然没有因为显卡插在X4口而有任何性能的下降。

另外,由于群晖DSM的DS VIDEO和PLEX MEDIA SERVER的实际应用太不给力,有些片播不了,又或者加载不了字幕等等,而LINUX找不到类似airvideo for 安卓之类的应用,所以楼主将VM4改装SERVER 2012了,上面部署了AIRVIDEO SERVER和QLOUD MEDIA SERVER。这下所有平板和手机都能实时转档看片了,不用担心网速和兼容性。

来源URL:http://www.9652.org/blog/archives/695