分类 NAS 下的文章

群晖FS1018升级4万兆网络

最近看各位up主纷纷升级了万兆,并且mikrotik新出了40gbps的交换机,我也升级一下我的全固态nas。
我的synology全固态nas FS1018原本用的网卡是x710-da2,这次升级成为xl710-qda2,intel 的40gbps网卡,100gbps的话就需要mellanox的了,intel目前还没有,而且mellanox便宜的二手卡大部分是InfiniBand网卡而不是以太网卡。
群晖FS1018使用的是两张pcie x4转接的12个sata,xl710-qda2使用的是pcie-3.0 x8的接口,按接口来说足够4000MB/s了,但是由于群晖买软件送硬件的特性,FS1018配备的这个奔腾D1508比较孱弱,不知道是否能跑满,由于交换机还没到所以速度测试后面补上。
xl710-qda2使用的是国产寨卡(大厂保修3年),模块也是intel的,是原装还是山寨不清楚
第一次接触40g光纤,使用的mpo接口,以太网卡使用8芯,由于历史原因网速大部分成品都是12芯的,12芯兼容8芯,这里使用的也是12芯。在10g网络以下光纤一般使用双芯lc接口,家用宽带使用单芯sc接口,而mop接口单排8或12芯,更有双排24芯,具体请自行搜索。
下面上图
网卡x710-da2和xl710-qda2
xl710-qda2芯片
xl710-qda2上机
intel 40g模块
模块光纤接口
模块上机
mpo接口光纤

群晖的兼容性列表里没有xl710-qda2,但是按经验intel的驱动兼容自家大部分产品,换之前还稍微有点担心,下图是群晖正确识别
群晖识别xl710-qda2
以下是ssh登陆群晖看到的dmesg内容

[ 58.168571] Intel(R) 10GbE PCI Express Linux Network Driver - version 5.1.3
[ 58.176352] Copyright(c) 1999 - 2017 Intel Corporation.
[ 58.189592] i40e: Intel(R) 40-10 Gigabit Ethernet Connection Network Driver - version 2.3.6
[ 58.198928] i40e: Copyright(c) 2013 - 2017 Intel Corporation.
[ 58.218788] i40e 0000:01:00.0: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.459081] i40e 0000:01:00.0: MAC address: 68:91:d0:xx:xx:xx
[ 58.470715] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[ 58.478036] i40e 0000:01:00.0: User requested queue count/HW max RSS count: 0/64
[ 58.486401] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA
[ 58.511205] i40e 0000:01:00.1: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.751255] i40e 0000:01:00.1: MAC address: 68:91:d0:xx:xx:xx
[ 58.762888] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[ 58.770209] i40e 0000:01:00.1: User requested queue count/HW max RSS count: 0/64
[ 58.778572] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA

静音全万兆全固态nas(持续更新)

目标:读写1gb/s,目前群晖ds3018xs受限于cpu只能到写700m/s读1g/s,且群晖风扇噪音太大盘位稍小,买群晖的时候还没出fs1018
硬件:主板 x11sdv-16c,内存 三星ddr4 ecc 64g2,散热 d15s,硬盘笼 516sp,硬盘 860evo-4t8,hba卡lsi 2308-it,sata raid卡OImaster EB-6250 JMicron的芯片,网卡 板载x557双10g电口,机箱 先马 小黑洞
第一版图片
硬件1
第二版图片
硬件2正面
硬件2背面

软件:底层esxi6.7,nas系统黑裙6.2

1,为什么不选freenas,网卡驱动性能太差,只有写200m/s,读600m/s,且cpu资源消耗较高,会增加散热风扇噪音
2,为什么不选windows server,调整网卡mtu,buffer之后能到850m/s读写,但是存储池为parity(raid5)写入性能太差,hyper-v兼容性较差
3,为什么需要两个raid卡,OImaster EB-6250 是两个2.5硬盘转sata接口的硬盘盒,两个2.5硬盘支持jbod,raid0,raid1,这里我用了raid1用来安装esxi,并作为esxi的存储,存储虚拟机配置及虚拟硬盘,这样在基础层面保证数据安全
4,为什么选择先马小黑洞机箱,1京东可以第二天送到,2有前面板可以把硬盘抽取盒挡住,以防熊孩子,3设计是近几年的设计,酷冷等有两个5寸光驱位的机箱还是上个世纪的设计,电源上置。。。
5,功耗怎么样,待机80w左右,满载200w,按满载算一年1600度电,还是可以接受,毕竟性能摆在这里
6,噪音怎么样,待机凑到机箱10cm处可以听到风扇声音,满载略低于冰箱工作声音,基本满足静音的目标
7,性能怎么样,afp协议读可以跑满万兆1.1g/s,写大概750m/s,smb协议还在继续优化中
性能1

群晖的radius server使用openldap认证的坑

群晖的radius server是魔改的freeradius,可以使用本地ldap server和远程ldap,分别对应两套配置文件。
在使用远程ldap时,会读取控制面板/ldap客户端的配置信息,每次重启radius server都用读取的配置重置radius server的远程ldap配置文件,坑就在这里:radius server有个连接远程ldap的start_tls = no配置信息默认是yes,然而openldap默认是不开放ldaps://的,配置ldaps需要证书等一系列配置,比较繁琐,并且内网使用ldap://也没有什么安全问题,群晖radius server每次修改配置都会重置start_tls为yes,然后就连不上远程ldap了。
解决办法:
1,修改start_tls配置文件

vi /usr/local/synoradius/rad_ldap_starttls
start_tls =no

然后radius server的配置不动,在客户端每次不勾选客户端应用,再够远应用,达到不重置配置文件重启认证服务器。

2,修改ldap配置文件

vi /volume1/@appstore/RadiusServer/etc/raddb/mods-enabled/ldap
    tls {
#        $INCLUDE /usr/local/synoradius/rad_ldap_starttls
       $INCLUDE /var/packages/RadiusServer/target/syno_conf/rad_ldap_starttls
    }

注释掉原来的引用,修改成重启radius server不会重置的配置文件。

3,修改radius server的重启脚本
由于群晖魔改,配置文件启动脚本路径比较混乱,还没有找到重置配置文件的位置。

ps:由于群晖的packages的特殊性,每次升级后理论上上面三个方法都会失效,需要重新修改。

2018年10月目前最便宜的万兆nas华芸的as4004t

这段时间在升级虚拟化服务器,一个重要功能就是要升级群晖的ds3018xs,6盘万兆nas,升级的原因是x86的cpu性能比较弱功耗高,6盘噪音比较大,计划是4块三星860dct 3.84t,但是由于cpu散热一直没有解决就搁置了。偶然间看到台湾网友发的华芸的万兆nas,as4004t一下来了兴趣,armcpu,自带万兆网卡,小巧,看评测读能到600m,写能到300m,价格3500,买来试试。
下面是开箱
1箱子正面
全家福,电源是12v,90w
内容物
外壳是塑料
nas正面
背面是被吐槽最多的,太丑
nas背面
内部有铁架
nas内部
盘托和群晖一样是硬盘快拆,但是没有锁
盘托
希捷企业级充he的10t硬盘,新买的两块已经换成银河系列的彩标了
硬盘

之所以没上ssd一方面是因为cpu性能有限,不能发挥ssd潜力,重要原因是!穷!(一块860dct3.84t的ssd可以买这四块硬盘了)

初始化各家都差不多,联网下固件,配置管理员,配置硬盘raid等
我用的是raid5,目前还没有完成raid校验,写入有200m,读有600m左右,完成校验后应该会好一点,功率约50w,噪音比ds3018xs小很多,发热也小,符合我作长期开机存储的需求,偶尔可能后台下点电影什么的吧,至于群晖ds3018xs让它做冷备吧。
20181119更新
由于四块硬盘共振噪音比较大,趁双十一换了四块860evo 4tb,使用raid0,共计14.4tb,每周定时同步一次到我我的ds3018xs里,暂时解决了噪音和数据安全问题,但也不是长久之计。
20181224更新
四块860evo 4tb使用raid0,修改nas网卡、交换机、mac mini万兆网卡的mtu为9000后实际能达到台湾网友的测试结果,但是官方还是差不少。
ssdraid0mtu9000测试结果

官网介绍:https://www.asustor.com/product?p_id=57
官方性能说明(ssd raid5,读有1100m,写有600m)https://www.asustor.com/product/performance?p_id=57
台湾网友测评:https://garynil.tw/2018/10/1264/asustor-4004t/