V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
weiyan
V2EX  ›  服务器

raid 扩容请教

  •  
  •   weiyan · 307 天前 · 1252 次点击
    这是一个创建于 307 天前的主题,其中的信息可能已经有所发展或是发生改变。

    虚心请教各位大佬,目前有一台服务器做了 raid5 ,总共 100+TB ,单盘 14TBx12 ,还有两个槽位空着

    现在存储空间不够,有 10TB 左右的缺口,想将剩下的两个硬盘槽利用起来,有两种可选方案 1.对 raid 扩容,可以增加 28TB 的容量,但是担心大容量 raid 扩容是否可靠,因为存储的数据都是实验室的实验结果,一定不能出问题(出了问题我就人头落地了!! 2.两个槽位单独做 raid1 , 可以买 16TB 或更大的硬盘,缺点是会浪费一半的硬盘空间。 想听一下大家的建议~

    以及有个问题不知是否有人大佬了解,服务器用的阵列卡为 MegaRAID 9364-8i ,我看它的参数应该只支持 8 个通道输入,为什么现在可以给 12 个硬盘做阵列呢?谢谢大佬们!!

    43 条回复    2024-02-27 23:15:40 +08:00
    my3157
        1
    my3157  
       307 天前 via Android   ❤️ 1
    raid 能不动就不动,建议新建
    xkxwd
        2
    xkxwd  
       307 天前
    1.扩容时不管可不可靠,都要做备份;
    2.可能连接了附加的扩展板或其他控制器来支持更多硬盘;
    3.建议新建;
    gvdlmjwje
        3
    gvdlmjwje  
       307 天前
    1.超过 32TB 还敢用 raid5 , 胆子挺大的嘛。换我就直接买两个 32TB 的盘做 raid1 了。不过单 raid 卡做两个以上 group 是不推荐的,特别还是不同的 raid level 。
    2.https://docs.broadcom.com/doc/pub-005183
    1.6.2
    coolloves
        4
    coolloves  
       307 天前
    因为存储的数据都是实验室的实验结果,一定不能出问题
    既然如此,没有备份,是早晚的事情啊
    life90
        5
    life90  
       307 天前 via Android
    不管你如何操作,建议还是要做冷备份。raid 不是备份,只是提高可靠性的手段。
    kenneth104
        6
    kenneth104  
       307 天前
    Q1 ,对 raid 扩容,可以增加 28TB 的容量,但是担心大容量 raid 扩容是否可靠
    A2 ,担忧正确,RAID5 随着扩大,很可能出问题,但可以数据恢复

    Q2 ,服务器用的阵列卡为 MegaRAID 9364-8i ,我看它的参数应该只支持 8 个通道输入,为什么现在可以给 12 个硬盘做阵列呢?
    A2 ,8 个通道是正确的,但硬盘背板还可以进一步分割共享这 8 个通道


    总结方案 1 ,如你所说,加一组 RAID1
    总结方案 2 ,RAID5 添加 2 块转 RAID6 ,容量可以多 14TB
    总结方案 3 ,RAID5 添加 1 块转 RAID6 ,另一块单独用于热数据

    本人运维人员,上面说的都操作过,严重不建议 RAID5 过大并用于稍微重要的数据
    aheadlead
        7
    aheadlead  
       307 天前
    [因为存储的数据都是实验室的实验结果,一定不能出问题(出了问题我就人头落地了!!]

    把方案换了吧,raid 5 这不是等着人头落地?
    weiyan
        8
    weiyan  
    OP
       307 天前
    @my3157 好的,感谢!
    weiyan
        9
    weiyan  
    OP
       307 天前
    @xkxwd 嗯嗯!准备考虑冷备的事情了
    weiyan
        10
    weiyan  
    OP
       307 天前
    @gvdlmjwje 服务器是我入学前运维设置的,我第一次看到也惊了( 100+TB 的 raid5
    weiyan
        11
    weiyan  
    OP
       307 天前
    @coolloves 好的!
    weiyan
        12
    weiyan  
    OP
       307 天前
    @life90 好!考虑一下冷备份的事情!感谢
    weiyan
        13
    weiyan  
    OP
       307 天前
    @kenneth104 感谢回复!!和老师沟通一下,准备加一组 raid1~
    weiyan
        14
    weiyan  
    OP
       307 天前
    @aheadlead (希望等我毕业后再出问题( bushi
    fangpeishi
        15
    fangpeishi  
       307 天前
    无论如何,做这次变更之前,先备份一份到其他介质。
    Eleutherios
        16
    Eleutherios  
       307 天前
    真猛啊 这么大这么多的盘敢组 RAID5 ,换我至少得拆成 2 个 8 盘 RAID 6 ,或者 1 个 15 盘 RAID Z3+1 热备
    weiyan
        17
    weiyan  
    OP
       307 天前 via iPhone
    @Eleutherios 没办法,之前的运维搞得方案,现在想换也没啥机会了
    weiyan
        18
    weiyan  
    OP
       307 天前 via iPhone
    @fangpeishi 好的,感谢!
    Eleutherios
        19
    Eleutherios  
       307 天前
    @weiyan 赶紧把数据导出来,然后重建 RAID 啊。这就是活跃期的冰岛活火山,不知道什么时候炸,但是就这两年了。
    Eleutherios
        20
    Eleutherios  
       307 天前
    话说 RAID5 炸盘后恢复失败数据全丢不是很常见的事么?没想到 4202 还有人在 production env 里用。

    MegaRAID 9364-8i 没用过,但是 8i 指 8 SAS/SATA 盘,剩下 6 个怕不是走的主板的 SATA 口吧?空 2 个槽位是因为主板没更多 SATA 口了吧?你们该不会用的是家用主板+CPU+没 ECC 的内存吧?大学里的科研小团队自己搞的么?
    my3157
        21
    my3157  
       307 天前
    话说想起好几年前一个 120T 的 RAID 50, 磁盘已经用了快四年了, 坏了一块盘, rebuild 的时候睡觉都睡不踏实
    wanguorui123
        22
    wanguorui123  
       307 天前
    企业数据还是用 RAID1/10 靠谱
    kenneth104
        23
    kenneth104  
       307 天前
    先检查现在状态有没有降级,如果没监控手段,那先在服务器的相应 raid 套件里面,可以设置故障后发邮件通知的,你先设置好发到你和老师的常用邮箱。。

    PS,看了眼现在正规渠道的企业硬盘,对比 21 年头,居然还涨价
    kenneth104
        24
    kenneth104  
       307 天前
    @my3157 我的 raid5 用来冷备的,睡得可舒服
    Eleutherios
        25
    Eleutherios  
       307 天前
    OP 打个商量呗,这 RAID 的后续进展都在 V2 发发吧,感觉有乐子看了(奸笑)
    weiyan
        26
    weiyan  
    OP
       307 天前
    @Eleutherios 笑死哈哈哈哈,不过有什么消息我会发的!我也想看看这个服务器可以撑多久
    gvdlmjwje
        27
    gvdlmjwje  
       307 天前
    @Eleutherios #25 应该没乐子看了 lz 貌似直接 raid1 了🤭
    weiyan
        28
    weiyan  
    OP
       307 天前
    @Eleutherios 好!!!已经在和老师商量备份的事情了
    weiyan
        29
    weiyan  
    OP
       307 天前
    @Eleutherios 这倒不是,用的是正经服务器,超微的主板哈哈哈哈
    weiyan
        30
    weiyan  
    OP
       307 天前
    @my3157 之前有经历过几次意外断电,每次上电自检的时候我也这样,睡不踏实
    weiyan
        31
    weiyan  
    OP
       307 天前
    @kenneth104 嗯嗯,倒是没有降级(上天保佑
    Eleutherios
        32
    Eleutherios  
       307 天前
    @gvdlmjwje 我觉得单单是把数据导出+重建 RAID 就会有有趣的事情发生,再加上后续的旧盘复用、新盘购置、可能的配置升级(比如加个 SSD-CACHE 、万兆网口)以及配件采购,感觉会是一部帕鲁血泪史(狗头)
    Eleutherios
        33
    Eleutherios  
       307 天前
    @weiyan 那还行,这种不关机的 NAS ,ECC 还是挺重要的……是什么系统? TRUENAS 或黑群晖么
    weiyan
        34
    weiyan  
    OP
       307 天前
    @Eleutherios 是 ubuntu+nfs 的方案
    YostGray
        35
    YostGray  
       307 天前
    一般冷备份除了磁带这种难用的,还有啥便宜大碗的嘛
    oColtono
        36
    oColtono  
       307 天前
    冷备份其实磁带并不难用,LTO6 磁带 2.3T 一张,就是拷贝起来麻烦,你 100T 的数据,估计得要拷 50 张磁带,LTO6 磁带机算 1600 ,50 张磁带算 50*40=2000 ,一共 3600 就能备份完这一批了,就是耗时久一点。估计得拷一个月才能拷完
    oColtono
        37
    oColtono  
       307 天前
    至于 raid ,我手上刚好有一个 8 盘位的群晖软 raid ,组的是 raid6 ,原来是插满了八块 8T ,运行了 5 年,最近刚把这堆盘挨个换成 18T 的,就是直接一块一块换,换一次重建一次 raid ,相当于重建了 8 次。每次都重建成功。

    可能是我运气好,单纯觉得 raid 是有风险,但是也没大家说的那么不可靠。备份好数据以后,就安安心心折腾呗
    kenneth104
        38
    kenneth104  
       307 天前
    被 OP 提醒,我又检查了一下 44 个全新企业盘的集群,都健康,并且确定 5 年保修
    mxT52CRuqR6o5
        39
    mxT52CRuqR6o5  
       307 天前
    感觉 raid 相比 zfs 已经没多少优势了
    需要极致专业用 zfs ,需要极致灵活用 unraid ,raid 真有点不上不下
    busier
        40
    busier  
       307 天前 via iPhone
    胆真大 12 块盘敢用 RAID5 !
    ttyhtg
        41
    ttyhtg  
       307 天前 via Android
    既然是实验结果数据,赶紧抓紧时间另外至少再备份一份,不要迷信 raid5
    ttyhtg
        42
    ttyhtg  
       307 天前 via Android
    不要乱动
    ttyhtg
        43
    ttyhtg  
       307 天前 via Android
    @oColtono 我之前这样设想过,但是还没实验,感谢大佬经验之谈,以后我也这样操做一下,坏了也没事,因为我有异地备份
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1084 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 19:11 · PVG 03:11 · LAX 11:11 · JFK 14:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.