存储运维 on 吾爱主机

解决FnOS MBR 超过 2TB 限制的错误

Sun, 24 Aug 2025 15:47:14 +0800

解决大磁盘分区报错：

Error: partition length ... exceeds the msdos-partition-table-imposed maximum of 4294967295

📌 一、错误原因

当你在 大于 2TB 的磁盘 上用 fdisk/parted 并且分区表类型是 MBR
(msdos) 时，会报错：

Error: partition length of 10443816960 sectors exceeds the msdos-partition-table-imposed maximum of 4294967295

原因：\

MBR 仅用 32 位存储扇区号；\
扇区大小 512B → 最大寻址空间约 2TB；\
超过 2TB 必须使用 GPT (GUID Partition Table)。

📌 二、解决方案概览

数据盘（无系统，仅存储）
→ 直接改 GPT，新建分区即可。
系统盘（启动盘）
- UEFI 引导：GPT 原生支持，需 EFI 分区。\
- BIOS 引导：GPT 也能用，但必须额外建一个 bios_grub 分区
  (1–2MB)。

📌 三、操作步骤

1. 检查分区表 & 引导方式

fdisk -l /dev/vda # 查看分区表类型 (dos/gpt)
[ -d /sys/firmware/efi ] && echo "UEFI" || echo "BIOS"

2. 数据盘场景（最简单）

假设磁盘是 /dev/vdb：

parted /dev/vdb
(parted) mklabel gpt
(parted) mkpart primary 0% 100%
(parted) quit

mkfs.ext4 /dev/vdb1
mkdir /data
mount /dev/vdb1 /data

# 开机自动挂载
blkid /dev/vdb1
echo 'UUID=xxxx-xxxx /data ext4 defaults 0 2' >> /etc/fstab

3. 系统盘场景

🔹 UEFI 模式

GPT 直接支持：\

确认有 EFI System Partition (ESP)，FAT32 格式，挂载 /boot/efi。\
安装引导：
bash grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=debian update-grub

🔹 BIOS 模式（重点）

BIOS+GPT 下需要一个 bios_grub 分区。

转换 MBR → GPT：

gdisk /dev/vda
# 输入 w 保存分区表

创建 bios_grub 分区（约 2MB）：

parted /dev/vda
(parted) mkpart primary 1MB 3MB
(parted) set 1 bios_grub on
(parted) quit

安装 GRUB：

grub-install /dev/vda
update-grub
grub-install --recheck /dev/vda

验证：
```
parted /dev/vda print
```
应看到一个 1–2MB 的 bios_grub 分区。

📌 四、扩展磁盘使用率

新建大分区：

parted /dev/vda mkpart primary 9GB 100%
mkfs.ext4 /dev/vda3
mount /dev/vda3 /data

扩展根分区（风险高，需备份）：

parted /dev/vda resizepart 2 100%
resize2fs /dev/vda2 # ext4
xfs_growfs / # xfs

📌 五、总结

报错原因：MBR 最大仅支持 2TB。\
数据盘：直接改 GPT → 新建分区。\
系统盘：
- UEFI → 需 ESP 分区，grub-install 即可。\
- BIOS → 需 bios_grub 分区 (1–2MB)，再 grub-install /dev/vda。\
这样就能完整利用 >2TB 的大磁盘空间。

✅ 建议：
遇到新机器、大盘 → 直接用 GPT 分区表，避免后续迁移麻烦。

测试bcache优化IO是否生效

Wed, 04 Jun 2025 10:22:04 +0800

在配置了 bcache 之后，测试 IO 速度是否有效提升是一个很好的步骤。这通常涉及到对比缓存生效和未生效（或直接访问后端存储）时的性能差异。由于 bcache 是一个透明的缓存层，精确地“关闭”缓存来做对比测试比较复杂，但我们可以通过特定测试方法来观察缓存的效果。

最推荐的测试工具是 fio (Flexible I/O Tester)，它非常强大且可配置。

1. 安装 `fio` (如果尚未安装)

对于 Debian/Ubuntu 系统:
```
sudo apt update
sudo apt install fio
```

对于 CentOS/RHEL/Fedora 系统:

sudo yum install fio
# 或者
# sudo dnf install fio

2. 测试缓存效果的关键概念

预热缓存 (Warm-up): 对于读缓存，第一次读取数据块时，数据会从慢速的后端 HDD (md10) 加载到快速的 SSD 缓存 (md4) 中。后续对相同数据块的读取请求应该直接由 SSD 缓存提供服务，速度会快得多。因此，测试前通常需要一个“预热”阶段。
测试文件大小:
- 测试缓存读取性能时，测试文件应小于 SSD 缓存 (md4 大小为 825.1G) 但又要足够大以避免完全被系统内存缓存。例如，一个 20GB-100GB 的文件。
- 如果要测试超出缓存能力的情况，文件大小应远大于 SSD 缓存。
fio 的 direct=1 选项: 这个选项会使 fio 绕过操作系统的页缓存 (page cache)，直接对存储设备进行 IO 操作。这对于测试 bcache 自身的性能非常有用，可以减少系统内存缓存带来的干扰。

监控 bcache 统计信息: 在测试期间，监控 bcache 的命中率等统计数据可以帮助了解缓存是否在按预期工作。

# 打开一个新的终端窗口来监控
watch -n 1 'echo "== Cache Stats =="; cat /sys/block/bcache0/bcache/stats_total/cache_hits /sys/block/bcache0/bcache/stats_total/cache_misses /sys/block/bcache0/bcache/stats_total/cache_bypass_hits /sys/block/bcache0/bcache/stats_total/cache_bypass_misses; echo ""; echo "== Other Stats =="; echo -n "Dirty Data: "; cat /sys/block/bcache0/bcache/dirty_data; echo -n "State: "; cat /sys/block/bcache0/bcache/state; echo -n "Writeback Rate: "; cat /sys/block/bcache0/bcache/writeback_rate; echo -n "Cache Mode: "; cat /sys/block/bcache0/bcache/cache_mode'

3. 使用 `fio` 进行性能测试

重要:

请将测试命令中的 /mnt/cached_storage/testfile 替换为您 bcache 设备的实际挂载点和您选择的测试文件名。
测试会产生大文件，测试完成后记得删除 (sudo rm /mnt/cached_storage/testfile*)。
运行 fio 命令通常不需要 sudo，除非您写入的目录需要特定权限，或者您要操作原始块设备（不推荐初学者直接操作块设备进行基准测试）。这里我们测试的是挂载的文件系统。

A. 顺序读取性能 (测试缓存效果)

创建并预热测试文件:
首先，创建一个较大的测试文件。这个过程也会将文件数据写入缓存（取决于您的写入模式和可用缓存空间）。
```
fio --name=prepare_seq_read_file --rw=write --bs=1M --filename=/mnt/cached_storage/testfile_seq_read --size=50G --direct=1 --group_reporting
```
这个命令会创建一个 50GB 的文件。

第一次读取 (可能部分来自 HDD，同时填充缓存):

fio --name=seq_read_warmup --rw=read --bs=1M --filename=/mnt/cached_storage/testfile_seq_read --size=50G --direct=1 --group_reporting --iodepth=32

(可选) 清理系统页缓存: 确保后续读取不是来自内存。

sync #确保所有挂起的写操作完成
echo 3 | sudo tee /proc/sys/vm/drop_caches

第二次读取 (应主要来自 SSD 缓存):
```
fio --name=seq_read_cached --rw=read --bs=1M --filename=/mnt/cached_storage/testfile_seq_read --size=50G --direct=1 --group_reporting --iodepth=32
```
比较第二次读取的吞吐量 (BW 项，通常单位是 MB/s 或 GB/s)。如果缓存有效，这个速度应该接近您的 md4 (NVMe SSD RAID0) 的读取速度。

B. 随机读取性能 (测试缓存效果)

随机读取是 SSD 缓存能带来显著提升的典型场景。

创建并预热测试文件 (如果尚未使用上一步的文件，或者需要一个专门的随机读文件):

fio --name=prepare_rand_read_file --rw=write --bs=4k --filename=/mnt/cached_storage/testfile_rand_read --size=50G --direct=1 --group_reporting

第一次随机读取 (预热):

fio --name=rand_read_warmup --rw=randread --bs=4k --filename=/mnt/cached_storage/testfile_rand_read --size=50G --direct=1 --numjobs=4 --group_reporting --iodepth=64 --runtime=120s

这里使用 --runtime 来限制测试时间，因为完整读取50GB的4k随机块会非常慢。

(可选) 清理系统页缓存:

sync
echo 3 | sudo tee /proc/sys/vm/drop_caches

第二次随机读取 (应主要来自 SSD 缓存):

fio --name=rand_read_cached --rw=randread --bs=4k --filename=/mnt/cached_storage/testfile_rand_read --size=50G --direct=1 --numjobs=4 --group_reporting --iodepth=64 --runtime=120s

关注 IOPS (每秒操作次数) 和吞吐量 (BW)。SSD 缓存应该能提供远高于 HDD 的随机读取 IOPS。

C. 写入性能

写入性能很大程度上取决于您 bcache 的缓存模式 (writethrough, writeback, writearound)。

如果是 writeback 模式: 写入操作首先进入 SSD 缓存，速度应该很快，接近 md4 的写入速度，直到缓存变满或开始强制回写。
```
fio --name=seq_write_test_wb --rw=write --bs=1M --filename=/mnt/cached_storage/testfile_seq_write --size=50G --direct=1 --group_reporting --iodepth=32
```
如果是 writethrough 模式: 写入操作需要同时写入 SSD 和 HDD，所以持续写入速度可能更接近较慢的 HDD (md10)，但对于突发写入和小文件写入，SSD 仍能起到加速作用。
```
fio --name=seq_write_test_wt --rw=write --bs=1M --filename=/mnt/cached_storage/testfile_seq_write --size=50G --direct=1 --group_reporting --iodepth=32
```

4. 简单 `dd` 测试 (快速检查，但不全面)

dd 可以用于非常简单的顺序读写测试，但其结果可能受多种因素影响，不如 fio 精确。

测试写 (结果受缓存模式影响):

# 创建一个10GB的文件
dd if=/dev/zero of=/mnt/cached_storage/dd_testfile bs=1M count=10000 status=progress

测试读 (第一次，预热):

dd if=/mnt/cached_storage/dd_testfile of=/dev/null bs=1M status=progress

清理系统页缓存:

sync
echo 3 | sudo tee /proc/sys/vm/drop_caches

测试读 (第二次，应从缓存):

dd if=/mnt/cached_storage/dd_testfile of=/dev/null bs=1M status=progress

5. 如何解读结果

对比基线: 您可能对您 HDD (sda, sdb 组成的 md10) 单独的性能有一个大概的了解 (例如，顺序读写可能在 200-300MB/s，随机 IOPS 较低)。
SSD 缓存效果:
- 读取: 经过预热后，对已缓存数据的读取速度应该接近您的 md4 (NVMe SSD RAID0) 的性能。NVMe RAID0 的顺序读取速度可能达到数 GB/s，随机 IOPS 非常高。
- 写入 (writeback 模式): 写入速度也应该接近 md4 的写入性能，直到缓存写满。
监控 bcache 统计: 如果测试时 cache_hits 远大于 cache_misses，说明缓存正在有效地服务请求。

6. 清理测试文件

测试完成后，记得删除创建的大型测试文件：

sudo rm /mnt/cached_storage/testfile*
sudo rm /mnt/cached_storage/dd_testfile

通过这些测试，您应该能够量化 bcache 配置带来的性能提升，特别是在读取热数据和随机 IO 方面。

使用bcache方法使SSD做HDD缓存优化IO速度

Wed, 04 Jun 2025 10:12:12 +0800

🎯 教程目标

在 sda 和 sdb 硬盘上创建一个名为 md10 的 RAID0 阵列。
使用现有的 NVMe SSD RAID0 阵列 md4 作为 md10 的高速缓存（使用 bcache）。
确保配置在系统重启后依然有效。

⚠️ 重要警告与准备事项

‼️ 数据备份 ‼️: 此教程中的操作将清除 sda、sdb 上的所有数据，并且 md4 设备也将被重新格式化作为缓存，其上的现有数据（如果有的话）也会丢失。在开始任何操作之前，请务必备份所有重要数据！
RAID0 风险: 您将为 md10 配置 RAID0。RAID0 可以提升性能和容量，但没有任何数据冗余。如果 sda 或 sdb 中任何一个硬盘损坏，md10 上的所有数据都将永久丢失。请确认您已了解并接受此风险。
所需工具:
- mdadm: 用于管理 RAID 设备 (您的系统既然已经有 md2, md3, md4，那么 mdadm 应该已经安装)。
- bcache-tools: 用于配置 bcache。如果未安装，后续步骤会提示安装。
设备确认: 根据您之前的 lsblk 输出：
- HDD 硬盘: /dev/sda, /dev/sdb (每个 3.6T)
- NVMe SSD RAID0 缓存设备: /dev/md4 (825.1G, 由 nvme0n1p4 和 nvme1n1p4 组成)

🛠️ 操作步骤

第 1 步：准备 HDD 硬盘 (`sda`, `sdb`)

为确保没有旧的元数据干扰，我们将清除 sda 和 sdb 上的文件系统和分区表签名。

sudo wipefs -a /dev/sda
sudo wipefs -a /dev/sdb

如果您之前已对这两个硬盘执行了彻底的 dd 清零操作，此步骤可以酌情跳过，但执行通常更安全。

第 2 步：创建 HDD RAID0 阵列 (`md10`)

使用 mdadm 将 /dev/sda 和 /dev/sdb 组建成一个名为 /dev/md10 的 RAID0 阵列。

sudo mdadm --create /dev/md10 --level=0 --raid-devices=2 /dev/sda /dev/sdb

--create /dev/md10: 创建名为 md10 的新阵列。
--level=0: 设置 RAID 级别为 0 (条带化)。
--raid-devices=2: 指定阵列中有 2 个物理设备。

创建完成后，检查其状态：

cat /proc/mdstat

等待 md10 阵列的状态显示为 active，并且同步完成（对于 RAID0，这通常很快）。

第 3 步：准备缓存设备 (`md4`)

md4 是您用作缓存的 NVMe SSD RAID0 阵列。

确保 md4 未被使用: 根据您之前的 lsblk 输出，md4 没有挂载点，这很适合。如果它被挂载了，您需要先卸载它 (sudo umount /mount/point/of/md4)。
清除 md4 上的任何旧文件系统签名 (以防万一):
```
sudo wipefs -a /dev/md4
```

第 4 步：配置 `bcache`

现在我们将 /dev/md10 设置为 bcache 的后端存储设备，/dev/md4 设置为缓存设备。

安装 bcache-tools (如果尚未安装):

对于 Debian/Ubuntu 系统:

sudo apt update
sudo apt install bcache-tools

对于 CentOS/RHEL/Fedora 系统:

sudo yum install bcache-tools
# 或者
# sudo dnf install bcache-tools

确保 bcache 内核模块已加载:
```
lsmod | grep bcache
```
如果没有任何输出，请加载它:
```
sudo modprobe bcache
```
将后端设备 (/dev/md10) 格式化为 bcache 后端:
```
sudo make-bcache -B /dev/md10
```
如果提示设备忙 (device or resource busy)，请确保没有进程正在使用 /dev/md10。
将缓存设备 (/dev/md4) 格式化为 bcache 缓存设备:
```
sudo make-bcache -C /dev/md4
```
执行此命令后，会输出一个 Cset UUID (缓存集UUID)。请务必复制并保存好这个UUID，下一步会用到它。
格式通常是这样的: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
将后端设备 (/dev/md10) 附加到缓存集:
使用上一步获得的 Cset UUID。
```
# 将 YOUR_CSET_UUID 替换为您从 make-bcache -C /dev/md4 获得的实际 Cset UUID
echo YOUR_CSET_UUID | sudo tee /sys/block/md10/bcache/attach > /dev/null
```
注意: 您之前遇到的 tee: /sys/fs/bcache/register: Invalid argument 错误，通常是因为在 make-bcache -C 成功后，设备已为 bcache 所知，不需要再通过 echo /dev/md4 > /sys/fs/bcache/register 手动注册。如果上述 attach 命令失败，请检查 dmesg | tail 的输出获取更多信息。
验证 bcache 设备创建:
成功附加后，系统应该会创建一个新的块设备，通常命名为 /dev/bcache0 (如果是系统中的第一个 bcache 设备)。您可以用以下命令查看：
```
ls /dev/bcache*
lsblk
```
您应该能在 lsblk 的输出中看到 /dev/bcache0。

第 5 步：在 `bcache` 设备上创建文件系统并挂载

在 /dev/bcache0 上创建文件系统:
您可以选择 ext4, xfs 等常见的文件系统。

# 以 ext4 为例
sudo mkfs.ext4 /dev/bcache0
# 或者，如果您更喜欢 xfs
# sudo mkfs.xfs /dev/bcache0

创建挂载点并挂载:
```
sudo mkdir /mnt/cached_storage
sudo mount /dev/bcache0 /mnt/cached_storage
```
现在，您可以通过 /mnt/cached_storage 目录访问由 SSD 缓存加速的 HDD RAID0 存储了。

第 6 步：确保配置在重启后持久有效

为了让系统重启后能自动组装 RAID 阵列并挂载 bcache 设备，需要进行以下配置：

mdadm RAID 阵列的持久化 (md10 及现有阵列):
- 将当前所有活动的 md 阵列配置保存到 mdadm 配置文件中。这将确保 md2, md3, md4 和新创建的 md10 都能在启动时被识别。
```
sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
```
  注意: tee -a 是追加模式。执行后，您可以检查 /etc/mdadm/mdadm.conf 文件，确保所有阵列信息都在里面，并且没有不必要的、完全相同的重复行。
- 更新 initramfs (非常重要，以便在早期启动阶段就能组装 RAID):
```
sudo update-initramfs -u
```
  (在某些发行版如 CentOS/RHEL/Fedora 上，命令可能是 sudo dracut -f)
bcache 设备的持久化:
bcache 本身通过在后端和缓存设备上写入的元数据来确保重启后的自动重组。只要 md10 和 md4 能在启动时正确组装，bcache 模块通常会自动发现并激活 /dev/bcache0。
配置 /etc/fstab 实现自动挂载:
- 首先，获取 /dev/bcache0 设备的 UUID：
```
sudo blkid /dev/bcache0
```
  复制输出中的 UUID="<实际的BCACHE设备UUID>" 部分。
- 编辑 /etc/fstab 文件 (例如使用 sudo nano /etc/fstab)，添加如下一行 (请将 UUID 替换为您查到的实际 UUID，并根据您创建的文件系统类型修改 ext4):
```
UUID=<实际的BCACHE设备UUID> /mnt/cached_storage ext4 defaults,discard,nofail 0 2
```
  这里的选项说明：
  - defaults: 使用默认挂载选项。
  - discard: (推荐用于SSD支持的存储) 启用 TRIM/DISCARD 操作。
  - nofail: (推荐) 如果此设备在启动时由于某些原因无法挂载，系统仍将继续启动，而不会卡住。
  - 0 2: dump 和 fsck 选项，对于非根分区通常设置为 0 2。

第 7 步：(可选) 调整 `bcache` 缓存模式

bcache 支持多种缓存模式，默认为 writethrough。

writethrough: 写操作同时写入缓存和后端设备。数据相对安全，但写性能提升可能不如 writeback。
writeback: 写操作首先写入缓存，然后异步写入后端设备。写入性能通常更高，但在突然断电时，缓存中尚未同步到后端的数据可能会丢失 (除非您有可靠的UPS电源)。
writearound: 写操作直接写入后端设备，绕过缓存。只有读操作会填充缓存。

查看当前缓存模式: (假设您的 bcache 设备是 /dev/bcache0)
```
cat /sys/block/bcache0/bcache/cache_mode
```
您会看到类似 [writethrough] writeback writearound none 的输出，方括号中的是当前模式。
修改缓存模式 (例如，改为 writeback):
```
echo writeback | sudo tee /sys/block/bcache0/bcache/cache_mode
```
警告: 选择 writeback 模式前，请务必了解其潜在的数据丢失风险。

此更改通常在重启后也会保持。

第 8 步：重启并验证

在完成以上所有步骤后，建议重启系统以测试配置的持久性。

sudo reboot

系统重启后，进行以下检查：

检查 mdadm 阵列状态:
```
cat /proc/mdstat
```
确保 md2, md3, md4, md10 都处于 active 状态。
检查块设备结构:
```
lsblk
```
您应该能看到 sda 和 sdb 组成了 md10，nvmeXnYpZ 组成了 md4，并且 md10 和 md4 之上形成了 bcache0。

检查 bcache 设备状态:

cat /sys/block/bcache0/bcache/state
cat /sys/block/bcache0/bcache/cache_mode
# 查看缓存命中率等更多统计信息
cat /sys/block/bcache0/bcache/stats_total/*

检查文件系统挂载:
```
df -hT
```
确保 /mnt/cached_storage 已成功挂载，并且文件系统类型和大小符合预期。

🎉 恭喜！

如果一切顺利，您现在应该拥有一个由 NVMe SSD RAID0 (md4) 缓存加速的 HDD RAID0 (md10) 存储池了。

故障排除提示:
如果在任何步骤中遇到问题，特别是重启后设备未出现：

检查内核日志: dmesg 或 journalctl -xe
仔细核对每一步的命令和设备名称。
确认相关的内核模块 (md_mod, raid0, bcache) 是否已加载 (lsmod)。

希望这个教程对您有帮助！

硬盘速度IOPS评估测试

Thu, 20 Mar 2025 16:53:38 +0800

在 Debian 12 中测试硬盘的 IOPS（每秒输入输出操作次数），推荐使用专业的磁盘性能测试工具 fio（Flexible I/O Tester）。以下是详细操作步骤：

1. 安装测试工具

首先安装 fio 和必要的依赖：

sudo apt update
sudo apt install fio -y

2. 使用 `fio` 测试 IOPS

基本语法

fio --name=测试名称 --ioengine=libaio --direct=1 --rw=读写模式 --bs=块大小 --size=测试文件大小 --numjobs=并发任务数 --runtime=测试时间 --time_based --group_reporting

示例：测试 4K 随机读的 IOPS

sudo fio --name=random_read --ioengine=libaio --direct=1 --rw=randread --bs=4k --size=1G --numjobs=1 --iodepth=32 --runtime=60 --time_based --group_reporting

参数说明

--rw=randread：测试随机读（可选：randwrite、randrw、read、write）。
--bs=4k：模拟 4KB 小文件操作（更贴近真实 IOPS 场景）。
--iodepth=32：队列深度（模拟高并发请求）。
--size=1G：生成 1GB 的临时测试文件。
--numjobs=1：并发任务数（可增加模拟多线程负载）。
--runtime=60：测试持续 60 秒。

3. 测试场景示例

场景1：4K 随机写 IOPS

sudo fio --name=random_write --ioengine=libaio --direct=1 --rw=randwrite --bs=4k --size=1G --numjobs=1 --iodepth=32 --runtime=60 --time_based --group_reporting

场景2：混合读写（70%读 + 30%写）

sudo fio --name=mixed_io --ioengine=libaio --direct=1 --rw=randrw --rwmixread=70 --bs=4k --size=1G --numjobs=4 --iodepth=64 --runtime=120 --time_based --group_reporting

4. 解读测试结果

运行完成后，重点关注以下输出：

read: IOPS=xxxx, BW=xxMiB/s (xxMB/s)
write: IOPS=xxxx, BW=xxMiB/s (xxMB/s)
 lat (usec): min=xx, max=xx, avg=xx, stdev=xx

IOPS：每秒操作次数（值越高性能越好）。
BW：带宽（吞吐量）。
lat：延迟（越低越好）。

5. 其他工具（辅助参考）

a. `dd` 测试连续读写速度（非 IOPS）

# 测试连续写入速度（1GB文件，块大小1M）
dd if=/dev/zero of=./testfile bs=1M count=1024 oflag=direct status=progress

# 测试连续读取速度
dd if=./testfile of=/dev/null bs=1M status=progress

b. 使用 `iostat` 监控实时 IO

sudo apt install sysstat -y
iostat -d -x 1 # 每秒刷新一次磁盘统计信息

6. 注意事项

测试目标选择：
- 如果测试物理硬盘，建议直接指定设备路径（如 /dev/sdX），但需注意这会覆盖数据。
- 若测试文件系统性能，建议在未使用的目录生成临时文件（如本例中的 ./testfile）。
避免缓存影响：
- 使用 --direct=1 绕过系统缓存，直接访问磁盘。
- 测试前清理缓存（可选）：
```
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches
```
SSD/HDD 差异：
- SSD 的 IOPS 通常远高于 HDD（尤其是随机读写）。
- NVMe SSD 需结合高队列深度（如 --iodepth=64）发挥性能。

7. 示例结果对比

SATA SSD（4K 随机读）：
```
IOPS ≈ 80,000-100,000
```
NVMe SSD（PCIe 4.0, 4K 随机读）：
```
IOPS ≈ 1,000,000+
```
HDD（7200 RPM, 4K 随机读）：
```
IOPS ≈ 80-150
```

通过 fio 的灵活配置，可以模拟真实场景的负载压力，准确评估硬盘的 IOPS 性能。建议根据实际应用需求调整测试参数（如块大小、队列深度、读写比例）。

Linux使用GPT分区方式挂载硬盘

Mon, 04 Mar 2024 12:47:00 +0800

一、背景说明

2TB 限制问题
传统的 MBR 分区表最多只能支持 2TB 磁盘容量。对于大于2TB的硬盘，必须采用 GPT（GUID Partition Table）格式才能充分利用磁盘容量。
使用 UUID 挂载
每个分区都有唯一的 UUID（通用唯一标识符），使用 UUID 挂载可以避免因设备名（如 /dev/sdb1）改变而导致挂载失败。

二、所需工具及安装

1. 常用工具

parted：用于创建 GPT 分区表和分区。
gdisk：专门用于 GPT 分区的工具，功能类似于传统的 fdisk。
blkid：查看磁盘分区的 UUID（通常属于 util-linux 软件包）。

2. 安装教程

Debian/Ubuntu 系统

打开终端，依次执行以下命令更新软件包列表并安装工具：

sudo apt-get update
sudo apt-get install parted gdisk util-linux

注意：其中 util-linux 通常已默认安装，包含 blkid 命令。

CentOS/RHEL 系统

使用 yum 安装相关工具：

sudo yum update
sudo yum install parted gdisk util-linux

有些发行版中可能需要额外安装 gdisk，请根据实际提示操作。

三、挂载大于2TB的硬盘操作步骤

1. 查看磁盘信息

先确认新硬盘的设备名，例如 /dev/sdb：

lsblk
sudo fdisk -l

2. 创建 GPT 分区表

使用 parted 创建 GPT 分区表（假设设备为 /dev/sdb）：

sudo parted /dev/sdb

在 parted 的交互界面中依次输入：

mklabel gpt
mkpart primary ext4 0% 100%
quit

这样就会在整个磁盘上创建一个 ext4 格式的分区。如果你希望创建其他文件系统或分区策略，可自行调整。

3. 格式化分区

格式化刚才创建的分区（假设分区为 /dev/sdb1），这里以 ext4 为例：

sudo mkfs.ext4 /dev/sdb1

4. 获取分区的 UUID

执行以下命令获取 UUID：

sudo blkid /dev/sdb1

输出示例可能为：

/dev/sdb1: UUID="e3f4a7c2-1234-4567-89ab-cdef01234567" TYPE="ext4"

记录下 UUID 字符串。

5. 编辑 /etc/fstab 文件

为了实现开机自动挂载，需要将分区信息添加到 /etc/fstab 中。使用编辑器（如 vim 或 nano）打开文件：

sudo vim /etc/fstab

添加如下内容（请将 UUID 替换成你查到的实际值，并确保挂载点目录存在，例如 /mnt/data）：

UUID=e3f4a7c2-1234-4567-89ab-cdef01234567 /mnt/data ext4 defaults 0 0

6. 挂载分区

保存 /etc/fstab 后，可以执行挂载命令测试：

sudo mount -a

使用 df -h 或 lsblk 检查是否成功挂载。

在 ext4 文件系统中，默认会保留 5% 的磁盘空间，主要用于系统维护和防止普通用户将磁盘填满。如果你确定需要将这部分预留空间设置为 0，可以使用 tune2fs 命令。具体操作如下：

sudo tune2fs -m 0 /dev/sdXY

Debian安装Gluster实现多台服务器硬盘资源组合挂载

Mon, 04 Mar 2024 12:41:00 +0800

GlusterFS 是比较常见的分布式文件系统方案，可以把多台服务器的硬盘资源组合成单一的逻辑卷，供客户端挂载并使用。它的优点是配置相对简单，而且只要你有 root 权限并能对 VPS 做一些端口和防火墙设置，就基本可以实现“合并”空间的效果。

以下为在 Debian 12 (Bookworm) 上安装 GlusterFS 的常规方法，包含官方仓库的添加及安装步骤，供你参考。请注意，由于 GlusterFS 版本发布节奏与 Debian 官方仓库可能存在同步延迟，有些时候需要使用 Gluster 官方提供的仓库才能获得较新版本。

一、使用 Debian 官方仓库（如果有提供对应版本）

有些时候，Debian 官方源本身就提供了 GlusterFS 包，不过版本可能偏旧。你可以先检查一下官方仓库里是否自带：

sudo apt update
apt search glusterfs-server

如果能找到 glusterfs-server（比如 glusterfs 10.x 或 glusterfs 9.x），那么：

sudo apt install glusterfs-server

就可以完成安装。

但由于 GlusterFS 通常更新较快，官方仓库的版本往往会落后。如果你需要更高版本（例如 GlusterFS 12.x、11.x），则需要添加 GlusterFS 官方提供的 apt 仓库。

二、使用 Gluster 官方仓库安装更高版本

以 GlusterFS 12 为例（目前最新的长期维护版本），官方提供了适配 Debian 12 “bookworm” 的仓库。主要流程：

安装 GPG 公钥
先下载并导入 Gluster 公钥（如果你尚未添加过）：
```
wget https://download.gluster.org/pub/gluster/glusterfs/12/rsa.pub
sudo apt-key add rsa.pub
```
如果系统使用的是 gpg --dearmor + /usr/share/keyrings 方式管理密钥，则需相应调整，示例（可二选一方式）：
```
wget https://download.gluster.org/pub/gluster/glusterfs/12/rsa.pub
cat rsa.pub | gpg --dearmor | sudo tee /usr/share/keyrings/gluster-12.gpg
```
并在仓库源里指明 signed-by=/usr/share/keyrings/gluster-12.gpg。
添加 GlusterFS 12 的 apt 源
编辑 /etc/apt/sources.list.d/gluster.list（文件名可自定义）：
```
sudo nano /etc/apt/sources.list.d/gluster.list
```
在里面写入（适用于 Debian 12 Bookworm / amd64）：
```
deb [arch=amd64] http://download.gluster.org/pub/gluster/glusterfs/12/LATEST/Debian/bookworm/amd64/apt bookworm main
```
保存并退出。
更新本地包索引：
```
sudo apt update
```
这时会同步拉取 GlusterFS 官方仓库里的包信息。
安装 GlusterFS:
```
sudo apt install glusterfs-server
```
如果你还需客户端工具，也可同时安装 glusterfs-client 或类似的包名。
启动并设置开机自启：
```
sudo systemctl enable glusterd
sudo systemctl start glusterd
```
注意某些发行版服务名可能是 glusterfs-server；Debian/Ubuntu 通常是 glusterd。
检查服务是否已在运行：
```
systemctl status glusterd
```
正常则会显示 active/running 状态。

三、后续配置

完成安装后，即可按 GlusterFS 的常规部署流程进行配置，包含：

在每台服务器创建 Brick 目录（如 /data/brick1）。

将其他节点加为 GlusterFS Trusted Pool：

gluster peer probe <其他节点IP或主机名>
gluster peer status

创建并启动卷（以分布式卷为例）：

gluster volume create my_volume transport tcp \
 <node1>:/data/brick1 \
 <node2>:/data/brick1 \
 force

gluster volume start my_volume

客户端挂载（可在任一节点或第三方机器上）：

安装 GlusterFS 客户端相关包
在 Debian 系列发行版上，GlusterFS 的客户端工具和 FUSE 驱动通常随 glusterfs-client（或 glusterfs-fuse）一起提供。请确认已安装：
sudo apt update
sudo apt install glusterfs-client
如果提示找不到 glusterfs-client 包，也可以试试 glusterfs-fuse 或直接安装 glusterfs-common（不同版本的 Debian/Ubuntu 可能包名略有差异）。

另外，确保已安装 fuse 并已加载 FUSE 模块：
sudo apt install fuse
sudo modprobe fuse

mkdir /mnt/my_gluster
mount -t glusterfs <node1>:/my_volume /mnt/my_gluster

挂载成功后，就能访问到 GlusterFS 提供的存储卷。
额外补充：实现 GlusterFS 卷的持久化挂载
编辑 /etc/fstab 文件

备份原始文件（可选但建议）：
```
sudo cp /etc/fstab /etc/fstab.bak
```
添加 GlusterFS 挂载条目：
```
sudo nano /etc/fstab
```
在文件末尾添加以下内容（根据实际配置调整）：
```
<node1>:/my_volume /mnt/my_gluster glusterfs defaults,_netdev 0 0
```
- 字段说明：
  - <node1>:/my_volume：GlusterFS 卷路径（可指定多个节点，如 node1,node2:/my_volume）。
  - /mnt/my_gluster：本地挂载点目录。
  - glusterfs：文件系统类型。
  - defaults,_netdev：挂载选项，_netdev 表示等待网络就绪后再挂载（关键选项！）。
  - 0 0：dump 和 fsck 选项（通常无需启用）。