1. Подготовьте VM со следующими параметрами:
CPU - 4
Память - 8GB
HDD - 100GB (для установки программного обеспечения) SATA
Три дополнительных HDD - 8GB (для тестов zfs) SATA или NVME
Если есть дебажный макрос, используйте версию DEBUG
Имена других пулов
Не создавайте пулов с именами, которые могут использоваться в тестах, т.е. testpool*. В противном случае тесты могут работать неверно.
Процесс подготовки описан в этой инструкции.
Note : Если согласно инструкции Вы уже создали раньше на этой машине dilos_BASE, и не выходил ещё новый стабильный билд, то выполните команду:
beadm activate dilos_BASE
В противном случае если у Вас есть уже dilos_ISO_orig, то выполните команду:
beadm activate dilos_ISO_orig
Перезагрузитесь и начните выполнять инструкцию с пункта Шаг 6. Подготовка машины для запуска тестов:
reboot
Если же у Вас нет ни одного их этих двух BE, то инструкцию следует выполнять с самого начала.
Note : Если Вы забыли создать пользователя ztest согласно инструкции, создайте его сейчас:
sudo useradd -m -d /var/ztest -g staff -s /bin/bash ztest
sudo passwd ztest
echo "ztest ALL=(ALL:ALL) NOPASSWD: ALL" >> /etc/sudoers.d/ztest
2. Установите пакеты, необходимые для тестов ZFS:
apt update apt install system-test-zfstest testrunner system-file-system-zfs-tests python3 screen
В этих пакетах присутствуют драйверы ядра, поэтому обязательно нужно перезагрузиться.
reboot
3. Отредактируйте файл /etc/sudoers:
sudo -E /usr/bin/sed -i.bak '/secure_path/a\Defaults exempt_group+=staff' /etc/sudoers sudo -E /usr/bin/sed -i.bak 's/ requiretty/ !requiretty/' /etc/sudoers
4. Создайте вспомогательные скрипты, нужные для тестов for cli_user:
Создайте файл /usr/share/zfs/zpool.d/upath с этим контентом или выполните следующие команды:
su -
mkdir /usr/share/zfs/zpool.d
cat > /usr/share/zfs/zpool.d/upath <<EOT
#!/bin/sh
if [ "\$1" = "-h" ] ; then
echo "Show the underlying path for a device."
exit
fi
# shellcheck disable=SC2154
echo upath="\$VDEV_UPATH"
EOT
sed -i '/./!d' /usr/share/zfs/zpool.d/upath
Затем создайте файл /usr/share/zfs/zpool.d/iostat с этим содержимым или выполните команды:
cat > /usr/share/zfs/zpool.d/iostat <<EOT
#!/bin/sh
#
# Display most relevant iostat bandwidth/latency numbers. The output is
# dependent on the name of the script/symlink used to call it.
#
helpstr="
iostat: Show iostat values since boot (summary page).
iostat-1s: Do a single 1-second iostat sample and show values.
iostat-10s: Do a single 10-second iostat sample and show values."
script="\${0##*/}"
if [ "\$1" = "-h" ] ; then
echo "\$helpstr" | grep "\$script:" | tr -s '\\t' | cut -f 2-
exit
fi
if [ "\$script" = "iostat-1s" ] ; then
# Do a single one-second sample
interval=1
# Don't show summary stats
brief="yes"
elif [ "\$script" = "iostat-10s" ] ; then
# Do a single ten-second sample
interval=10
# Don't show summary stats
brief="yes"
fi
if [ -f "\$VDEV_UPATH" ] ; then
# We're a file-based vdev, iostat doesn't work on us. Do nothing.
exit
fi
out=\$(iostat -x "\${VDEV_UPATH##*/}" \
\${interval:+"\$interval"} \
\${interval:+"1"} | tail -n 2)
# Sample output (we want the last two lines):
#
# Linux 2.6.32-642.13.1.el6.x86_64 (centos68) 03/09/2017 _x86_64_ (6 CPU)
#
# avg-cpu: %user %nice %system %iowait %steal %idle
# 0.00 0.00 0.00 0.00 0.00 100.00
#
# Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
# sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
#
# Get the column names
cols=\$(echo "\$out" | head -n 1)
# Get the values and tab separate them to make them cut-able.
vals=\$(echo "\$out" | tail -n 1 | tr -s '[:space:]' '\\t')
i=0
for col in \$cols ; do
i=\$((i+1))
# Skip the first column since it's just the device name
if [ \$i -eq 1 ]; then
continue
fi
# Get i'th value
val=\$(echo "\$vals" | cut -f "\$i")
echo "\$col=\$val"
done
EOT
sed -i '/./!d' /usr/share/zfs/zpool.d/iostat
И после этого выполните следующие действия:
cd /usr/share/zfs/zpool.d cp iostat iostat-10s cp iostat iostat-1s chmod +x upath iostat iostat-10s iostat-1s
5. Залогиньтесь под эккаунтом ztest и запустите скрипт z.sh:
Тесты можно запустить при помощи тестового скрипта. Его можно создать либо в текстовом редакторе, либо при помощи команды:
cat > z.sh <<EOT
#!/bin/bash
LOG="/var/tmp/zfstest.\$(date +%F-%T).txt"
ipa=\$(sudo ifconfig | grep -A 1 vmxnet3s0 | sed '1d; s/^[ \\t]*inet[ \\t]*//; s/[ \\t]*netmask.*\$//')
sudo /sbin/zpool destroy testpool
sudo -E /usr/sbin/svcadm disable -s svc:/system/fmd:default
sudo -E find /var/fm/fmd -type f -exec rm {} \\;
sudo -E /usr/sbin/svcadm enable svc:/system/fmd:default
# we need 3 x 8G drives with 512b sector size
export DISKS="\$1 \$2 \$3"
export KEEP="rpool data"
export ZFS_USE_ONLY_DISKS=yes
#remove partition on disks
for D in \$DISKS
do
sudo -E /usr/bin/dd if=/dev/null of=/dev/dsk/\${D}p0 bs=512 count=512K
done
# cleanup drives before tests:
sudo -E /sbin/zpool create -f test123321 \$DISKS
sudo -E /sbin/zpool destroy test123321
sudo -E rm -rf /tmp/mnt* /tmp/ufs.* /tmp/log.* /tmp/tmp.* /tmp/rst* /tmp/tmpfs*
test -d /var/tmp/test_results && sudo rm -rf /var/tmp/test_results
sudo -E /usr/sbin/devfsadm -C
uname -a > \${LOG}
echo "IP Address : \${ipa}" >> \${LOG}
echo "" >> \${LOG}
echo "Disk IDs : \$DISKS" 2>&1 | /usr/bin/tee -a \${LOG}
# run tests
/bin/ksh /opt/zfs-tests/bin/zfstest \$* 2>&1 | /usr/bin/tee -a /var/tmp/z.tmp
echo "Results Summary" >> \${LOG}
echo "" >> \${LOG}
skip=\$(sed -n '/^SKIP[ \\t]*/p' /var/tmp/z.tmp | sed 's/^SKIP[ \\t]*//; s/[ \\t]*\$//')
fail=\$(sed -n '/^FAIL[ \\t]*/p' /var/tmp/z.tmp | sed 's/^FAIL[ \\t]*//; s/[ \\t]*\$//')
pass=\$(sed -n '/^PASS[ \\t]*/p' /var/tmp/z.tmp | sed 's/^PASS[ \\t]*//; s/[ \\t]*\$//')
total=0
if [ "\${pass}" != "" ]; then
total=\$((\${total} + \${pass}))
fi
if [ "\${fail}" != "" ]; then
total=\$((\${total} + \${fail}))
fi
if [ "\${skip}" != "" ]; then
total=\$((\${total} + \${skip}))
fi
echo "TOTAL TESTS: \$total" >> \${LOG}
sed '1,/Results Summary/d' /var/tmp/z.tmp >> \${LOG}
sudo rm -f /var/tmp/z.tmp
EOT
chmod 777 z.sh
Тогда после запуска этого скрипта в файле /var/tmp/zfstest.<ISO TIME>.txt Вы найдёте лог в формате, в котором он публикуется в Test Results.
Перед запуском скрипта нужно получить ID трёх 8-Гигабайтных дисков, установленных на этой VM. Это можно сделать командой diskinfo, после чего запустить тестовый скрипт, указав в параметрах ID, полученные из столбца DISK, например:
ztest@zone:~# sudo diskinfo -p TYPE DISK VID PID SIZE RMV SSD SATA c2t0d0 VMware Virtual SATA Ha> 107374182400 no no SATA c2t1d0 VMware Virtual SATA Ha> 8589934592 no no SATA c2t2d0 VMware Virtual SATA Ha> 8589934592 no no SATA c2t3d0 VMware Virtual SATA Ha> 8589934592 no no ztest@zone:~# ./z.sh c2t1d0 c2t2d0 c2t3d0
Подождите часов 5-6, пока тесты закончатся, и Вы найдёте логи здесь:
/var/tmp/test_results/<ISO TIME>
Вы можете также подключаться при помощи утилиты SCREEN. Тогда Ваша команда будет выглядеть как:
ztest@zone:~# screen ./z.sh <disk1> <disk2> <disk3>
Далее Вы сможете так же отключиться в любой момент по нажатию Ctrl-A d и подключиться обратно в новой сессии SSH по:
ztest@zone:~# screen -r
6. Запуск в режиме stability
Подготовленные, как описано в предыдущем пункте, тесты можно запустить в режиме stability. Для этого нужно скопировать этот скрипт в файл, к примеру, stab_zfs.h или выполнить команды:
cat > stab_zfs.sh <<EOT
#!/bin/bash
get_duration() {
IFS=':' read -r -a tm <<< "\$1"
num=\${#tm[@]}
delta=\$((\${tm[0]} * 3600))
if [[ \$num -gt 1 ]]; then
delta1=\$((\${tm[1]} * 60))
(( delta += \$delta1 ))
if [[ \$num -gt 2 ]]; then
(( delta += \${tm[2]} ))
fi
fi
echo \$delta
}
get_time_diff() {
local cur_time=\$(date +%s)
echo \$((\$cur_time - \$1))
}
print_time_diff() {
local delta=\$(get_time_diff \$1)
local sec=\$((\$delta % 60))
let "amin = \$delta / 60"
let "hour = \$amin / 60"
local min=\$((\$amin%60))
if [ -n "\$2" ]; then
printf " Running time: %02d:%02d:%02d\\n" \$hour \$min \$sec >> \$2
else
printf " Running time: %02d:%02d:%02d\\n" \$hour \$min \$sec
fi
}
log_extra() {
echo "---------------- ZPOOL LIST ------------------" >> \$1
zpool list >> \$1
echo "---------------- ZFS LIST ------------------" >> \$1
zfs list >> \$1
echo "---------------- PS AX ------------------" >> \$1
ps ax >> \$1
echo "---------------- TOP -n 10 ------------------" >> \$1
top -n 10 >> \$1
}
i=1
mode=0
TOTALLOG="/var/tmp/stabzfs.\$(date +%F-%T).txt"
dsk1=\$1
shift
dsk2=\$1
shift
dsk3=\$1
shift
echo "============ ZFS Stability test started at \$(date +%F-%T) ==============" > \${TOTALLOG}
if [[ \$# < 2 ]]; then
echo "Missing parameters in the command" | /usr/bin/tee -a \${TOTALLOG}
exit 1
fi
case "\$1" in
-i) mode=1
# number of iterations is provided
maxiter=\$2
echo "Stability Test : launched for \$maxiter iterations at \$(date)." | /usr/bin/tee -a \${TOTALLOG}
;;
-d) mode=2
# duration of tests is provided
delta=\$(get_duration \$2)
echo "Stability Test : launched for \$2 interval (\$delta seconds) at \$(date)." | /usr/bin/tee -a \${TOTALLOG}
;;
-t) mode=3
# stop date/time is provided
stopdt=\$2
;;
*) echo "Stability Test : \$1 is a wrong option" | /usr/bin/tee -a \${TOTALLOG}
echo "Usage : stab_zfs.sh <disk1> <disk2> <disk3> (-i <iterations> | -t <HH:MM[:SS]> | -d <HH:MM[:SS] [DAY-MONTH-YEAR]>]) [-s | <test name>]"
exit 1
;;
esac
shift
shift
if [[ \$mode -eq 3 ]]; then
# stop time/date mode
if [[ \$# > 0 ]]; then
date -d \$1 +%s
stopat=\$?
if [[ \$stopat -eq 0 ]]; then
# stop date is entered after the time
# if it is ommited then date is treated as current one
stopdt="\$stopdt \$1"
shift
fi
fi
echo "Stability Test : launched until \$stopdt at \$(date)." | /usr/bin/tee -a \${TOTALLOG}
stopat=\$(date -d "\$stopdt" "+%s")
fi
GLOB_START_TIME=\$(date +%s)
while [[ \$mode -gt 0 ]]
do
case "\$mode" in
1) # number of iterations is provided
if [[ \$i -gt \$maxiter ]]; then
break
fi
;;
2) # duration of tests is provided
difftm=\$(get_time_diff \$GLOB_START_TIME)
if [[ \$difftm -gt \$delta ]]; then
break
fi
;;
3) # stop date/time is provided
tmpat=\$(date +%s)
if [[ \$stopat -le \$tmpat ]]; then
break
fi
;;
*) break
;;
esac
echo "----------------------- Pass \${i} : started \$(date)" | /usr/bin/tee -a \${TOTALLOG}
START_TIME=\$(date +%s)
./z.sh \$dsk1 \$dsk2 \$dsk3
print_time_diff \${START_TIME} \${TOTALLOG}
echo "----------------------- Pass \${i} : finished \$(date)" | /usr/bin/tee -a \${TOTALLOG}
(( i++ ))
done
echo "Tests are finished successfully at \$(date) with \${i} passes." >> \${TOTALLOG}
print_time_diff \${GLOB_START_TIME} | /usr/bin/tee -a \${TOTALLOG}
EOT
sed -i '/./!d' stab_zfs.sh && chmod 777 stab_zfs.sh
Тестовый скрипт может быть запущен в трёх режимах:
для выполненния определённого количества проходов
В этом случае ему нужно указать ключ -i и задать количество проходов, например, для 10 проходов:
screen ./stab_zfs.sh <disk1> <disk2> <disk3> -i 10
для работы в течение какого-то интервала времени
В этом случае ему нужно указать ключ -d и задать время работы в формате HH:MM[:SS], например, для работы в течение 10 часов 15 минут:
screen ./stab_zfs.sh <disk1> <disk2> <disk3> -d 10:15
или, например, для работы в течение 20 секунд:
screen ./stab_zfs.sh <disk1> <disk2> <disk3> -d 00:00:20
для остановки в конкретный момент времени
В этом случае ему нужно указать ключ -t и задать время, в которое тесты должны остановиться, в формате HH:MM[:SS] [DAY-MONTH_YEAR], например, для работы с момента запуска по 17:00 8 августа 2023 года нужно ввести:
screen ./stab_zfs.sh <disk1> <disk2> <disk3> -t 17:00 8-AUG-2023
Если дата не указана, указано только время, то считается, что остановка должна произойти в текущую дату. Т.е. для остановки сегодня в 19:00 нужно ввести:
screen ./stab_zfs.sh <disk1> <disk2> <disk3> -t 19:00
Теперь после запуска скрипта общий лог по всем проходам будут находиться в файле /var/tmp/stabzfs.<ISO TIME>.txt. Логи для каждого прохода будут создаваться в соответствии с описанной выше процедурой одиночного прохода.
Если тест повис или обрушился на каком-то проходе, дополнительную информацию можно получить, выполнив следующие команды:
cat > getinfo.sh <<EOT #!/bin/bash uname -a diskinfo > /dev/null diskinfo > /dev/null echo "-------------------------- DISKINFO ---------------------" diskinfo echo "------------------------- BEADM LIST --------------------" beadm list echo "------------------------- ZPOOL LIST --------------------" zpool list echo "-------------------- LAST SUCCESSFULL TEST --------------" tail -1 /var/tmp/z.tmp echo "------------------- LAST SUCCESSFULL COMMAND -------------" tail -1 /var/tmp/test_results/current/log EOT chmod 777 ./getinfo.sh ./getinfo.sh
См. beadm