Действия
Создайте и обновите новую VM
Создайте новую зону по умолчанию
Проверьте, что новая зона по умолчанию создалась правильно
Создайте зону для получения зависимостей и получите зависимости
Создайте новую зону для создания локального репозитория
Создайте новую зону для сборки компонент
Создайте новую зону для тестовой установки компонент
1. Создайте и обновите новую VM
Для создания новой VM в vmware/virtualbox/kvm воспользуйтесь этой инструкцией.
Для создания VM в vSphere SPB-LABS выполните шаги 1-5 из этой инструкции.
2. Залогиньтесь с правами root и создайте новую зону по умолчанию
Для KVM используйте следующие инструкции:
Для VM в vSphere:
Создайте mountpoint, куда будут монтироваться зоны:
root@dilos:~# zfs create -o mountpoint=/zones rpool/zones root@dilos:~# mkdir /export/builds
2. Добавьте пользователя admin:
root@dilos:~# useradd -m -g staff admin root@dilos:~# passwd admin Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully root@dilos:~# echo "admin ALL=(ALL:ALL) NOPASSWD: ALL" >> /etc/sudoers.d/admin
3. Выполните Инструкцию по настройке сети до шага, на котором создаётся зона zone01
.
4. Для автоматизации создания зон и входа в них можно скопировать этот скрипт в файл create_zone.sh
или выполнить команду:
cat > create_zone.sh <<SCRIPT #!/bin/bash TYPE_ZONE=\$1 IP=\$2 SER=\$3 cat > \${HOME}/\${TYPE_ZONE}.cmd <<EOT create set zonename=\${TYPE_ZONE} set zonepath=/zones/\${TYPE_ZONE} set autoboot=false set ip-type=exclusive add net set physical=iz\${SER} set global-nic=vsw0 add property (name=ip,value="\${IP}.\${SER}") add property (name=gateway,value="\${IP}.254") add property (name=netmask,value="255.255.255.0") add property (name=primary,value="true") end add attr set name=resolvers set type=string set value=8.8.8.8 end add fs set dir="/export/home/admin" set special="/export/home/admin" set type="lofs" end add fs set dir="/export/builds" set special="/export/builds" set type="lofs" end add fs set dir="/data/repo" set special="/data/repo" set type="lofs" end verify commit exit EOT zonecfg -z \${TYPE_ZONE} -f \${HOME}/\${TYPE_ZONE}.cmd zoneadm -z \${TYPE_ZONE} install && zoneadm -z \${TYPE_ZONE} boot echo "127.0.0.1 localhost.\${TYPE_ZONE} \${TYPE_ZONE}" >> /zones/\${TYPE_ZONE}/root/etc/hosts SCRIPT
Cделайте его выполняемым:
chmod 777 ./create_zone.sh
Теперь Вы можете запустить его в формате ./create_zone.sh <zone-name> <zone-ip-domain> <zone-ip-node>
, например!:
./create_zone.sh zone02 192.168.0 3
3. Получите зависимости
Обновите файл /etc/apt/sources.list
:
cat > /etc/apt/sources.list <<EOT deb http://apt.dilos.org/dilos dg2-unstable main contrib non-free deb http://apt.dilos.org/dilos du2-unstable main contrib non-free EOT apt-get update
Создайте папку для репозитория и перейдите туда:
mkdir -p /data/repo/pkg cd /data/repo/pkg
Чтобы нижеприведённый скрипт заработал, Вам нужно создать файл list_component
, содержимое которого можно взять отсюда.
Здесь же создайте скрипт для получения исходников и их зависимостей. Для этого скопируйте этот скрипт в файл, например, make_repo.sh
или выполните следующую команду:
cat > make_repo.sh <<EOT #!/bin/bash #LOG_FILE="list_deps" LOG_FILE="" function print_log { if [[ "\$LOG_FILE" != "" ]]; then echo "\$1" >> \$LOG_FILE fi } ## Loop for get build components dependencies echo "" > list_to_check echo "" > final_list sed -i '/^[ \\t]*\$/d' list_component echo "" >> list_component echo "" > temp while read comp; do ## Skip empty line if [[ "" == "\$comp" ]]; then continue fi echo -e "\\033[33m =====> Getting depends for \$comp... \\033[0m" res=\$(apt-rdepends --build-depends --follow=DEPENDS \$comp) echo "\$res" | grep 'Build-Depends:' > tmp echo "\$res" | grep 'Build-Depends-Indep:' >> tmp sed 's/^[ \\t]*Build-Depends:[ \\t]*//; s/^[ \\t]*Build-Depends-Indep:[ \\t]*//' tmp | sed 's/[ \\t]*(.*)[ \\t]*\$//' >> temp rm -f tmp done < list_component ## Preparation of initial list of dependencies sort -u temp > list_to_check sed -i '/^[ \\t]*\$/d' list_to_check end=\$(cat list_to_check) echo "" >> list_to_check ## Loop for get packages dependencies while [[ "\$end" != "" ]]; do echo "" > temp while read comp; do ## Skip empty line if [[ "" == "\$comp" ]]; then continue fi ## Skip packages that are already checked for dependencies res=\$(grep "^[ \\t]*\$comp[ \\t]*\\\$" final_list) if [[ "" != "\$res" ]]; then continue fi echo "=====> Getting depends for \$comp..." apt-cache depends --no-pre-depends --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances apt-cache depends --no-pre-depends --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances \$comp | sed 's/^[ \t|]*Depends: //; /</d; s/^[ \\t]*//' | sed 's/^[ \\t|]*Depends: //; /</d; s/^[ \\t]*//' >> temp ## Add checked package to the list of already checked packages echo "\$comp" >> final_list done < list_to_check ## Remove repeated records from the list sort -u temp > list_to_check ## Remove empty lines if any sed -i '/^[ \\t]*\$/d' list_to_check sed -i '/^[ \\t]*\$/d' final_list end=\$(cat list_to_check) echo "" >> list_to_check done ## Loop for check and download dependencies sed -i '/^[ \\t]*\$/d' final_list sort -u final_list > temp mv -f temp final_list echo "" >> final_list rm -f list_to_check while read pkg; do if [[ "" == "\$pkg" ]]; then continue fi echo -e "\\033[36m =====> Check \$pkg... \\033[0m" ## Check if a package exists res=\$(apt-cache show \$pkg | grep "Package: \$pkg") if [[ "\$res" != "" ]]; then ## Download existed package echo -e "\\033[35m =====> Downloading package \$pkg... \\033[0m" res=\$(apt-get download \$pkg | grep 'E:' | sed -n 's/E://') if [[ "\$res" == "" ]]; then print_log "\$pkg : OK" else echo -e "\\033[31;1;4m \$res \\033[0m" print_log "\$pkg: \$res" fi else ## Put error message if package doesn't exist echo -e "\\033[31;1;4m\$pkg: No package found \\033[0m" print_log "\$pkg: No package found" fi done < final_list ## Downloading *.deb packages echo -e "\\033[32;1m =====> Uploading *.deb packages... \\033[0m" reprepro -b /data/repo --export=never -C main includedeb du2-prebuild /data/repo/pkg/*.deb ## Loop for download sources while read component; do if [[ "" == "\$component" ]]; then continue fi echo -e "\\033[33;1m =====> Downloading sources for \$component... \\033[0m" apt-get source --download-only \$component echo -e "\\033[32;1m =====> Uploading sources for \$component... \\033[0m" reprepro -b /data/repo --export=never -C main includedsc du2-prebuild \$component*.dsc rm -rf \$component* done < list_component ## Creating index for local repo echo -e "\\033[32;1m =====> Creating indices for local repo... \\033[0m" reprepro -Vb /data/repo export du2-prebuild echo -e "\\033[32;1m =====> DONE \\033[0m" if [[ "\$LOG_FILE" != "" ]]; then echo "Downloaded package list is put to \$LOG_FILE" fi EOT
Сделайте этот файл исполняемым:
chmod 777 ./make_repo.sh
Если Вы хотите получить лог с ошибками, то в строку LOG_FILE=""
впишите имя файла, куда будет записываться сообщения о ходе выполнения, например:
LOG_FILE="/export/admin/repo.log"
4. Создайте зону для локального репозитория
Создайте зону и войдите в неё:
cd ~ ./create_zone.sh zonerepo 192.168.0 2 zlogin zonerepo
Команды ниже выполняются в зоне.
Обновите файл /etc/apt/sources.list
:
cat > /etc/apt/sources.list <<EOT deb http://apt.dilos.org/dilos dg2-unstable main contrib non-free deb http://apt.dilos.org/dilos du2-unstable main contrib non-free deb-src http://apt.dilos.org/dilos du2-unstable main contrib non-free EOT apt-get update
Установите в зоне необходимые пакеты для работы репозитория:
apt-get install reprepro apache2 debhelper dpkg-dev dh-exec apt-rdepends -y ln -s /data/repo /var/www/html/dilos svcadm enable http svcs http
Создайте директорию, где у вас будут лежать конфигурационные файлы для репозитория:
mkdir -p /data/repo/conf
и создайте конфигурационный файл репозитория:
echo -n "Codename: du2-prebuild Suite: prebuild Version: 2.0 Origin: DilOS Label: DilOS prebuild Description: DilOS Prebuild Repository Architectures: solaris-i386 solaris-sparc source Components: main contrib non-free ##SignWith: default DebIndices: Packages Release . .gz .bz2 .xz DscIndices: Sources Release . .gz .bz2 .xz Contents: . .gz .bz2 .xz " > /data/repo/conf/distributions
Workaround : Для создания локального репозитория нужен reprepro версии 5.3 и выше. В настоящее время его пока нет в DU2. До момента его появления там нужно выполнить следующие действия для его установки:
mv /etc/apt/sources.list /etc/apt/sources.list.bak
cat > /etc/apt/sources.list <<EOT
deb http://apt.dilos.org/dilos du3-unstable main contrib non-free
EOT
apt-get update && apt-get install reprepro -y
mv /etc/apt/sources.list.bak /etc/apt/sources.list
apt-get update
Выполните эти команды для добавления пакетов и исходных файлов в репозиторий:
cd /data/repo/pkg ./make_repo.sh exit
5. Создайте новую зону для сборки компонент
Создайте зону и войдите в неё:
./create_zone.sh zonebld 192.168.0 3 zlogin zonebld
Команды ниже выполняются в зоне.
Подготовьте зону для сборки компонент. Для этого скопируйте этот скрипт в файл, например, prepare.sh
или выполните команду :
cat > prepare.sh <<EOT #!/bin/bash WORKSPACE=/export/home/admin/du2 apt-get clean apt-get autoclean apt-get remove libiconv-dev -y apt-get install -y acl iputils-ping kbd ksh scheduler system-data-console-fonts apt-get install -y traceroute gmake build-essential man-db po-debconf po4a debhelper apt-get install -y libx11-6 libxi6 libxtst6 liblua5.2-dev libnghttp2-dev libjansson-dev apt-get install -y mawk doxygen graphviz libdb-dev libgdbm-dev libsqlite3-dev libpq-dev apt-get install -y bison dh-exec cmake docbook-xml docbook-xsl libgtest-dev /usr/bin/ln -fs libX11.so.6 /usr/lib/64/libX11.so.4 /usr/bin/ln -fs libXi.so.6 /usr/lib/64/libXi.so.5 /usr/bin/ln -fs libXtst.so.6 /usr/lib/64/libXtst.so.1 cp /etc/apt/sources.list /etc/apt/sources.list.bak echo "" > /etc/apt/sources.list echo "deb [trusted=yes] http://192.168.0.2/dilos du2-prebuild main contrib non-free" >> /etc/apt/sources.list echo "deb-src [trusted=yes] http://192.168.0.2/dilos du2-prebuild main contrib non-free" 2>/dev/null >> /etc/apt/sources.list cp /etc/apt/sources.list /etc/apt/sources.list.dev apt-get update -y test -f /var/lib/dpkg/lock && rm -f /var/lib/dpkg/lock test -f /var/cache/apt/archives/lock && rm -f /var/cache/apt/archives/lock dpkg --configure -a rm -rf \${WORKSPACE} && mkdir -p \${WORKSPACE} apt-get upgrade -y env DEBIAN_FRONTEND=noninteractive apt-get install -y -f env DEBIAN_FRONTEND=noninteractive apt-get install -y git openssh-server EOT
Сделайте его исполняемым и запустите:
chmod 777 ./prepare.sh ./prepare.sh
6. Постройте компоненты
Скопируйте этот скрипт в файл, например, build_all.sh
или выполните команду:
cat > build_all.sh <<EOT #!/bin/bash BLD_PARALLEL="4" WORKSPACE=/export/home/admin/du2 STOP_ON_ERROR=0 while read COMP; do if [[ "" == "\$COMP" ]]; then continue fi./build_all.sh BLD_RESULT="/data/repo/du/\$COMP" test -z "\$COMP" && exit 1 test -d \${BLD_RESULT} && rm -rf \${BLD_RESULT} if [[ "$COMP" == "bind9" ]]; then cp /etc/apt/sources.list.dev /etc/apt/sources.list apt-get update apt-get install -y libssl1.0-dev cp /etc/apt/sources.list.bak /etc/apt/sources.list apt-get update fi # apt-get update && apt-get upgrade -y || exit 1 # apt-get install -y build-essential illumos-dev dpkg-dev gmake || exit 1 DEB_BUILD_OPTIONS="nocheck notest parallel=\${BLD_PARALLEL}" export DEB_BUILD_OPTIONS test -d \${WORKSPACE}/\$COMP && rm -rf \${WORKSPACE}/\$COMP mkdir -p \${WORKSPACE}/\$COMP cd \${WORKSPACE}/\$COMP echo "====================== \$COMP ======================" | tee berror.log if [[ \$STOP_ON_ERROR -eq 0 ]]; then apt-get build-dep -y \$COMP >> berror.log || continue 2>&1 apt-get source --compile \$COMP >> berror.log || continue 2>&1 else apt-get build-dep -y \$COMP >> berror.log || exit 1 2>&1 #DEB_BUILD_OPTIONS="nocheck notest parallel=4" apt-get source --compile \$COMP || exit 1 apt-get source --compile \$COMP >> berror.log || exit 1 2>&1 fi mkdir -p \${BLD_RESULT} cp -ax *.deb \${BLD_RESULT}/ || exit 1 cp -ax *.changes \${BLD_RESULT}/ || exit 1 cp -ax *.buildinfo \${BLD_RESULT}/ || exit 1 done < /data/repo/pkg/list_component EOT
Сделайте файл выполняемым и запустите его:
chmod 777 ./build_all.sh ./build_all.sh
После сборки компонент Вы можете проверить их установку в отдельной новой зоне.