Действия
Создайте и обновите новую VM
Подготовьте окружение для создания новых зон
Подготовьте скрип для получения зависимостей компонент
Создайте зону для локального репозитроия
Создайте в этой зоне локальны репозиторий
Создайте новую зону для сборки компонент
Соберите компоненты
1. Создайте и обновите новую VM
Для создания VM в vSphere SPB-LABS выполните шаги 1-5 из этой инструкции.
2. Залогиньтесь с правами root и подготовьте VM для созданиня зон
Создайте mountpoint, куда будут монтироваться зоны:
root@dilos:~# zfs create -o mountpoint=/zones rpool/zones root@dilos:~# mkdir /export/builds
2. Добавьте пользователя admin:
root@dilos:~# useradd -m -g staff admin root@dilos:~# passwd admin Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully root@dilos:~# echo "admin ALL=(ALL:ALL) NOPASSWD: ALL" >> /etc/sudoers.d/admin
3. Выполните Инструкцию по настройке сети до шага, на котором создаётся зона zone01
.
4. Для автоматизации создания зон и входа в них можно скопировать этот скрипт в файл create_zone.sh
или выполнить команду:
cat > create_zone.sh <<SCRIPT #!/bin/bash TYPE_ZONE=\$1 IP=\$2 SER=\$3 cat > \${HOME}/\${TYPE_ZONE}.cmd <<EOT create set zonename=\${TYPE_ZONE} set zonepath=/zones/\${TYPE_ZONE} set autoboot=false set ip-type=exclusive add net set physical=iz\${SER} set global-nic=vsw0 add property (name=ip,value="\${IP}.\${SER}") add property (name=gateway,value="\${IP}.254") add property (name=netmask,value="255.255.255.0") add property (name=primary,value="true") end add attr set name=resolvers set type=string set value=8.8.8.8 end add fs set dir="/export/home/admin" set special="/export/home/admin" set type="lofs" end add fs set dir="/export/builds" set special="/export/builds" set type="lofs" end add fs set dir="/data/repo" set special="/data/repo" set type="lofs" end verify commit exit EOT zonecfg -z \${TYPE_ZONE} -f \${HOME}/\${TYPE_ZONE}.cmd zoneadm -z \${TYPE_ZONE} install && zoneadm -z \${TYPE_ZONE} boot echo "127.0.0.1 localhost.\${TYPE_ZONE} \${TYPE_ZONE}" >> /zones/\${TYPE_ZONE}/root/etc/hosts SCRIPT
Cделайте его выполняемым:
chmod 777 ./create_zone.sh
Теперь Вы можете запустить его в формате ./create_zone.sh <zone-name> <zone-ip-domain> <zone-ip-node>
, например!:
./create_zone.sh zone02 192.168.0 3
3. Подготовьте скрипт для получения зависимостей
Обновите файл /etc/apt/sources.list
:
cat > /etc/apt/sources.list <<EOT deb http://10.20.50.188/dilos dg2-unstable main contrib non-free deb http://10.20.50.188/dilos du2-unstable main contrib non-free EOT apt-get update
Создайте папку для репозитория и перейдите туда:
mkdir -p /data/repo/pkg cd /data/repo/pkg
Чтобы нижеприведённый скрипт заработал, Вам нужно создать файл list_component
, содержимое которого можно взять отсюда.
Здесь же создайте скрипт для получения исходников и их зависимостей. Для этого скопируйте этот скрипт в файл, например, make_repo.sh
или выполните следующую команду:
cat > make_repo.sh <<EOT #!/bin/bash #DEP_FILE="" DEP_FILE="req.txt" LOG_FILE="" #LOG_FILE="/export/admin/repo.log" function print_log { if [[ "\$LOG_FILE" != "" ]]; then echo "\$1" >> \$LOG_FILE fi } ## Loop for get build components dependencies echo "" > list_to_check echo "publicsuffix" > final_list sed -i '/^[ \\t]*\$/d' list_component echo "" >> list_component echo "" > temp if [[ "\$DEP_FILE" != "" ]]; then echo "" > \$DEP_FILE fi while read comp; do ## Skip empty line if [[ "" == "\$comp" ]]; then continue fi echo -e "\\033[33m =====> Getting depends for \$comp... \\033[0m" res=\$(apt-rdepends --build-depends --follow=DEPENDS \$comp) echo "\$res" | grep 'Build-Depends:' > tmp echo "\$res" | grep 'Build-Depends-Indep:' >> tmp sed 's/^[ \\t]*Build-Depends:[ \\t]*//; s/^[ \\t]*Build-Depends-Indep:[ \\t]*//' tmp | sed 's/[ \\t]*(.*)[ \\t]*\$//' >> temp rm -f tmp if [[ "\$DEP_FILE" != "" ]]; then sed "s/^/\$comp:/g" temp >> \$DEP_FILE fi done < list_component ## Preparation of initial list of dependencies sort -u temp > list_to_check sed -i '/^[ \\t]*\$/d' list_to_check end=\$(cat list_to_check) echo "" >> list_to_check mkdir /data/repo/pkg/_tdir apt-get -R /data/repo/pkg/_tdir update ## Loop for get packages dependencies while [[ "\$end" != "" ]]; do echo "" > temp while read comp; do ## Skip empty line if [[ "" == "\$comp" ]]; then continue fi ## Skip packages that are already checked for dependencies res=\$(grep "^[ \\t]*\$comp[ \\t]*\\\$" final_list) if [[ "" != "\$res" ]]; then continue fi echo "=====> Getting depends for \$comp..." apt-get -R /data/repo/pkg/_tdir install --dry-run \$comp | grep "^Inst " | sed 's/^Inst //; s/ .*\$//' >> temp ##apt-cache depends --no-pre-depends --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances apt-cache depends --no-pre-depends --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances \$comp | sed 's/^[ \t|]*Depends: //; /</d; s/^[ \\t]*//' | sed 's/^[ \\t|]*Depends: //; /</d; s/^[ \\t]*//' >> temp ## Add checked package to the list of already checked packages echo "\$comp" >> final_list if [[ "\$DEP_FILE" != "" ]]; then sed "s/^/\$comp:/g" temp >> \$DEP_FILE fi done < list_to_check ## Remove repeated records from the list sort -u temp > list_to_check ## Remove empty lines if any sed -i '/^[ \\t]*\$/d' list_to_check sed -i '/^[ \\t]*\$/d' final_list end=\$(cat list_to_check) echo "" >> list_to_check done ## Loop for check and download dependencies rmdir --ignore-fail-on-non-empty /data/repo/pkg/_tdir sed -i '/^[ \\t]*\$/d' final_list sort -u final_list > temp mv -f temp final_list echo "" >> final_list rm -f list_to_check while read pkg; do if [[ "" == "\$pkg" ]]; then continue fi echo -e "\\033[36m =====> Check \$pkg... \\033[0m" ## Check if a package exists res=\$(apt-cache show \$pkg | grep "Package: \$pkg") if [[ "\$res" != "" ]]; then ## Download existed package echo -e "\\033[35m =====> Downloading package \$pkg... \\033[0m" res=\$(apt-get -R /data/repo/pkg/_tdir download \$pkg | grep 'E:' | sed -n 's/E://') if [[ "\$res" == "" ]]; then print_log "\$pkg : OK" else echo -e "\\033[31;1;4m \$res \\033[0m" print_log "\$pkg: \$res" if [[ "\$DEP_FILE" != "" ]]; then echo "=======================================" >> errors.log echo "\$pkg: \$res" >> errors.log grep ":\$pkg" \$DEP_FILE >> errors.log fi fi else ## Put error message if package doesn't exist echo -e "\\033[31;1;4m\$pkg: No package found \\033[0m" print_log "\$pkg: No package found" if [[ "\$DEP_FILE" != "" ]]; then echo "=======================================" >> errors.log echo "\$pkg: No package found" >> errors.log grep ":\$pkg" \$DEP_FILE >> errors.log fi fi done < final_list ## Downloading *.deb packages echo -e "\\033[32;1m =====> Uploading *.deb packages... \\033[0m" reprepro -b /data/repo --export=never -C main includedeb du2-prebuild /data/repo/pkg/*.deb ## Loop for download sources while read component; do if [[ "" == "\$component" ]]; then continue fi echo -e "\\033[33;1m =====> Downloading sources for \$component... \\033[0m" apt-get source --download-only \$component echo -e "\\033[32;1m =====> Uploading sources for \$component... \\033[0m" reprepro -b /data/repo --export=never -C main includedsc du2-prebuild \$component*.dsc rm -rf \$component* done < list_component ## Creating index for local repo echo -e "\\033[32;1m =====> Creating indices for local repo... \\033[0m" reprepro -Vb /data/repo export du2-prebuild echo -e "\\033[32;1m =====> DONE \\033[0m" if [[ "\$LOG_FILE" != "" ]]; then echo "Downloaded package list is put to \$LOG_FILE" fi EOT
Сделайте этот файл исполняемым:
chmod 777 ./make_repo.sh
Если Вы хотите получить лог с ошибками, то в строку LOG_FILE=""
впишите имя файла, куда будет записываться сообщения о ходе выполнения, например:
LOG_FILE="/export/admin/repo.log"
4. Создайте зону для локального репозитория
Создайте зону и войдите в неё:
cd ~ ./create_zone.sh zonerepo 192.168.0 2 zlogin zonerepo
Команды ниже выполняются в зоне.
Обновите файл /etc/apt/sources.list
:
cat > /etc/apt/sources.list <<EOT deb http://10.20.50.188/dilos dg2-unstable main contrib non-free deb http://10.20.50.188/dilos du2-unstable main contrib non-free deb-src http://10.20.50.188/dilos du2-unstable main contrib non-free EOT apt-get update
Установите в зоне необходимые пакеты для работы репозитория:
apt-get install reprepro apache2 debhelper dpkg-dev dh-exec apt-rdepends screen -y ln -s /data/repo /var/www/html/dilos svcadm enable http svcs http
Создайте директорию, где у вас будут лежать конфигурационные файлы для репозитория:
mkdir -p /data/repo/conf
и создайте конфигурационный файл репозитория:
echo -n "Codename: du2-prebuild Suite: prebuild Version: 2.0 Origin: DilOS Label: DilOS prebuild Description: DilOS Prebuild Repository Architectures: solaris-i386 solaris-sparc source Components: main contrib non-free ##SignWith: default DebIndices: Packages Release . .gz .bz2 .xz DscIndices: Sources Release . .gz .bz2 .xz Contents: . .gz .bz2 .xz " > /data/repo/conf/distributions
Workaround : Для создания локального репозитория нужен reprepro версии 5.3 и выше. В настоящее время его пока нет в DU2. До момента его появления там нужно выполнить следующие действия для его установки:
mv /etc/apt/sources.list /etc/apt/sources.list.bak
cat > /etc/apt/sources.list <<EOT
deb http://10.20.50.188/dilos du3-unstable main contrib non-free
EOT
apt-get update && apt-get install reprepro -y
mv /etc/apt/sources.list.bak /etc/apt/sources.list
apt-get update
5. Выполните эти команды для добавления пакетов и исходных файлов в репозиторий:
cd /data/repo/pkg ./make_repo.sh exit
Процедура создания репозитория может занять длительное время. Поэтому можно запустить скрипт при помощи утилиты screen.
6. Создайте новую зону для сборки компонент
Создайте зону и войдите в неё:
./create_zone.sh zonebld 192.168.0 3 zlogin zonebld
Команды ниже выполняются в зоне.
Подготовьте зону для сборки компонент. Для этого скопируйте этот скрипт в файл, например, prepare.sh
или выполните команду :
cat > prepare.sh <<SCRPT #!/bin/bash WORKSPACE=/export/home/admin/du2 apt-get clean apt-get autoclean apt-get remove libiconv-dev -y cat > /etc/apt/sources.list <<EOT deb http://10.20.50.188/dilos dg2-unstable main contrib non-free deb http://10.20.50.188/dilos du2-unstable main contrib non-free deb-src http://10.20.50.188/dilos du2-unstable main contrib non-free EOT apt-get update -y apt-get install -y bison dh-exec cmake docbook-xml docbook-xsl libgtest-dev screenapt-get install -y acl iputils-ping kbd ksh scheduler system-data-console-fonts git apt-get install -y traceroute gmake build-essential man-db po-debconf po4a debhelper apt-get install -y libx11-6 libxi6 libxtst6 liblua5.2-dev libnghttp2-dev libjansson-dev apt-get install -y mawk doxygen graphviz libdb-dev libgdbm-dev libsqlite3-dev libpq-dev #/usr/bin/ln -fs libX11.so.6 /usr/lib/64/libX11.so.4 #/usr/bin/ln -fs libXi.so.6 /usr/lib/64/libXi.so.5 #/usr/bin/ln -fs libXtst.so.6 /usr/lib/64/libXtst.so.1 cp /etc/apt/sources.list /etc/apt/sources.list.bak cat > /etc/apt/sources.list <<EOT deb [trusted=yes] http://192.168.0.2/dilos du2-prebuild main contrib non-free deb-src [trusted=yes] http://192.168.0.2/dilos du2-prebuild main contrib non-free EOT cp /etc/apt/sources.list /etc/apt/sources.list.dev apt-get update -y #test -f /var/lib/dpkg/lock && rm -f /var/lib/dpkg/lock #test -f /var/cache/apt/archives/lock && rm -f /var/cache/apt/archives/lock #dpkg --configure -a rm -rf \${WORKSPACE} && mkdir -p \${WORKSPACE} apt-get upgrade -y env DEBIAN_FRONTEND=noninteractive apt-get install -y -f env DEBIAN_FRONTEND=noninteractive apt-get install -y openssh-server SCRPT
Сделайте его исполняемым и запустите:
chmod 777 ./prepare.sh ./prepare.sh
7. Постройте компоненты
Скопируйте этот скрипт в файл, например, build_all.sh
или выполните команду:
cat > build_all.sh <<EOT #!/bin/bash BLD_PARALLEL="4" WORKSPACE=/export/home/admin/du2 #STOP_ON_ERROR=1 STOP_ON_ERROR=0 #GCC_COMPILER="gcc-6" GCC_COMPILER="" # Build a component: \$1 - component name, \$2 - stop-on-error flag function build_component { BLD_RESULT="/data/repo/du/\$1" test -z "\$1" && exit 1 test -d \${BLD_RESULT} && rm -rf \${BLD_RESULT} DEB_BUILD_OPTIONS="nocheck notest parallel=\${BLD_PARALLEL}" export DEB_BUILD_OPTIONS test -d \${WORKSPACE}/\$1 && rm -rf \${WORKSPACE}/\$1 mkdir -p \${WORKSPACE}/\$1 cd \${WORKSPACE}/\$1 echo "====================== \$1 ======================" | tee berror.log if [[ \$2 -eq 0 ]]; then apt-get build-dep -y \$1 >> berror.log || return 0 2>&1 apt-get source --compile \$1 >> berror.log || return 0 2>&1 else apt-get build-dep -y \$1 >> berror.log || return 1 2>&1 apt-get source --compile \$1 >> berror.log || return 1 2>&1 fi mkdir -p \${BLD_RESULT} cp -ax *.deb \${BLD_RESULT}/ || exit 1 cp -ax *.changes \${BLD_RESULT}/ || exit 1 cp -ax *.buildinfo \${BLD_RESULT}/ || exit 1 } if [[ "\$GCC_COMPILER" != "" ]]; then echo "====================== Building GCC ======================" build_component \$GCC_COMPILER 1 if [[ \$? -eq 1 ]]; then exit 1 fi dpkg -i \$WORKSPACE/\$GCC_COMPILER/*.deb fi while read COMP; do if [[ "" == "\$COMP" ]] || [[ "\$GCC_COMPILER" == "\$COMP" ]]; then continue fi build_component \$COMP \$STOP_ON_ERROR if [[ \$? -eq 1 ]]; then exit 1 fi done < /data/repo/pkg/list_component EOT
Если Вы хотите, чтобы пстроение закончилось после первой же ошибки, присвойте 1 переменной STOP_ON_ERROR STOP_ON_ERROR=1
. В противном случае скрипт будет строить все компоненты по-очереди, независимо от ошибок. При этом в директории каждого компонента будет создаваться файл berror.log
, где вы сможете увидеть ошибки построения.
Сделайте файл выполняемым и запустите его:
chmod 777 ./build_all.sh ./build_all.sh
Построение компонент может занять длительное время. Поэтому можно запустить скрипт при помощи утилиты screen.
Если Вы запустили построение всех компонент, то проверить, какие компоненты не построились, можно, выполнив команды:
cat > check_fails.sh <<EOT #!/bin/bash #WDIR=\$1 WDIR=/export/home/admin/du2 subdirs=\$(ls -1 \$WDIR) for dr in \$subdirs do res=\$(tail -1 \$WDIR/\$dr/berror.log) if [[ "\$(echo \$res | grep 'Fetched')" == "" ]]; then cat \$WDIR/\$dr/berror.log fi done echo "" echo "================= Local repo sources" cat /etc/apt/sources.list EOT chmod 777 ./check_fails.sh ./check_fails.sh
Note : Если Вам нужно сначала собрать компилятор GCC и провести построение при его помощи, то укажите имя компоненты компилятора в переменной GCC_COMPILER, например:
GCC_COMPILER="gcc-6"
. Его точное имя можно посмотреть в файле list_component
.
После сборки компонент Вы можете проверить их установку в отдельной новой зоне.