meta-agl-core: update images in conf-notes.txt
[AGL/meta-agl.git] / scripts / .aglsetup_genconfig.bash
index 48af0fb..3d380e6 100755 (executable)
@@ -4,7 +4,7 @@
 #
 # The MIT License (MIT)
 #
-# Copyright (c) 2016 Stéphane Desneux <sdx@iot.bzh>
+# Copyright (c) 2016-2019 Stéphane Desneux <sdx@iot.bzh>
 #           (c) 2016 Jan-Simon Möller <jsmoeller@linuxfoundation.org>
 #
 # Permission is hereby granted, free of charge, to any person obtaining a copy
 #
 ################################################################################
 
-# this script shouldn't be called directly, but through aglsetup.sh that will in 
-# turn execute (source) generated instructions back in the parent shell, 
+# this script shouldn't be called directly, but through aglsetup.sh that will in
+# turn execute (source) generated instructions back in the parent shell,
 # whether it's bash, zsh, or any other supported shell
 
-VERSION=1.1.0
+VERSION=1.2.0
 DEFAULT_MACHINE=qemux86-64
 DEFAULT_BUILDDIR=./build
 VERBOSE=0
-DEBUG=0
+SHOWVERSION=0
+: ${DEBUG:=false}
 
 #SCRIPT=$(basename $BASH_SOURCE)
 SCRIPT=aglsetup.sh
@@ -46,16 +47,16 @@ function info() { echo "$@" >&2; }
 function infon() { echo -n "$@" >&2; }
 function error() { echo "ERROR: $@" >&2; return 1; }
 function verbose() { [[ $VERBOSE == 1 ]] && echo "$@" >&2; return 0; }
-function debug() { [[ $DEBUG == 1 ]] && echo "DEBUG: $@" >&2; return 0;}
+function debug() { $DEBUG && echo "DEBUG: $@" >&2; return 0;}
 
-info "------------ $SCRIPT: Starting"
+debug "------------ $SCRIPT: starting with command line arguments: $@"
 
 #compute AGL_REPOSITORIES
-AGL_REPOSITORIES=$(for x in $(ls -d $METADIR/*/templates/{machine,feature}); do echo $(basename $(dirname $(dirname $x))); done | sort -u)
+AGL_REPOSITORIES=$(for x in $(ls -d $METADIR/meta-*/templates/{machine,feature} $METADIR/bsp/*/templates/machine 2>/dev/null); do echo $(basename $(dirname $(dirname $x))); done | sort -u)
 
 function list_machines() {
-       for x in $@; do
-               for y in $(ls -d $METADIR/$x/templates/machine/* 2>/dev/null); do
+       for a in $@; do
+               for y in $(ls -d $METADIR/{.,bsp}/$a/templates/machine/* 2>/dev/null); do
                        echo $(basename $y)
                done
        done
@@ -78,7 +79,7 @@ function validate_machines() {
        list_all_machines | sort | uniq -c | while read cnt machine; do
                [[ $cnt == 1 ]] && continue
                info "Machine $machine found in the following repositories:"
-               for x in $(ls -d $METADIR/*/templates/machine/$machine); do
+               for x in $(ls -d $METADIR/*/templates/machine/$machine $METADIR/bsp/*/templates/machine/$machine 2>/dev/null); do
                        info "   - $x"
                done
                error "Multiple machine templates are not allowed"
@@ -104,7 +105,7 @@ function validate_features() {
        list_all_features | sort | uniq -c | while read cnt feature; do
                [[ $cnt == 1 ]] && continue;
                info "Feature $feature found in the following repositories:"
-               for x in $(ls -d $METADIR/*/templates/feature/$feature); do
+               for x in $(ls -d $METADIR/*/templates/feature/$feature 2>/dev/null); do
                        info "   - $x"
                done
                error "Multiple feature templates are not allowed"
@@ -115,8 +116,10 @@ function validate_features() {
 function find_machine_dir() {
        machine=$1
        for x in $AGL_REPOSITORIES; do
-               dir=$METADIR/$x/templates/machine/$machine
-               [[ -d $dir ]] && { echo $dir; return 0; }
+               dirs=$(ls -d $METADIR/{.,bsp}/$x/templates/machine/$machine 2>/dev/null)
+               for dir in $dirs; do
+                   [[ -d $dir ]] && { echo $dir; return 0; }
+               done
        done
        return 1
 }
@@ -150,24 +153,44 @@ Options:
    -f|--force
       flag to force overwriting any existing configuration
       default: false
+   -r|--rpm-revision <schema>
+      Specify how to handle RPM packages revisions
+      <schema> can be:
+          'prservice[:<address>]' : Use a PR service daemon.
+              if <address> is not specified, the default value 'localhost:0'
+              is used (shortcut for a PR service started by bitbake)
+          'timestamp' : Use a generated time stamp (UTC).
+          'value:<revision>' : Use <revision> explicitly.
+          'none' : Do nothing.
+   -t|--topic <value>
+      Specify an optional topic for this setup.
+      If specified, the topic will be propagated in build manifests:
+         - in deployment dir: tmp/deploy/images/*/build-info
+         - in target image: /etc/platform-info/build
+         - in SDK: tmp/deploy/sdk/*.build-info
    -v|--verbose
       verbose mode
       default: false
+   -V|--version
+      display version, set AGLSETUP_VERSION variable with version value and exit
    -d|--debug
       debug mode
+      for early debug, set env variable DEBUG. 
+      for example:
+           DEBUG=true source aglsetup.sh -V
       default: false
    -h|--help
       get some help
 
 EOF
        local buf
-       
+
        echo "Available machines:" >&2
        for x in $AGL_REPOSITORIES; do
                buf=$(list_machines $x)
                [[ -z "$buf" ]] && continue
                echo "   [$x]"
-               for y in $buf; do 
+               for y in $buf; do
                        [[ $y == $DEFAULT_MACHINE ]] && def="* " || def="  "
                        echo "     $def$y"
                done
@@ -200,21 +223,22 @@ function append_fragment() {
        echo >>$basefile
        echo "# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #" >>$basefile
        echo "# fragment { " >>$basefile
-       [[ -f $f ]] && echo "# $f" >>$basefile || true
+       [[ -n $f ]] && echo "# $f" >>$basefile || true
        echo "#" >>$basefile
        [[ -n "$label" ]] && echo "$label" >>$basefile
-       [[ -f $f ]] && cat $f >>$basefile || true
+       [[ -n $f ]] && cat $f >>$basefile || true
+       echo "" >>$basefile
        echo "#" >>$basefile
        echo "# }" >>$basefile
        echo "# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #" >>$basefile
-       [[ -f $f ]] && echo $f >>$BUILDDIR/conf/fragments.log || true
+       [[ -n $f ]] && echo $f >>$BUILDDIR/conf/fragments.log || true
 }
 
 function execute_setup() {
        script=$1
        debug "Executing script $script"
-       opts=
-       [[ $DEBUG == 1 ]] && opts="$opts -x"
+       opts="-e"
+       $DEBUG && opts="$opts -x"
        pushd $BUILDDIR &>/dev/null
                $BASH $opts $script \
                        && rc=0 \
@@ -281,7 +305,7 @@ function find_feature_dependency() {
 
 GLOBAL_ARGS=( "$@" )
 debug "Parsing arguments: $@"
-TEMP=$(getopt -o m:b:s:fvdh --long machine:,builddir:,script:,force,verbose,debug,help -n $SCRIPT -- "$@")
+TEMP=$(getopt -o m:b:r:t:s:fvVdh --long machine:,builddir:,rpm-revision:,topic:,script:,force,verbose,version,debug,help -n $SCRIPT -- "$@")
 [[ $? != 0 ]] && { usage; exit 1; }
 eval set -- "$TEMP"
 
@@ -292,23 +316,47 @@ MACHINE=$DEFAULT_MACHINE
 BUILDDIR=$DEFAULT_BUILDDIR
 SETUPSCRIPT=
 FORCE=
+RPMREVISION=
+TOPIC=
+SETUP_MANIFEST=aglsetup.manifest
 
 while true; do
        case "$1" in
-               -m|--machine)  MACHINE=$2; shift 2;;
-               -b|--builddir) BUILDDIR=$2; shift 2;;
-               -s|--setupscript) SETUPSCRIPT=$2; shift 2;;
-               -f|--force) FORCE=1; shift;;
-               -v|--verbose) VERBOSE=1; shift;;
-               -d|--debug) VERBOSE=1; DEBUG=1; shift;;
-               -h|--help)     HELP=1; shift;;
-               --)            shift; break;;
+               -m|--machine)      MACHINE=$2; shift 2;;
+               -b|--builddir)     BUILDDIR=$2; shift 2;;
+               -s|--setupscript)  SETUPSCRIPT=$2; shift 2;;
+               -f|--force)        FORCE=1; shift;;
+               -r|--rpm-revision) RPMREVISION=$2; shift 2;;
+               -t|--topic)        TOPIC=$2; shift 2;;
+               -v|--verbose)      VERBOSE=1; shift;;
+               -V|--version)      SHOWVERSION=1; shift;;
+               -d|--debug)        VERBOSE=1; DEBUG=true; shift;;
+               -h|--help)         HELP=1; shift;;
+               --)                shift; break;;
                *) error "Arguments parsing error"; exit 1;;
        esac
 done
 
 [[ "$HELP" == 1 ]] && { usage; exit 0; }
 
+if [[ "$SHOWVERSION" == 1 ]]; then
+       # display version on stdout
+       echo "$VERSION"
+
+       # generate output script if requested by caller
+       if [[ -n "$SETUPSCRIPT" ]]; then
+               cat <<EOF >$SETUPSCRIPT
+AGLSETUP_VERSION=$VERSION
+EOF
+       fi
+
+       # IMPORTANT: exit successfully
+       # older aglsetup scripts with version <1.2.0 will fail with option --version
+       exit 0
+fi
+
+info "------------ $SCRIPT: Starting"
+
 verbose "Command line arguments: ${GLOBAL_ARGS[@]}"
 
 # the remaining args are the features
@@ -359,17 +407,18 @@ function genconfig() {
        info "   Features: $FEATURES"
 
        # step 1: run usual OE setup to generate conf dir
-       export TEMPLATECONF=$(cd $SCRIPTDIR/../templates/base && pwd -P)
+       export TEMPLATECONF=$(cd $SCRIPTDIR/../meta-agl-core/conf/templates/base && pwd -P)
        debug "running oe-init-build-env with TEMPLATECONF=$TEMPLATECONF"
-       info "   Running $METADIR/poky/oe-init-build-env"
+       info "   Running $METADIR/external/poky/oe-init-build-env"
        info "   Templates dir: $TEMPLATECONF"
 
        CURDIR=$(pwd -P)
-       . $METADIR/poky/oe-init-build-env $BUILDDIR >/dev/null
+       . $METADIR/external/poky/oe-init-build-env $BUILDDIR >/dev/null
        cd $CURDIR
 
        # step 2: concatenate other remaining fragments coming from base
-       process_fragments $TEMPLATECONF
+       FRAGMENTS=$(cd $SCRIPTDIR/../templates/base && pwd -P)
+       process_fragments $FRAGMENTS
 
        # step 3: fragments for machine
        process_fragments $(find_machine_dir $MACHINE)
@@ -397,6 +446,12 @@ function genconfig() {
                append_fragment $BUILDDIR/conf/local.conf $file
                verbose "      + $file"
        done
+       # special fragment to call distro-manifest-generator.sh from 
+       # meta-agl-profile-core/recipes-core/distro-build-manifest/distro-build-manifest.bb
+       append_fragment $BUILDDIR/conf/local.conf /dev/stdin "# generated by $(realpath $BASH_SOURCE)" <<-EOF
+               DISTRO_SETUP_MANIFEST = "$(realpath -Ls $BUILDDIR)/$SETUP_MANIFEST"
+               DISTRO_MANIFEST_GENERATOR = "$(dirname $(realpath $BASH_SOURCE))/distro-manifest-generator.sh"
+       EOF
 
        FRAGMENTS_SETUP=$(sed 's/ /\n/g' <<<$FRAGMENTS_SETUP | sort)
        debug "setup fragments: $FRAGMENTS_SETUP"
@@ -409,6 +464,8 @@ export MACHINE="$MACHINE"
 export FEATURES="$FEATURES"
 export BUILDDIR="$BUILDDIR"
 export METADIR="$METADIR"
+export RPMREVISION="$RPMREVISION"
+export LOCALCONF="$BUILDDIR/conf/local.conf"
 
 echo "--- beginning of setup script"
 EOF
@@ -432,7 +489,6 @@ EOF
                dump_log $BUILDDIR/conf/setup.log
                return 1
        }
-       # NOTE: the setup.sh script is removed if execution succeeded (only the log remains)
 }
 
 ###########################################################################################
@@ -441,13 +497,16 @@ EOF
 [[ $FORCE -eq 1 ]] && rm -f \
        $BUILDDIR/conf/local.conf \
        $BUILDDIR/conf/bblayers.conf \
+       $BUILDDIR/conf/templateconf.cfg \
        $BUILDDIR/conf/setup.* \
        $BUILDDIR/conf/*.log
 
+####### step 1: generate configuration file #######
+
 if [[ -f $BUILDDIR/conf/local.conf || -f $BUILDDIR/conf/bblayers.conf ]]; then
        info "Configuration files already exist:"
        for x in $BUILDDIR/conf/local.conf $BUILDDIR/conf/bblayers.conf; do
-               [[ -f $x ]] && info "   - $x" 
+               [[ -f $x ]] && info "   - $x"
        done
        info "Skipping configuration files generation."
        info "Use option -f|--force to overwrite existing configuration."
@@ -455,21 +514,65 @@ else
        genconfig
 fi
 
+####### step 2: generate aglsetup.manifest #######
+
+infon "Generating setup manifest: $BUILDDIR/$SETUP_MANIFEST ... "
+for x in /etc/os-release /usr/lib/os-release; do
+       [[ -f $x ]] && . $x
+done
+FEATURES_md5=$(echo $FEATURES|md5sum -|awk '{print $1;}')
+cat <<EOF >$BUILDDIR/$SETUP_MANIFEST
+# ----------------------------------------------
+# This fragment has been generated by $SCRIPT at setup time
+
+# distro name
+DIST_DISTRO_NAME="AGL"
+
+# target machine as passed to $SCRIPT
+DIST_MACHINE="$MACHINE"
+
+# features as resolved by $SCRIPT
+DIST_FEATURES="$FEATURES"
+DIST_FEATURES_MD5="${FEATURES_md5}"
+
+# build host information deduced from os-release
+DIST_BUILD_HOST="$(id -un)@$(hostname -f || hostname || hostname -s)"
+DIST_BUILD_OS="${PRETTY_NAME:-${NAME} ${VERSION} [COMPUTED]}"
+
+# meta directory
+DIST_METADIR="$METADIR"
+
+# timestamp
+DIST_SETUP_TS="$(date -u +%Y%m%d_%H%M%S_%Z)"
+
+# topic
+DIST_SETUP_TOPIC="$TOPIC"
+
+# ------------ end of $SCRIPT fragment --------
+EOF
+info "OK"
+
+####### step 3: generate agl-init-build-env #######
+
 # always generate setup script in builddir: it can be sourced later manually without re-running the setup
 infon "Generating setup file: $BUILDDIR/agl-init-build-env ... "
+
 cat <<EOF >$BUILDDIR/agl-init-build-env
-. $METADIR/poky/oe-init-build-env $BUILDDIR
+export TEMPLATECONF=${METADIR}/meta-agl/meta-agl-core/conf/templates/base
+. $METADIR/external/poky/oe-init-build-env $BUILDDIR
 if [ -n "\$DL_DIR" ]; then
-       BB_ENV_EXTRAWHITE="\$BB_ENV_EXTRAWHITE DL_DIR"
+       BB_ENV_PASSTHROUGH_ADDITIONS="\$BB_ENV_PASSTHROUGH_ADDITIONS DL_DIR"
 fi
 if [ -n "\$SSTATE_DIR" ]; then
-        BB_ENV_EXTRAWHITE="\$BB_ENV_EXTRAWHITE SSTATE_DIR" 
+       BB_ENV_PASSTHROUGH_ADDITIONS="\$BB_ENV_PASSTHROUGH_ADDITIONS SSTATE_DIR"
 fi
-export BB_ENV_EXTRAWHITE
+export BB_ENV_PASSTHROUGH_ADDITIONS
 unset TEMPLATECONF
 EOF
 info "OK"
 
+####### step 4: generate output script #######
+
 # finally, generate output script if requested by caller
 if [[ -n "$SETUPSCRIPT" ]]; then
        debug "generating setupscript in $SETUPSCRIPT"