Add unit test env-var doc to 'scons -h'
[senf.git] / SConstruct
index 8db781c..3b0099c 100644 (file)
@@ -1,6 +1,6 @@
 # -*- python -*-
 
-import sys, glob, os.path, fnmatch
+import sys, os.path, fnmatch
 import SENFSCons, senfutil
 
 ###########################################################################
@@ -12,45 +12,65 @@ env.Decider('MD5-timestamp')
 env.EnsureSConsVersion(1,2)
 
 # Load all the local SCons tools
-env.Tool('Doxygen')
-env.Tool('Dia2Png')
-env.Tool('PkgDraw')
-env.Tool('InstallSubdir')
-env.Tool('CopyToDir')
-env.Tool('Boost')
-env.Tool('CombinedObject')
-env.Tool('PhonyTarget')
-env.Tool('InstallDir')
+senfutil.loadTools(env)
 
 env.Help("""
 Additional top-level build targets:
 
-prepare        Create all target files not part of the repository
-default        Build all default targets (like calling scons with no arguments)
-examples       Build all examples
-all_tests      Build and run unit tests for all modules
-all_docs       Build documentation for all modules
-all            Build everything
-install_all    Install SENF into $$PREFIX
-deb            Build debian source and binary package
-debsrc         Build debian source package
-debbin         Build debian binary package
-linklint       Check links of doxygen documentation with 'linklint'
-fixlinks       Fix broken links in doxygen documentation
-all_valgrinds  Run all tests under valgrind/memcheck
-lcov           Generate test coverage output in doc/lcov and lcov.info
+prepare         Create all target files not part of the repository
+default         Build all default targets (like calling scons with no arguments)
+examples        Build all examples
+all_tests       Build and run unit tests for all modules
+test_changes    Build tests only for files with local changes (queries svn or git)
+all_docs        Build documentation for all modules
+all             Build everything
+install_all     Install SENF into $$PREFIX
+deb             Build debian source and binary package
+debsrc          Build debian source package
+debbin          Build debian binary package
+linklint        Check links of doxygen documentation with 'linklint'
+fixlinks        Fix broken links in doxygen documentation
+all_valgrinds   Run all tests under valgrind/memcheck
+lcov            Generate test coverage output in doc/lcov and lcov.info
+
+You may execute targets on a remote host (if the directory layout is the same)
+by calling
+
+    scons <target>@[<user>@]<host>
+
+Some more elaborate unit tests may be enabled by setting appropritate variables 
+in the shell (unix) environment
+
+SENF_TIMING_CRITICAL_TESTS
+                Enables unit tests which depend on timing measurements. These
+                unit tests should only be run on a single core and an otherwise
+                idle system.
+
+SENF_WLAN_TEST_INTERFACE
+                WLAN interface to use for testing. The interface should not be
+                actively in use.
+
+SENF_ETH_TEST_INTERFACE
+                Ethernet interface to use for testing. The interface should not
+                be actively in use.
+
+Some unit tests will only run when executed to 'root'.
 """)
 
 env.Append(
-   ENV                    = { 'PATH' : os.environ.get('PATH'), 'HOME' : os.environ.get('HOME') },
-   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*',
-                              '*.gcno', '*.gcda', '*.gcov' ],
-
-   CPPPATH                = [ '#' ],
-   LOCALLIBDIR            = '#',
+   ENV                    = { 'PATH' : os.environ.get('PATH'), 
+                              'HOME' : os.environ.get('HOME'),
+                              'SSH_AGENT_PID': os.environ.get('SSH_AGENT_PID'),
+                              'SSH_AUTH_SOCK': os.environ.get('SSH_AUTH_SOCK') },
+   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*' ],
+
+   BUILDDIR               = '${FLAVOR and "#/build/$FLAVOR" or "#"}',
+   CPPPATH                = [ '$BUILDDIR', '#' ],
+   LOCALLIBDIR            = '$BUILDDIR',
    LIBPATH                = [ '$LOCALLIBDIR' ],
-   LIBS                   = [ '$LIBSENF$LIBADDSUFFIX', 'rt', '$BOOSTREGEXLIB', 
-                              '$BOOSTIOSTREAMSLIB', '$BOOSTSIGNALSLIB', '$BOOSTFSLIB' ], 
+   LIBS                   = [ '$LIBSENF$LIBADDSUFFIX', '$EXTRA_LIBS' ],
+   EXTRA_LIBS             = [ 'rt', '$BOOSTREGEXLIB', '$BOOSTIOSTREAMSLIB', '$BOOSTSIGNALSLIB', 
+                              '$BOOSTFSLIB' ], 
    TEST_EXTRA_LIBS        = [  ],
    VALGRINDARGS           = [ '--num-callers=50' ],
 
@@ -95,13 +115,22 @@ env.Append(
    LINKFLAGS_debug        = [ '-g' ],
 )
 
+# Add all UNIX env vars starting with 'SENF' to the execution environment
+env.Append( ENV = dict(((k,v) for k,v in os.environ.iteritems() if k.startswith("SENF"))) )
+
 env.SetDefault(
     LIBSENF           = "senf",
     LCOV              = "lcov",
     GENHTML           = "genhtml",
-    SCONS             = "./tools/scons -j$CONCURRENCY_LEVEL",
+    SCONSBIN          = env.File("#/tools/scons"),
+    SCONSARGS         = [ '-Q', '-j$CONCURRENCY_LEVEL', 'debug=$debug', 'final=$final' ] + \
+        [ '%s=%s' % (k,v) for k,v in ARGUMENTS.iteritems() ],
+    SCONS             = "@$SCONSBIN $SCONSARGS",
     CONCURRENCY_LEVEL = env.GetOption('num_jobs') or 1,
     TOPDIR            = env.Dir('#').abspath,
+    LIBADDSUFFIX      = '${FLAVOR and "_$FLAVOR" or ""}',
+    OBJADDSUFFIX      = '${LIBADDSUFFIX}',
+    FLAVOR            = '',
 )
 
 # Set variables from command line
@@ -110,8 +139,14 @@ senfutil.parseArguments(
     BoolVariable('final', 'Build final (optimized) build', False),
     BoolVariable('debug', 'Link in debug symbols', False),
     BoolVariable('syslayout', 'Install in to system layout directories (lib/, include/ etc)', False),
+    BoolVariable('sparse_tests', 'Link tests against object files and not the senf lib', False)
 )
 
+if 'test_changes' in COMMAND_LINE_TARGETS and not env.has_key('only_tests'):
+    import SparseTestHack
+    env['only_tests'] = " ".join(x.abspath for x in SparseTestHack.findSCMChanges(env))
+
+if env.has_key('only_tests') : env['sparse_tests'] = True
 Export('env')
 
 # Create Doxyfile.local otherwise doxygen will barf on this non-existent file
@@ -121,7 +156,7 @@ if not os.path.exists("doclib/Doxyfile.local"):
 
 if not env.GetOption('clean') and not os.path.exists(".prepare-stamp") \
    and not os.environ.get("SCONS") and COMMAND_LINE_TARGETS != [ 'prepare' ]:
-    env.Execute([ "scons prepare" ])
+    env.Execute([ "$SCONS prepare" ])
 
 # Load SConscripts
 
@@ -129,28 +164,23 @@ SConscriptChdir(0)
 SConscript("debian/SConscript")
 SConscriptChdir(1)
 if os.path.exists('SConscript.local') : SConscript('SConscript.local')
-SConscript("senf/SConscript")
+if env['sparse_tests']:
+    import SparseTestHack
+    SparseTestHack.setup(env)
+if env.subst('$BUILDDIR') == '#':
+    SConscript("SConscript")
+else:
+    SConscript("SConscript", variant_dir=env.subst('$BUILDDIR'), src_dir='#', duplicate=False)
 SConscript("Examples/SConscript")
 SConscript("HowTos/SConscript")
 SConscript("doclib/SConscript")
+if env['sparse_tests']:
+    verbose = 'test_changes' in COMMAND_LINE_TARGETS
+    SparseTestHack.build(env, verbose, verbose)
 
 ###########################################################################
 # Define build targets
 
-#### libsenf.a
-libsenf = env.Library("$LOCALLIBDIR/${LIBSENF}${LIBADDSUFFIX}", env['ALLOBJECTS'])
-env.Default(libsenf)
-env.Install('$LIBINSTALLDIR', libsenf)
-
-def create(target, source, env): 
-    file(str(target[0]), 'w').write(source[0].get_contents()+"\n")
-env['BUILDERS']['CreateFile'] = Builder(action = create)
-
-conf = env.CreateFile("${LOCALLIBDIR}/${LIBSENF}${LIBADDSUFFIX}.conf", 
-                      env.Value(env.subst("$_CPPDEFFLAGS")))
-env.Default(conf)
-env.Install('$CONFINSTALLDIR', conf)
-
 #### install_all, default, all_tests, all
 env.Install('${SCONSINSTALLDIR}', [ 'site_scons/__init__.py',
                                     'site_scons/senfutil.py',
@@ -162,6 +192,7 @@ env.Install('${INCLUDEINSTALLDIR}', 'boost')
 env.Alias('install_all', env.FindInstalledFiles())
 env.Alias('default', DEFAULT_TARGETS)
 env.Alias('all_tests', env.FindAllBoostUnitTests())
+env.Alias('test_changes', 'all_tests')
 env.Alias('all', [ 'default', 'all_tests', 'examples', 'all_docs' ])
 
 #### prepare
@@ -183,28 +214,43 @@ for test in env.FindAllBoostUnitTests():
 
 ### lcov
 env.PhonyTarget('lcov', [], [
-        '$SCONS debug=1 CCFLAGS+="-fprofile-arcs -ftest-coverage" LIBS+="gcov" all_tests',
-        '$LCOV --follow --directory $TOPDIR/senf --capture --output-file /tmp/senf_lcov.info --base-directory $TOPDIR',
+        '$SCONS debug=1 BUILDDIR="#/build/lcov" CCFLAGS+="-fprofile-arcs -ftest-coverage" LIBS+="gcov" all_tests',
+        '$LCOV --follow --directory $TOPDIR/build/lcov/senf --capture --output-file /tmp/senf_lcov.info --base-directory $TOPDIR',
         '$LCOV --output-file lcov.info --remove /tmp/senf_lcov.info "*/include/*" "*/boost/*" "*.test.*" ',
         '$GENHTML --output-directory doc/lcov --title all_tests lcov.info',
         'rm /tmp/senf_lcov.info' ])
 if env.GetOption('clean'): 
-    env.Depends('lcov', 'all_tests')
     env.Clean('lcov', [ os.path.join(path,f)
                         for path, subdirs, files in os.walk('.')
-                        for pattern in ['*.gcno', '*.gcda', '*.gcov']
+                        for pattern in ('*.gcno', '*.gcda', '*.gcov')
                         for f in fnmatch.filter(files,pattern) ] + 
-                      [ 'lcov.info', env.Dir('doc/lcov') ])
+                      [ 'lcov.info', env.Dir('doc/lcov'), env.Dir('build/lcov') ])
     
 #### clean
-env.Clean('all', ('.prepare-stamp', libsenf, env.Dir('dist')))
+env.Clean('all', ('.prepare-stamp', env.Dir('dist'), env.Dir('build')))
 if env.GetOption('clean') : env.Depends('all', ('lcov', 'all_valgrinds'))
 
-if env.GetOption('clean'):
+if env.GetOption('clean') and 'all' in BUILD_TARGETS:
     env.Clean('all', [ os.path.join(path,f)
                        for path, subdirs, files in os.walk('.')
                        for pattern in env['CLEAN_PATTERNS']
                        for f in fnmatch.filter(files,pattern) ])
+    # Disable writing to the deleted .sconsign file
+    import SCons.SConsign
+    SCons.SConsign.write = lambda : None
 
 if not env.GetOption('clean') and not os.path.exists(".prepare-stamp"):
     Execute(Touch(".prepare-stamp"))
+
+### execute targets on remote hosts
+for target in COMMAND_LINE_TARGETS:
+    if '@' in target:
+        realtarget, host = target.split('@',1)
+        cwd=env.GetLaunchDir()
+        home=os.environ['HOME']+'/'
+        if cwd.startswith(home) : cwd = cwd[len(home):]
+        args = [ '$SCONSARGS' ]
+        if env.GetLaunchDir() != os.getcwd():
+            args.append('-u')
+        env.PhonyTarget(target, [], [ "ssh $HOST scons $SCONSARGS -C $DIR $RTARGET" ],
+                        HOST=host, RTARGET=realtarget, DIR=cwd, SCONSARGS=args)