Add SENF_TIMING_CRITICAL_TESTS environment flag
[senf.git] / SConstruct
index f56ce4f..60683ef 100644 (file)
@@ -1,6 +1,6 @@
 # -*- python -*-
 
-import sys, glob, os.path, fnmatch
+import sys, os.path, fnmatch
 import SENFSCons, senfutil
 
 ###########################################################################
@@ -8,6 +8,9 @@ import SENFSCons, senfutil
 
 env = Environment()
 
+env.Decider('MD5-timestamp')
+env.EnsureSConsVersion(1,2)
+
 # Load all the local SCons tools
 env.Tool('Doxygen')
 env.Tool('Dia2Png')
@@ -18,57 +21,48 @@ env.Tool('Boost')
 env.Tool('CombinedObject')
 env.Tool('PhonyTarget')
 env.Tool('InstallDir')
+env.Tool('CreateFile')
 
 env.Help("""
 Additional top-level build targets:
 
-prepare      Create all target files not part of the repository
-default      Build all default targets (like calling scons with no arguments)
-examples     Build all examples
-all_tests    Build and run unit tests for all modules
-all_docs     Build documentation for all modules
-all          Build everything
-install_all  Install SENF into $$PREFIX
-deb          Build debian source and binary package
-debsrc       Build debian source package
-debbin       Build debian binary package
-linklint     Check links of doxygen documentation with 'linklint'
-fixlinks     Fix broken links in doxygen documentation
-valgrind     Run all tests under valgrind/memcheck
-
-Build parameters:
-
-final=1      Build optimized library without debug symbols
-debug=1      Link all binaries with debug symbols (slow!)
-syslayout=1  Install into system layout directories ($$PREFIX/lib, $$PREFIX/include etc)
-
-additionally, any construction environment variable may be set from the scons
-command line (see SConstruct file and SCons documentation for a list of variables).
+prepare        Create all target files not part of the repository
+default        Build all default targets (like calling scons with no arguments)
+examples       Build all examples
+all_tests      Build and run unit tests for all modules
+all_docs       Build documentation for all modules
+all            Build everything
+install_all    Install SENF into $$PREFIX
+deb            Build debian source and binary package
+debsrc         Build debian source package
+debbin         Build debian binary package
+linklint       Check links of doxygen documentation with 'linklint'
+fixlinks       Fix broken links in doxygen documentation
+all_valgrinds  Run all tests under valgrind/memcheck
+lcov           Generate test coverage output in doc/lcov and lcov.info
 """)
 
-env.Replace(
-   PKGDRAW                = 'doclib/pkgdraw',
-)
-
 env.Append(
-   ENV                    = { 'PATH' : os.environ.get('PATH') },
-   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*', '.sconsign' ],
+   ENV                    = { 'PATH' : os.environ.get('PATH'), 'HOME' : os.environ.get('HOME') },
+   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*' ],
 
-   CPPPATH                = [ '#' ],
-   LOCALLIBDIR            = '#',
+   BUILDDIR               = '#',
+   CPPPATH                = [ '$BUILDDIR', '#' ],
+   LOCALLIBDIR            = '$BUILDDIR',
    LIBPATH                = [ '$LOCALLIBDIR' ],
    LIBS                   = [ '$LIBSENF$LIBADDSUFFIX', 'rt', '$BOOSTREGEXLIB', 
                               '$BOOSTIOSTREAMSLIB', '$BOOSTSIGNALSLIB', '$BOOSTFSLIB' ], 
    TEST_EXTRA_LIBS        = [  ],
+   VALGRINDARGS           = [ '--num-callers=50' ],
 
    PREFIX                 = '#/dist',
    LIBINSTALLDIR          = '$PREFIX${syslayout and "/lib" or ""}',
    BININSTALLDIR          = '$PREFIX${syslayout and "/bin" or ""}',
    INCLUDEINSTALLDIR      = '$PREFIX${syslayout and "/include" or ""}',
-   OBJINSTALLDIR          = '${syslayout and "$LIBINSTALLDIR/senf" or "$PREFIX"}',
-   DOCINSTALLDIR          = '$PREFIX/manual',
-   SCONSINSTALLDIR        = '${syslayout and "$LIBINSTALLDIR/senf" or "$PREFIX"}/site_scons',
-   CONFINSTALLDIR         = '$OBJINSTALLDIR',
+   CONFINSTALLDIR         = '${syslayout and "$LIBINSTALLDIR/senf" or "$PREFIX"}',
+   OBJINSTALLDIR          = '$CONFINSTALLDIR',
+   DOCINSTALLDIR          = '$PREFIX${syslayout and "/share/doc/senf" or "/manual"}',
+   SCONSINSTALLDIR        = '$CONFINSTALLDIR/site_scons',
 
    CPP_INCLUDE_EXTENSIONS = [ '.h', '.hh', '.ih', '.mpp', '.cci', '.ct', '.cti' ],
    CPP_EXCLUDE_EXTENSIONS = [ '.test.hh' ],
@@ -99,29 +93,37 @@ env.Append(
    LINKFLAGS_             = senfutil.BuildTypeOptions('LINKFLAGS'),
    LINKFLAGS_final        = [ ],
    LINKFLAGS_normal       = [ '-Wl,-S' ],
-   LINKFLAGS_debug        = [ ],
+   LINKFLAGS_debug        = [ '-g' ],
 )
 
 env.SetDefault(
-    LIBSENF   = "senf",
-    final     = 0,
-    debug     = 0,
-    syslayout = 0
+    LIBSENF           = "senf",
+    LCOV              = "lcov",
+    GENHTML           = "genhtml",
+    SCONSBIN          = env.File("#/tools/scons"),
+    SCONS             = "@$SCONSBIN -Q -j$CONCURRENCY_LEVEL",
+    CONCURRENCY_LEVEL = env.GetOption('num_jobs') or 1,
+    TOPDIR            = env.Dir('#').abspath,
 )
 
 # Set variables from command line
-env.Replace(**ARGUMENTS)
+senfutil.parseArguments(
+    env,
+    BoolVariable('final', 'Build final (optimized) build', False),
+    BoolVariable('debug', 'Link in debug symbols', False),
+    BoolVariable('syslayout', 'Install in to system layout directories (lib/, include/ etc)', False),
+)
 
 Export('env')
 
 # Create Doxyfile.local otherwise doxygen will barf on this non-existent file
 # Create it even when cleaning, to silence the doxygen builder warnings
-if not os.path.exists("Doxyfile.local"):
-    Execute(Touch("Doxyfile.local"))
+if not os.path.exists("doclib/Doxyfile.local"):
+    Execute(Touch("doclib/Doxyfile.local"))
 
 if not env.GetOption('clean') and not os.path.exists(".prepare-stamp") \
    and not os.environ.get("SCONS") and COMMAND_LINE_TARGETS != [ 'prepare' ]:
-    env.Execute([ "scons prepare" ])
+    env.Execute([ "$SCONS prepare" ])
 
 # Load SConscripts
 
@@ -129,7 +131,10 @@ SConscriptChdir(0)
 SConscript("debian/SConscript")
 SConscriptChdir(1)
 if os.path.exists('SConscript.local') : SConscript('SConscript.local')
-SConscript("senf/SConscript")
+if env['BUILDDIR'] == '#':
+    SConscript("SConscript")
+else:
+    SConscript("SConscript", variant_dir=env['BUILDDIR'], src_dir='#', duplicate=False)
 SConscript("Examples/SConscript")
 SConscript("HowTos/SConscript")
 SConscript("doclib/SConscript")
@@ -137,25 +142,13 @@ SConscript("doclib/SConscript")
 ###########################################################################
 # Define build targets
 
-#### doc
-env.Depends(SENFSCons.Doxygen(env), env.Value(env['ENV']['REVISION']))
-
-#### libsenf.a
-libsenf = env.Library("$LOCALLIBDIR/${LIBSENF}${LIBADDSUFFIX}", env['ALLOBJECTS'])
-env.Default(libsenf)
-env.Install('$LIBINSTALLDIR', libsenf)
-
-def create(target, source, env): 
-    file(str(target[0]), 'w').write(source[0].get_contents()+"\n")
-env['BUILDERS']['CreateFile'] = Builder(action = create)
-
-conf = env.CreateFile("${LOCALLIBDIR}/${LIBSENF}${LIBADDSUFFIX}.conf", 
-                      env.Value(env.subst("$_CPPDEFFLAGS")))
-env.Default(conf)
-env.Install('$CONFINSTALLDIR', conf)
-
 #### install_all, default, all_tests, all
-env.Install('${SCONSINSTALLDIR}', 'site_scons/senfutil.py')
+env.Install('${SCONSINSTALLDIR}', [ 'site_scons/__init__.py',
+                                    'site_scons/senfutil.py',
+                                    'site_scons/yaptu.py' ])
+env.InstallDir('${SCONSINSTALLDIR}', [ 'site_scons/site_tools', 'site_scons/lib' ],
+               FILTER_SUFFIXES=[ '','.css','.pl','.py','.sh','.sty','.xml','.xsl','.yap' ])
+env.Install('${INCLUDEINSTALLDIR}', 'boost')
 
 env.Alias('install_all', env.FindInstalledFiles())
 env.Alias('default', DEFAULT_TARGETS)
@@ -166,28 +159,45 @@ env.Alias('all', [ 'default', 'all_tests', 'examples', 'all_docs' ])
 env.PhonyTarget('prepare', [], [])
 
 #### valgrind
-env.PhonyTarget('valgrind', [ 'all_tests' ], [ """
-    find -name .test.bin 
-        | while read test; do
-            echo;
-            echo "Running $$test";
-            echo;
-            valgrind --tool=memcheck --error-exitcode=99 --suppressions=valgrind.sup 
-                $$test $BOOSTTESTARGS;
-            [ $$? -ne 99 ] || exit 1;
-        done
-""".replace("\n"," ") ])
-
+for test in env.FindAllBoostUnitTests():
+    stamp = env.Command(test[0].dir.File('.test-valgrind.stamp'), 
+                        [ test[0].dir.File('.test.bin'), 'tools/valgrind.sup' ],
+                        [ """valgrind --tool=memcheck 
+                                      --error-exitcode=99 
+                                      --suppressions=${SOURCES[1]}
+                                      $VALGRINDARGS
+                                          ${SOURCES[0]} $BOOSTTESTARGS;
+                             [ $$? -ne 99 ] || exit 1""".replace("\n"," "),
+                          Touch("$TARGET") ])
+    alias = env.Command(test[0].dir.File('valgrind'), stamp, [ env.NopAction() ])
+    env.Alias('all_valgrinds', alias)
+
+### lcov
+env.PhonyTarget('lcov', [], [
+        '$SCONS debug=1 BUILDDIR="#/lcov-build" CCFLAGS+="-fprofile-arcs -ftest-coverage" LIBS+="gcov" all_tests',
+        '$LCOV --follow --directory $TOPDIR/lcov-build/senf --capture --output-file /tmp/senf_lcov.info --base-directory $TOPDIR',
+        '$LCOV --output-file lcov.info --remove /tmp/senf_lcov.info "*/include/*" "*/boost/*" "*.test.*" ',
+        '$GENHTML --output-directory doc/lcov --title all_tests lcov.info',
+        'rm /tmp/senf_lcov.info' ])
+if env.GetOption('clean'): 
+    env.Clean('lcov', [ os.path.join(path,f)
+                        for path, subdirs, files in os.walk('.')
+                        for pattern in ('*.gcno', '*.gcda', '*.gcov')
+                        for f in fnmatch.filter(files,pattern) ] + 
+                      [ 'lcov.info', env.Dir('doc/lcov'), env.Dir('lcov-build') ])
+    
 #### clean
-env.Clean('all', '.prepare-stamp')
-env.Clean('all', libsenf)
-env.Clean('all', env.Dir('linklint')) # env.Dir to disambiguate from linklint PhonyTarget
+env.Clean('all', ('.prepare-stamp', env.Dir('dist')))
+if env.GetOption('clean') : env.Depends('all', ('lcov', 'all_valgrinds'))
 
-if env.GetOption('clean'):
+if env.GetOption('clean') and     'all' in BUILD_TARGETS:
     env.Clean('all', [ os.path.join(path,f)
                        for path, subdirs, files in os.walk('.')
                        for pattern in env['CLEAN_PATTERNS']
                        for f in fnmatch.filter(files,pattern) ])
+    # Disable writing to the deleted .sconsign file
+    import SCons.SConsign
+    SCons.SConsign.write = lambda : None
 
 if not env.GetOption('clean') and not os.path.exists(".prepare-stamp"):
     Execute(Touch(".prepare-stamp"))