Fix CPPDFINES handling in scons
[senf.git] / SConstruct
index d853a52..0bb858a 100644 (file)
@@ -1,7 +1,8 @@
 # -*- python -*-
 
 import sys, os.path, fnmatch
-import SENFSCons, senfutil
+import SENFSCons, senfutil, senfconf
+
 
 ###########################################################################
 # Load utilities and setup libraries and configure build
@@ -17,42 +18,59 @@ senfutil.loadTools(env)
 env.Help("""
 Additional top-level build targets:
 
-prepare        Create all target files not part of the repository
-default        Build all default targets (like calling scons with no arguments)
-examples       Build all examples
-all_tests      Build and run unit tests for all modules
-test_changes   Build tests only for files with local changes (queries svn or git)
-all_docs       Build documentation for all modules
-all            Build everything
-install_all    Install SENF into $$PREFIX
-deb            Build debian source and binary package
-debsrc         Build debian source package
-debbin         Build debian binary package
-linklint       Check links of doxygen documentation with 'linklint'
-fixlinks       Fix broken links in doxygen documentation
-all_valgrinds  Run all tests under valgrind/memcheck
-lcov           Generate test coverage output in doc/lcov and lcov.info
+prepare         Create all target files not part of the repository
+default         Build all default targets (like calling scons with no arguments)
+examples        Build all examples
+all_tests       Build and run unit tests for all modules
+test_changes    Build tests only for files with local changes (queries svn or git)
+all_docs        Build documentation for all modules
+all             Build everything
+install_all     Install SENF into $$PREFIX
+deb             Build debian source and binary package
+debsrc          Build debian source package
+debbin          Build debian binary package
+linklint        Check links of doxygen documentation with 'linklint'
+fixlinks        Fix broken links in doxygen documentation
+all_valgrinds   Run all tests under valgrind/memcheck
+lcov            Generate test coverage output in doc/lcov and lcov.info
 
 You may execute targets on a remote host (if the directory layout is the same)
 by calling
 
     scons <target>@[<user>@]<host>
+
+Some more elaborate unit tests may be enabled by setting appropritate variables 
+in the shell (unix) environment
+
+SENF_TIMING_CRITICAL_TESTS
+                Enables unit tests which depend on timing measurements. These
+                unit tests should only be run on a single core and an otherwise
+                idle system.
+
+SENF_WLAN_TEST_INTERFACE
+                WLAN interface to use for testing. The interface should not be
+                actively in use.
+
+SENF_ETH_TEST_INTERFACE
+                Ethernet interface to use for testing. The interface should not
+                be actively in use.
+
+Some unit tests will only run when executed to 'root'.
 """)
 
 env.Append(
-   ENV                    = { 'PATH' : os.environ.get('PATH'), 
-                              'HOME' : os.environ.get('HOME'),
-                              'SSH_AGENT_PID': os.environ.get('SSH_AGENT_PID'),
-                              'SSH_AUTH_SOCK': os.environ.get('SSH_AUTH_SOCK') },
-   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*' ],
+   IMPORT_ENV             = [ 'PATH', 'HOME', 'SSH_*', 'SENF*', 'CCACHE_*', 'DISTCC_*' ],
+
+   CLEAN_PATTERNS         = [ '*~', '#*#', '*.pyc', 'semantic.cache', '.sconsign*',
+                              '.sconf_temp' ],
 
    BUILDDIR               = '${FLAVOR and "#/build/$FLAVOR" or "#"}',
-   CPPPATH                = [ '$BUILDDIR', '#' ],
+   CPPPATH                = [ '#', '$BUILDDIR',
+                              '${NEED_BOOST_EXT and "#/boost_ext" or None}' ],
    LOCALLIBDIR            = '$BUILDDIR',
    LIBPATH                = [ '$LOCALLIBDIR' ],
-   LIBS                   = [ '$LIBSENF$LIBADDSUFFIX', '$EXTRA_LIBS' ],
-   EXTRA_LIBS             = [ 'rt', '$BOOSTREGEXLIB', '$BOOSTIOSTREAMSLIB', '$BOOSTSIGNALSLIB', 
-                              '$BOOSTFSLIB' ], 
+   LIBS                   = [ '$EXTRA_LIBS' ],
+   EXTRA_LIBS             = [ 'rt' ],
    TEST_EXTRA_LIBS        = [  ],
    VALGRINDARGS           = [ '--num-callers=50' ],
 
@@ -77,16 +95,16 @@ env.Append(
    INLINE_OPTS_NORMAL     = [ '-finline-limit=5000' ],
    INLINE_OPTS            = [ '$INLINE_OPTS_NORMAL' ],
    CXXFLAGS               = [ '-Wall', '-Woverloaded-virtual', '-Wno-long-long', '$INLINE_OPTS',
-                              '$CXXFLAGS_' ],
+                              '-pipe', '$CXXFLAGS_', '-fno-strict-aliasing' ],
    CXXFLAGS_              = senfutil.BuildTypeOptions('CXXFLAGS'),
    CXXFLAGS_final         = [ '-O3' ],
-   CXXFLAGS_normal        = [ '-O0', '-g' ],
-   CXXFLAGS_debug         = [ '$CXXFLAGS_normal' ],
+   CXXFLAGS_normal        = [ '-O2', '-g' ],
+   CXXFLAGS_debug         = [ '-O0', '-g' ],
 
    CPPDEFINES             = [ '$expandLogOption', '$CPPDEFINES_' ],
    expandLogOption        = senfutil.expandLogOption,
    CPPDEFINES_            = senfutil.BuildTypeOptions('CPPDEFINES'),
-   CPPDEFINES_final       = [ ],
+   CPPDEFINES_final       = [ 'SENF_PPI_NOTRACE'],
    CPPDEFINES_normal      = [ 'SENF_DEBUG' ],
    CPPDEFINES_debug       = [ '$CPPDEFINES_normal' ],
 
@@ -101,8 +119,10 @@ env.SetDefault(
     LIBSENF           = "senf",
     LCOV              = "lcov",
     GENHTML           = "genhtml",
+    VALGRIND          = "valgrind",
     SCONSBIN          = env.File("#/tools/scons"),
-    SCONSARGS          = [ '-Q', '-j$CONCURRENCY_LEVEL', 'debug=$debug', 'final=$final' ],
+    SCONSARGS         = [ '-Q', '-j$CONCURRENCY_LEVEL', 'debug=$debug', 'final=$final' ] + \
+        [ '%s=%s' % (k,v) for k,v in ARGUMENTS.iteritems() ],
     SCONS             = "@$SCONSBIN $SCONSARGS",
     CONCURRENCY_LEVEL = env.GetOption('num_jobs') or 1,
     TOPDIR            = env.Dir('#').abspath,
@@ -111,6 +131,10 @@ env.SetDefault(
     FLAVOR            = '',
 )
 
+env.Replace(
+    _defines          = senfutil.expandDefines
+)
+
 # Set variables from command line
 senfutil.parseArguments(
     env,
@@ -120,6 +144,12 @@ senfutil.parseArguments(
     BoolVariable('sparse_tests', 'Link tests against object files and not the senf lib', False)
 )
 
+# Add UNIX env vars matching IMPORT_ENV patterns into the execution environment
+env.Append( ENV = dict(( (k,v) 
+                         for pattern in env['IMPORT_ENV']
+                         for k,v in os.environ.iteritems()
+                         if fnmatch.fnmatchcase(k,pattern) )) )
+
 if 'test_changes' in COMMAND_LINE_TARGETS and not env.has_key('only_tests'):
     import SparseTestHack
     env['only_tests'] = " ".join(x.abspath for x in SparseTestHack.findSCMChanges(env))
@@ -127,6 +157,42 @@ if 'test_changes' in COMMAND_LINE_TARGETS and not env.has_key('only_tests'):
 if env.has_key('only_tests') : env['sparse_tests'] = True
 Export('env')
 
+###########################################################################
+# Configure
+
+@senfconf.Test
+def CheckValgrind(context):
+    context.Message( "Checking for valgrind... " )
+    ret = context.TryAction(['$VALGRIND --version >$TARGET'])
+    context.Result( ret[1].strip() or False )
+    return ret[0]
+
+@senfconf.Test
+def CheckValgrindWildcards(context):
+    context.Message( "Checking whether valgrind supports '...' wildcards in suppressions... " )
+    ret = context.TryAction(['$VALGRIND --suppressions=$SOURCE /bin/true'],
+                            "{\n test_suppression\n Memcheck:Addr4\n ...\n fun:foo\n}\n",
+                            ".sup")
+    context.Result( ret[0] )
+    return ret[0]
+
+# Default configuration (boost stuff)
+senfutil.Configure(env)
+
+conf = env.Configure(clean=False, help=False, custom_tests = senfconf.Tests())
+env.Replace(
+    HAVE_VALGRIND  = conf.CheckValgrind() and conf.CheckValgrindWildcards()
+)
+conf.Finish()
+
+# Only add this here, after all configure checks have run
+
+env.Append(LIBS = '$LIBSENF$LIBADDSUFFIX',
+           EXTRA_LIBS = [ '$BOOSTREGEXLIB', '$BOOSTIOSTREAMSLIB', '$BOOSTSIGNALSLIB', 
+                          '$BOOSTFSLIB' ])
+
+###########################################################################
+
 # Create Doxyfile.local otherwise doxygen will barf on this non-existent file
 # Create it even when cleaning, to silence the doxygen builder warnings
 if not os.path.exists("doclib/Doxyfile.local"):
@@ -162,10 +228,12 @@ if env['sparse_tests']:
 #### install_all, default, all_tests, all
 env.Install('${SCONSINSTALLDIR}', [ 'site_scons/__init__.py',
                                     'site_scons/senfutil.py',
+                                    'site_scons/senfconf.py',
                                     'site_scons/yaptu.py' ])
 env.InstallDir('${SCONSINSTALLDIR}', [ 'site_scons/site_tools', 'site_scons/lib' ],
                FILTER_SUFFIXES=[ '','.css','.pl','.py','.sh','.sty','.xml','.xsl','.yap' ])
-env.Install('${INCLUDEINSTALLDIR}', 'boost')
+env.Install('${INCLUDEINSTALLDIR}', 'boost_ext')
+env.Install('${INCLUDEINSTALLDIR}/senf', 'senf/boost_intrusive')
 
 env.Alias('install_all', env.FindInstalledFiles())
 env.Alias('default', DEFAULT_TARGETS)
@@ -177,18 +245,20 @@ env.Alias('all', [ 'default', 'all_tests', 'examples', 'all_docs' ])
 env.PhonyTarget('prepare', [], [])
 
 #### valgrind
-for test in env.FindAllBoostUnitTests():
-    stamp = env.Command(test[0].dir.File('.test-valgrind.stamp'), 
-                        [ test[0].dir.File('.test.bin'), 'tools/valgrind.sup' ],
-                        [ """valgrind --tool=memcheck 
-                                      --error-exitcode=99 
-                                      --suppressions=${SOURCES[1]}
-                                      $VALGRINDARGS
-                                          ${SOURCES[0]} $BOOSTTESTARGS;
-                             [ $$? -ne 99 ] || exit 1""".replace("\n"," "),
-                          Touch("$TARGET") ])
-    alias = env.Command(test[0].dir.File('valgrind'), stamp, [ env.NopAction() ])
-    env.Alias('all_valgrinds', alias)
+env.Alias('all_valgrinds')
+if env['HAVE_VALGRIND']:
+    for test in env.FindAllBoostUnitTests():
+        stamp = env.Command(test[0].dir.File('.test-valgrind.stamp'), 
+                            [ test[0].dir.File('.test.bin'), 'tools/valgrind.sup' ],
+                            [ """$VALGRIND --tool=memcheck 
+                                          --error-exitcode=1
+                                          --suppressions=${SOURCES[1]}
+                                          $VALGRINDARGS
+                                              ${SOURCES[0]} --result_code=no $BOOSTTESTARGS
+                              """.replace("\n"," "),
+                              Touch("$TARGET") ])
+        alias = env.Command(test[0].dir.File('valgrind'), stamp, [ env.NopAction() ])
+        env.Alias('all_valgrinds', alias)
 
 ### lcov
 env.PhonyTarget('lcov', [], [