Remove SENFSCons.StandardTargets and SENFSCons.GlobalTargets
[senf.git] / senfscons / SENFSCons.py
index 3460414..767c031 100644 (file)
+## \file
+# \brief SENFSCons package
+
+## \package senfscons.SENFSCons
+# \brief Build helpers and utilities
+#
+# The SENFSCons package contains a number of build helpers and
+# utilities which are used to simplify commmon tasks.
+#
+# The utitlities of this package are grouped into:
+# <dl><dt>\ref use</dt><dd>help using complex environments and
+# configure the construction environmen correspondingly</dd>
+#
+# <dt>\ref target</dt><dd>simplify building common targest and include
+# enhanced functionality like unit-testing.</dd></dl>
+#
+# Additionally for external use are
+# <dl><dt>MakeEnvironment()</dt><dd>Build construction
+# environment</dd>
+#
+# <dt>GlobSources()</dt><dd>Utility to find source files</dd></dl>
+#
+# All other functions are for internal use only.
+
 import os.path, glob
-import  SCons.Options, SCons.Environment, SCons.Script.SConscript, SCons.Node.FS, SCons.Defaults
-
-SCONS_TOOLS = [
-    "Doxygen",
-    "Dia2Png",
-]
-
-opts = None
-finalizers = []
-
-basedir = os.path.split(__file__)[0]
-
-def InitOpts():
-    global opts
-    if opts is not None: return
-    opts = SCons.Options.Options('SConfig')
-    opts.Add('CXX', 'C++ compiler to use', 'g++')
-    opts.Add('EXTRA_DEFINES', 'Additional preprocessor defines', '')
-    opts.Add('EXTRA_LIBS', 'Additional libraries to link against', '')
-    opts.Add(SCons.Options.BoolOption('final','Enable optimization',0))
-
-def Finalizer(f):
-    global finalizers
-    finalizers.append(f)
-
-def UseBoost():
-    global opts
-    InitOpts()
-    opts.Add('BOOST_INCLUDES', 'Boost include directory', '')
-    opts.Add('BOOST_VARIANT', 'The boost variant to use', '')
-    opts.Add('BOOST_TOOLSET', 'The boost toolset to use', '')
-    opts.Add('BOOST_RUNTIME', 'The boost runtime to use', '')
-    opts.Add('BOOST_DEBUG_RUNTIME', 'The boost debug runtime to use', '')
-    opts.Add('BOOST_LIBDIR', 'The directory of the boost libraries', '')
-    Finalizer(FinalizeBoost)
-
-def FinalizeBoost(env):
-    env.Tool('BoostUnitTests', [basedir])
-
-    if env['BOOST_TOOLSET']:
-        runtime = ""
-        if env['final'] : runtime += env.get('BOOST_RUNTIME','')
-        else            : runtime += env.get('BOOST_DEBUG_RUNTIME','gd')
-        if env['STLPORT_LIB'] : runtime += "p"
-        if runtime: runtime = "-" + runtime
-        env['BOOST_VARIANT'] = "-" + env['BOOST_TOOLSET'] + runtime
-
-    env['BOOSTTESTLIB'] = 'libboost_unit_test_framework' + env['BOOST_VARIANT']
-
-    env.Append(LIBPATH = [ '$BOOST_LIBDIR' ],
-               CPPPATH = [ '$BOOST_INCLUDES' ])
-
-def UseSTLPort():
-    global opts
-    InitOpts()
-    opts.Add('STLPORT_INCLUDES', 'STLport include directory', '')
-    opts.Add('STLPORT_LIB', 'Name of the stlport library or empty to not use stlport', '')
-    opts.Add('STLPORT_DEBUGLIB', 'Name of the stlport debug library','')
-    opts.Add('STLPORT_LIBDIR', 'The directory of the stlport libraries','')
-    Finalizer(FinalizeSTLPort)
-
-def FinalizeSTLPort(env):
-    if env['STLPORT_LIB']:
-        if not env['STLPORT_DEBUGLIB']:
-            env['STLPORT_DEBUGLIB'] = env['STLPORT_LIB'] + '_stldebug'
-        env.Append(LIBPATH = [ '$STLPORT_LIBDIR' ],
-                   CPPPATH = [ '$STLPORT_INCLUDES' ])
-        if env['final']:
-            env.Append(LIBS = [ '$STLPORT_LIB' ])
-        else:
-            env.Append(LIBS = [ '$STLPORT_DEBUGLIB' ],
-                       CPPDEFINES = [ '_STLP_DEBUG' ])
-
-def MakeEnvironment():
-    global opts, finalizers
-    InitOpts()
-    env = SCons.Environment.Environment(options=opts)
-    if SCons.Script.SConscript.Arguments.get('final'):
-        env['final'] = 1
-    env.Help(opts.GenerateHelpText(env))
-    #conf = env.Configure()
-    #env = conf.env
-    if os.environ.has_key('SSH_AUTH_SOCK'):
-        env.Append( ENV = { 'SSH_AUTH_SOCK': os.environ['SSH_AUTH_SOCK'] } )
-
-    for finalizer in finalizers:
-        finalizer(env)
-
-    for tool in SCONS_TOOLS:
-        env.Tool(tool, [basedir])
-
-    env.Append(CXXFLAGS = [ '-Wall', '-Woverloaded-virtual', '-Wno-long-long' ],
-               LOCALLIBDIR = [ '#' ],
-               LIBPATH = [ '$LOCALLIBDIR' ])
-
-    if env['final']:
-        env.Append(CXXFLAGS = [ '-O3' ],
-                   CPPDEFINES = [ 'NDEBUG' ])
-    else:
-        env.Append(CXXFLAGS = [ '-O0', '-g', '-fno-inline' ],
-                   LINKFLAGS = [ '-g' ])
-
-    env.Append(CPPDEFINES = [ '$EXTRA_DEFINES' ],
-               LIBS = [ '$EXTRA_LIBS' ])
-
-    #return conf.Finish()
-    return env
-
-def GlobSources(exclude=[]):
+import SCons.Options, SCons.Environment, SCons.Script.SConscript, SCons.Node.FS
+import SCons.Defaults, SCons.Action
+from SCons.Script import *
+
+## \defgroup use Predefined Framework Configurators
+#
+# The following framework configurators are used in the top level \c
+# SConstruct file to simplify more complex configurations.
+#
+# Each of the framework configurators introduces additional
+# configuration parameters to \ref sconfig
+
+## \defgroup target Target Helpers
+#
+# To specify standard targets, the following helpers can be used. They
+# automatically integrate several modules (like documentation,
+# unit-testing etc).
+
+## \defgroup builder Builders
+#
+# The SENFSCons framework includes a series of builders. Each builder
+# is defined in it's own package.
+
+## \brief Find normal and test C++ sources
+#
+# GlobSources() will return a list of all C++ source files (named
+# "*.cc") as well as a list of all unit-test files (named "*.test.cc")
+# in the current directory. The sources will be returned as a tuple of
+# sources, test-sources. The target helpers all accept such a tuple as
+# their source argument.
+def GlobSources(env, exclude=[], subdirs=[]):
     testSources = glob.glob("*.test.cc")
     sources = [ x for x in glob.glob("*.cc") if x not in testSources and x not in exclude ]
+    for subdir in subdirs:
+        testSources += glob.glob(os.path.join(subdir,"*.test.cc"))
+        sources += [ x for x in glob.glob(os.path.join(subdir,"*.cc"))
+                     if x not in testSources and x not in exclude ]
     return (sources, testSources)
-    
-def StandardTargets(env):
-    all = env.Alias('all')
-    env.Clean(all, [ '.sconsign', '.sconf_temp', 'config.log' ])
-    env.Depends(all, '.')
-
-def GlobalTargets(env):
-    pass
 
-def LibPath(lib): return '$LOCALLIBDIR/lib%s.a' % lib
+def GlobIncludes(env, exclude=[], subdirs=[]):
+    includes = []
+    for d in [ '.' ] + subdirs:
+        for f in os.listdir(d):
+            ext = '.' + f.split('.',1)[-1]
+            p = os.path.join(d,f)
+            if ext in env['CPP_INCLUDE_EXTENSIONS'] \
+               and ext not in env['CPP_EXCLUDE_EXTENSIONS'] \
+               and p not in exclude:
+                includes.append(p)
+    return includes
+
+def Glob(env, exclude=[], subdirs=[]):
+    return ( GlobSources(env, exclude, subdirs),
+             GlobIncludes(env, exclude, subdirs) )
+
+## \brief Return path of a built library within $LOCALLIBDIR
+# \internal
+def LibPath(lib): return '${LOCALLIBDIR}/${LIBPREFIX}%s${LIBADDSUFFIX}${LIBSUFFIX}' % lib
+
+## \brief Add explicit test
+#
+# This target helper will add an explicit test. This is like a unit test but is
+# built directly against the completed library
+#
+# \ingroup target
+def Test(env, sources, LIBS = [], OBJECTS = []):
+    test = [ env.BoostUnitTests(
+        target = 'test',
+        objects = [],
+        test_sources = sources,
+        LIBS = [ '$LIBSENF$LIBADDSUFFIX' ],
+        OBJECTS = OBJECTS,
+        DEPENDS = [ env.File(LibPath(env['LIBSENF'])) ]) ]
+    compileTestSources = [ src for src in sources
+                           if 'COMPILE_CHECK' in file(src).read() ]
+    if compileTestSources:
+        test.extend(env.CompileCheck(source = compileTestSources))
+    env.Alias('all_tests', test)
+    env.Command(env.File('test'), test, [ 'true' ])
+    #env.Alias(env.File('test'), test)
     
-def Objects(env, sources, testSources = None, LIBS = []):
+
+## \brief Build object files
+#
+# This target helper will build object files from the given
+# sources.
+#
+# If \a testSources are given, a unit test will be built using the <a
+# href="http://www.boost.org/libs/test/doc/index.html">Boost.Test</a>
+# library. \a LIBS may specify any additional library modules <em>from
+# the same project</em> on which the test depends. Those libraries
+# will be linked into the final test executable. The test will
+# automatically be run if the \c test or \c all_tests targets are
+# given.
+#
+# If \a sources is a 2-tuple as returned by GlobSources(), it will
+# provide both \a sources and \a testSources.
+#
+# \ingroup target
+def Objects(env, sources, testSources = None, OBJECTS = []):
     if type(sources) == type(()):
         testSources = sources[1]
         sources = sources[0]
+    if type(sources) is not type([]):
+        sources = [ sources ]
 
     objects = None
     if sources:
-        objects = env.Object(sources)
+        obsources = [ source
+                      for source in sources
+                      if type(source) is type('') and not source.endswith('.o') ]
+        objects = [ source
+                    for source in sources
+                    if type(source) is not type('') or source.endswith('.o') ]
+        if obsources:
+            objects += env.Object(obsources)
 
     if testSources:
-        test = env.BoostUnitTests(
+        test = [ env.BoostUnitTests(
             target = 'test',
-            source = sources,
-            test_source = testSources,
-            LIBS = LIBS,
-            DEPENDS = [ env.File(LibPath(x)) for x in LIBS ])
+            objects = objects,
+            test_sources = testSources,
+            LIBS = [ '$LIBSENF$LIBADDSUFFIX' ],
+            OBJECTS = OBJECTS,
+            DEPENDS = [ env.File(LibPath(env['LIBSENF'])) ]) ]
+        compileTestSources = [ src for src in testSources
+                               if 'COMPILE_CHECK' in file(src).read() ]
+        if compileTestSources:
+            test.extend(env.CompileCheck(source = compileTestSources))
         env.Alias('all_tests', test)
         # Hmm ... here I'd like to use an Alias instead of a file
         # however the alias does not seem to live in the subdirectory
         # which breaks 'scons -u test'
-        env.Alias(env.File('test'), test)
+        env.Command(env.File('test'), test, [ 'true' ])
+        #env.Alias(env.File('test'), test)
 
     return objects
 
+def InstallIncludeFiles(env, files):
+    # Hrmpf ... why do I need this in 0.97??
+    if env.GetOption('clean'):
+        return
+    target = env.Dir(env['INCLUDEINSTALLDIR'])
+    base = env.Dir('#')
+    for f in files:
+        src = env.File(f)
+        env.Alias('install_all', env.Install(target.Dir(src.dir.get_path(base)), src))
+
+## \brief Build documentation with doxygen
+#
+# \ingroup target
 def Doxygen(env, doxyfile = "Doxyfile", extra_sources = []):
-    docs = env.Doxygen(doxyfile)
-    for doc in docs:
-        if isinstance(doc,SCons.Node.FS.Dir): continue
-        if os.path.basename(str(doc)) == '.stamp' : continue # file stamp
-        # otherwise it must be the tag file
-        break
-    else:
-        doc = None
-    if doc:
-        # Postprocess the tag file to remove the (broken) namespace
-        # references
-        env.AddPostAction(
-            doc,
-            env.Action([ "xsltproc -o TARGET.temp %s TARGET"
-                         % os.path.join(basedir,"tagmunge.xsl"),
-                         "mv TARGET.temp TARGET" ]))
-        env.Clean(doc,"$TARGET.temp")
-    env.Depends(docs,extra_sources)
-    for doc in docs :
-        env.Alias('all_docs', doc)
-        env.Clean('all_docs', doc)
-        env.Clean('all', doc)
-    return docs
-
-def DoxyXRef(env, 
-             TYPES = ('bug','todo'),
-             HTML_HEADER = None, HTML_FOOTER = None,
-             TITLE = "Cross-reference of action points"):
-    # Hmm .. this looks a bit scary :-) ...
-    xrefis = []
-
-    # This iterates over all doc targets. These are all .stamp and .tag files
-    for node in env.Alias('all_docs')[0].sources:
-        # We are only interested in the xml targets. This is Doxyfile dependent :-(
-        if node.abspath.endswith('/xml/.stamp'):
-            # This is the list of xref categories
-            for type in TYPES:
-                # Here we construct the pathname of the xml file for the category
-                xref = os.path.join(node.dir.abspath,type+'.xml')
-                # And now apply the xrefxtract.xslt tempalte to it. However, we must
-                # only call xsltproc if the source xml file is not empty (therefore the
-                # 'test')
-                xrefi = env.Command(xref+'i', [ xref, '%s/xrefxtract.xslt' % basedir, node ],
-                                    [ "test -s $SOURCE && xsltproc -o $TARGET" +
-                                      " --stringparam module $MODULE" + 
-                                      " --stringparam type $TYPE" +
-                                      " ${SOURCES[1]} $SOURCE || touch $TARGET" ],
-                                    MODULE = node.dir.dir.dir.name,
-                                    TYPE = type)
-                # If the xref xml file does not exist we create it here as an empty
-                # file since doxygen will only create it if it is non-empty.
-                if not env.GetOption('clean') and not os.path.exists(xref):
-                    if not os.path.exists(node.dir.abspath):
-                        env.Execute(SCons.Defaults.Mkdir(node.dir.abspath))
-                    env.Execute(SCons.Defaults.Touch(xref))
-                xrefis.append(xrefi)
-
-    # And here we can now simply combine all the xrefi files
-    xref = env.Command("doc/html/xref.xml", xrefis,
-                       [ "echo -e '<?xml version=\"1.0\"?>\\n<xref>' >$TARGET",
-                         "cat $SOURCES >> $TARGET",
-                         "echo '</xref>' >>$TARGET" ])
-
-    # Lastly we create the html file
-    sources = [ xref, "%s/xrefhtml.xslt" % basedir ]
-    if HTML_HEADER : sources.append(HTML_HEADER)
-    if HTML_FOOTER : sources.append(HTML_FOOTER)
-
-    commands = []
-    if HTML_HEADER:
-        commands.append(
-            "sed -e 's/\\$$title/$TITLE/g' -e 's/\\$$projectname/Overview/g' ${SOURCES[2]} > $TARGET")
-    commands.append("xsltproc --stringparam title '$TITLE' ${SOURCES[1]} $SOURCE >> $TARGET")
-    if HTML_FOOTER:
-        commands.append(
-            "sed -e 's/\\$$title/$TITLE/g' -e 's/\\$$projectname/Overview/g' ${SOURCES[%d]} >> $TARGET"
-            % (HTML_HEADER and 3 or 2))
-    
-    xref = env.Command("doc/html/xref.html", sources, commands)
-
-    env.Alias('all_docs',xref)
-    return xref
-
-def Lib(env, library, sources, testSources = None, LIBS = []):
-    objects = Objects(env,sources,testSources,LIBS=LIBS)
-    lib = None
+    # There is one small problem we need to solve with this builder: The Doxygen builder reads
+    # the Doxyfile and thus depends on the environment variables set by doclib/doxygen.sh. We
+    # thus have to provide all necessary definitions here manually via DOXYENV !
+
+    if type(doxyfile) is type(""):
+        doxyfile = env.File(doxyfile)
+
+    # Module name is derived from the doxyfile path
+    # Utils/Console/Doxyfile -> Utils_Console
+    module = doxyfile.dir.abspath[len(env.Dir('#').abspath)+1:].replace('/','_')
+    if not module : module = "Main"
+
+    # Rule to generate tagfile
+    # (need to exclude the 'clean' case, otherwise we'll have duplicate nodes)
+    if not env.GetOption('clean'):
+        tagfile = env.Doxygen(doxyfile,
+                              DOXYOPTS = [ '--tagfile-name', '"${MODULE}.tag"',
+                                           '--tagfile' ],
+                              DOXYENV  = { 'TOPDIR'          : env.Dir('#').abspath,
+                                           'output_dir'      : 'doc',
+                                           'html_dir'        : 'html',
+                                           'html'            : 'NO',
+                                           'generate_tagfile': 'doc/${MODULE}.tag' },
+                              MODULE   = module )
+        env.Append(ALL_TAGFILES = tagfile[0].abspath)
+        env.Depends(tagfile, env.File('#/doclib/doxygen.sh'))
+
+    # Rule to generate HTML documentation
+    doc = env.Doxygen(doxyfile,
+                      DOXYOPTS = [ '--tagfiles', '"$ALL_TAGFILES"',
+                                   '--tagfile-name', '"${MODULE}.tag"',
+                                   '--html' ],
+                      MODULE   = module,
+                      DOXYENV  = { 'TOPDIR'          : env.Dir('#').abspath,
+                                   'tagfiles'        : '${ALL_TAGFILES}',
+                                   'output_dir'      : 'doc',
+                                   'html_dir'        : 'html',
+                                   'html'            : 'YES' } )
+    env.Depends(doc, env.File('#/doclib/doxygen.sh'))
+
+    # Copy the extra_sources (the images) into the documentation directory
+    # (need to exclude the 'clean' case otherwise there are multiple ways to clean the copies)
+    if not env.GetOption('clean'):
+        if extra_sources:
+            env.Depends(doc,
+                        [ env.CopyToDir( source=source, target=doc[0].dir )
+                          for source in extra_sources ])
+
+    # Install documentation into DOCINSTALLDIR
+    l = len(env.Dir('#').abspath)
+    env.Alias('install_all',
+              env.Command('$DOCINSTALLDIR' + doc[0].dir.abspath[l:], doc[0].dir,
+                          [ SCons.Defaults.Copy('$TARGET','$SOURCE') ]))
+
+    # Useful aliases
+    env.Alias('all_docs', doc)
+    env.Clean('all_docs', doc)
+    env.Clean('all', doc)
+
+    return doc
+
+## \brief Build library
+#
+# This target helper will build the given library. The library will be
+# called lib<i>library</i>.a as is customary on UNIX systems. \a
+# sources, \a testSources and \a LIBS are directly forwarded to the
+# Objects build helper.
+#
+# The library is added to the list of default targets.
+#
+#\ingroup target
+def Lib(env, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env,sources,testSources,OBJECTS=OBJECTS)
     if objects:
-        lib = env.Library(env.File(LibPath(library)),objects)
-        env.Default(lib)
-        env.Append(ALLLIBS = library)
-    return lib
+        env.Append(ALLOBJECTS = objects)
+    return objects
 
-def Binary(env, binary, sources, testSources = None, LIBS = []):
-    objects = Objects(env,sources,testSources,LIBS=LIBS)
+## \brief Build Object from multiple sources
+def Object(env, target, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env,sources,testSources,OBJECTS=OBJECTS)
+    ob = None
+    if objects:
+        ob = env.Command(target+"${OBJADDSUFFIX}${OBJSUFFIX}", objects, "ld -r -o $TARGET $SOURCES")
+        env.Default(ob)
+        env.Alias('default', ob)
+        env.Alias('install_all', env.Install("$OBJINSTALLDIR", ob))
+    return ob
+
+## \brief Build executable
+#
+# This target helper will build the given binary.  The \a sources, \a
+# testSources and \a LIBS arguments are forwarded to the Objects
+# builder. The final program will be linked against all the library
+# modules specified in \a LIBS (those are libraries which are built as
+# part of the same proejct). To specify non-module libraries, use the
+# construction environment parameters or the framework helpers.
+#
+# \ingroup target
+def Binary(env, binary, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env,sources,testSources,OBJECTS=OBJECTS)
     program = None
     if objects:
-        progEnv = env.Copy()
-        progEnv.Prepend(LIBS = LIBS)
-        program = progEnv.Program(target=binary,source=objects)
+        progEnv = env.Clone()
+        progEnv.Prepend(LIBS = [ '$LIBSENF$LIBADDSUFFIX' ])
+        program = progEnv.ProgramNoScan(target=binary,source=objects+OBJECTS)
         env.Default(program)
-        env.Depends(program, [ env.File(LibPath(x)) for x in LIBS ])
+        env.Depends(program, [ env.File(LibPath(env['LIBSENF'])) ])
+        env.Alias('default', program)
+        env.Alias('install_all', env.Install('$BININSTALLDIR', program))
     return program
+
+def AllIncludesHH(env, headers):
+    headers.sort()
+    target = env.File("all_includes.hh")
+    file(target.abspath,"w").write("".join([ '#include "%s"\n' % f
+                                             for f in headers ]))
+    env.Clean('all', target)
+
+def PhonyTarget(env, target, action, sources=[]):
+    env.AlwaysBuild(env.Alias(target, sources, env.Action(action)))