Replace SENFSCons.InstallIncludeFiles with InstallSubdir builder calls
[senf.git] / senfscons / SENFSCons.py
index 91bac5b..1f302d8 100644 (file)
 import os.path, glob
-import  SCons.Options, SCons.Environment, SCons.Script.SConscript, SCons.Node.FS, SCons.Defaults
-
-SCONS_TOOLS = [
-    "Doxygen",
-    "Dia2Png",
-]
-
-opts = None
-finalizers = []
-
-basedir = os.path.abspath(os.path.split(__file__)[0])
-
-def InitOpts():
-    global opts
-    if opts is not None: return
-    opts = SCons.Options.Options('SConfig')
-    opts.Add('CXX', 'C++ compiler to use', 'g++')
-    opts.Add('EXTRA_DEFINES', 'Additional preprocessor defines', '')
-    opts.Add('EXTRA_LIBS', 'Additional libraries to link against', '')
-    opts.Add(SCons.Options.BoolOption('final','Enable optimization',0))
-
-def Finalizer(f):
-    global finalizers
-    finalizers.append(f)
-
-def UseBoost():
-    global opts
-    InitOpts()
-    opts.Add('BOOST_INCLUDES', 'Boost include directory', '')
-    opts.Add('BOOST_VARIANT', 'The boost variant to use', '')
-    opts.Add('BOOST_TOOLSET', 'The boost toolset to use', '')
-    opts.Add('BOOST_RUNTIME', 'The boost runtime to use', '')
-    opts.Add('BOOST_DEBUG_RUNTIME', 'The boost debug runtime to use', '')
-    opts.Add('BOOST_LIBDIR', 'The directory of the boost libraries', '')
-    Finalizer(FinalizeBoost)
-
-def FinalizeBoost(env):
-    env.Tool('BoostUnitTests', [basedir])
-
-    if env['BOOST_TOOLSET']:
-        runtime = ""
-        if env['final'] : runtime += env.get('BOOST_RUNTIME','')
-        else            : runtime += env.get('BOOST_DEBUG_RUNTIME','gd')
-        if env['STLPORT_LIB'] : runtime += "p"
-        if runtime: runtime = "-" + runtime
-        env['BOOST_VARIANT'] = "-" + env['BOOST_TOOLSET'] + runtime
-
-    env['BOOSTTESTLIB'] = 'libboost_unit_test_framework' + env['BOOST_VARIANT']
-
-    env.Append(LIBPATH = [ '$BOOST_LIBDIR' ],
-               CPPPATH = [ '$BOOST_INCLUDES' ])
-
-def UseSTLPort():
-    global opts
-    InitOpts()
-    opts.Add('STLPORT_INCLUDES', 'STLport include directory', '')
-    opts.Add('STLPORT_LIB', 'Name of the stlport library or empty to not use stlport', '')
-    opts.Add('STLPORT_DEBUGLIB', 'Name of the stlport debug library','')
-    opts.Add('STLPORT_LIBDIR', 'The directory of the stlport libraries','')
-    Finalizer(FinalizeSTLPort)
-
-def FinalizeSTLPort(env):
-    if env['STLPORT_LIB']:
-        if not env['STLPORT_DEBUGLIB']:
-            env['STLPORT_DEBUGLIB'] = env['STLPORT_LIB'] + '_stldebug'
-        env.Append(LIBPATH = [ '$STLPORT_LIBDIR' ],
-                   CPPPATH = [ '$STLPORT_INCLUDES' ])
-        if env['final']:
-            env.Append(LIBS = [ '$STLPORT_LIB' ])
-        else:
-            env.Append(LIBS = [ '$STLPORT_DEBUGLIB' ],
-                       CPPDEFINES = [ '_STLP_DEBUG' ])
-
-def MakeEnvironment():
-    global opts, finalizers
-    InitOpts()
-    env = SCons.Environment.Environment(options=opts)
-    if SCons.Script.SConscript.Arguments.get('final'):
-        env['final'] = 1
-    env.Help(opts.GenerateHelpText(env))
-    #conf = env.Configure()
-    #env = conf.env
-    if os.environ.has_key('SSH_AUTH_SOCK'):
-        env.Append( ENV = { 'SSH_AUTH_SOCK': os.environ['SSH_AUTH_SOCK'] } )
-
-    for finalizer in finalizers:
-        finalizer(env)
-
-    for tool in SCONS_TOOLS:
-        env.Tool(tool, [basedir])
-
-    env.Append(CXXFLAGS = [ '-Wall', '-Woverloaded-virtual', '-Wno-long-long' ],
-               LOCALLIBDIR = [ '#' ],
-               LIBPATH = [ '$LOCALLIBDIR' ])
-
-    if env['final']:
-        env.Append(CXXFLAGS = [ '-O3' ],
-                   CPPDEFINES = [ 'NDEBUG' ])
-    else:
-        env.Append(CXXFLAGS = [ '-O0', '-g', '-fno-inline' ],
-                   LINKFLAGS = [ '-g' ])
-
-    env.Append(CPPDEFINES = [ '$EXTRA_DEFINES' ],
-               LIBS = [ '$EXTRA_LIBS' ])
-
-    #return conf.Finish()
-    return env
-
-def GlobSources(exclude=[]):
+import SCons.Options, SCons.Environment, SCons.Script.SConscript, SCons.Node.FS
+import SCons.Defaults, SCons.Action
+from SCons.Script import *
+
+def GlobSources(env, exclude=[], subdirs=[]):
     testSources = glob.glob("*.test.cc")
     sources = [ x for x in glob.glob("*.cc") if x not in testSources and x not in exclude ]
+    for subdir in subdirs:
+        testSources += glob.glob(os.path.join(subdir,"*.test.cc"))
+        sources += [ x for x in glob.glob(os.path.join(subdir,"*.cc"))
+                     if x not in testSources and x not in exclude ]
     return (sources, testSources)
-    
-def StandardTargets(env):
-    all = env.Alias('all')
-    env.Clean(all, [ '.sconsign', '.sconf_temp', 'config.log' ])
-    env.Depends(all, '.')
-
-def GlobalTargets(env):
-    pass
 
-def LibPath(lib): return '$LOCALLIBDIR/lib%s.a' % lib
+def GlobIncludes(env, exclude=[], subdirs=[]):
+    includes = []
+    for d in [ '.' ] + subdirs:
+        for f in os.listdir(d):
+            ext = '.' + f.split('.',1)[-1]
+            p = os.path.join(d,f)
+            if ext in env['CPP_INCLUDE_EXTENSIONS'] \
+               and ext not in env['CPP_EXCLUDE_EXTENSIONS'] \
+               and p not in exclude:
+                includes.append(p)
+    return includes
+
+def Glob(env, exclude=[], subdirs=[]):
+    return ( GlobSources(env, exclude, subdirs),
+             GlobIncludes(env, exclude, subdirs) )
+
+def LibPath(lib): return '${LOCALLIBDIR}/${LIBPREFIX}%s${LIBADDSUFFIX}${LIBSUFFIX}' % lib
+
+def Test(env, sources, LIBS = [], OBJECTS = []):
+    test = [ env.BoostUnitTests(
+        target = 'test',
+        objects = [],
+        test_sources = sources,
+        LIBS = [ '$LIBSENF$LIBADDSUFFIX' ],
+        OBJECTS = OBJECTS,
+        DEPENDS = [ env.File(LibPath(env['LIBSENF'])) ]) ]
+    compileTestSources = [ src for src in sources
+                           if 'COMPILE_CHECK' in file(src).read() ]
+    if compileTestSources:
+        test.extend(env.CompileCheck(source = compileTestSources))
+    env.Alias('all_tests', test)
+    env.Command(env.File('test'), test, [ 'true' ])
     
-def Objects(env, sources, testSources = None, LIBS = []):
+
+def Objects(env, sources, testSources = None, OBJECTS = []):
     if type(sources) == type(()):
         testSources = sources[1]
         sources = sources[0]
+    if type(sources) is not type([]):
+        sources = [ sources ]
 
     objects = None
     if sources:
-        objects = env.Object(sources)
+        obsources = [ source
+                      for source in sources
+                      if type(source) is type('') and not source.endswith('.o') ]
+        objects = [ source
+                    for source in sources
+                    if type(source) is not type('') or source.endswith('.o') ]
+        if obsources:
+            objects += env.Object(obsources)
 
     if testSources:
-        test = env.BoostUnitTests(
+        test = [ env.BoostUnitTests(
             target = 'test',
-            source = sources,
-            test_source = testSources,
-            LIBS = LIBS,
-            DEPENDS = [ env.File(LibPath(x)) for x in LIBS ])
+            objects = objects,
+            test_sources = testSources,
+            LIBS = [ '$LIBSENF$LIBADDSUFFIX' ],
+            OBJECTS = OBJECTS,
+            DEPENDS = [ env.File(LibPath(env['LIBSENF'])) ]) ]
+        compileTestSources = [ src for src in testSources
+                               if 'COMPILE_CHECK' in file(src).read() ]
+        if compileTestSources:
+            test.extend(env.CompileCheck(source = compileTestSources))
         env.Alias('all_tests', test)
         # Hmm ... here I'd like to use an Alias instead of a file
         # however the alias does not seem to live in the subdirectory
         # which breaks 'scons -u test'
-        env.Alias(env.File('test'), test)
+        env.Command(env.File('test'), test, [ 'true' ])
+        #env.Alias(env.File('test'), test)
 
     return objects
 
+## \brief Build documentation with doxygen
+#
+# \ingroup target
 def Doxygen(env, doxyfile = "Doxyfile", extra_sources = []):
-    # ARGHHH !!! without the [:] we are changing the target list
-    #        ||| WITHIN THE DOXYGEN BUILDER
-    docs = env.Doxygen(doxyfile)[:]
-    xmlnode = None
-    tagnode = None
-    for doc in docs:
-        if isinstance(doc,SCons.Node.FS.Dir): continue
-        if doc.name == 'xml.stamp' : xmlnode = doc
-        if os.path.splitext(doc.name)[1] == '.stamp' : continue # file stamp
-        # otherwise it must be the tag file
-        tagnode = doc
-
-    if tagnode:
-        # Postprocess the tag file to remove the (broken) namespace
-        # references
-        env.AddPostAction(
-            docs,
-            env.Action("xsltproc -o %(target)s.temp %(template)s %(target)s && mv %(target)s.temp %(target)s"
-                       % { 'target': tagnode.abspath,
-                           'template': os.path.join(basedir,"tagmunge.xsl") }))
-
-    if xmlnode:
-        xrefs = []
-        for type in env.get("DOXY_XREF_TYPES",[ "bug", "todo" ]):
-            xref = os.path.join(xmlnode.dir.abspath,type+".xml")
-            xref_pp = env.Command(xref+'i', [ xref, os.path.join(basedir,'xrefxtract.xslt'), xmlnode ],
-                                  [ "test -s $SOURCE && xsltproc -o $TARGET" +
-                                    " --stringparam module $MODULE" + 
-                                    " --stringparam type $TYPE" +
-                                    " ${SOURCES[1]} $SOURCE || touch $TARGET" ],
-                                  MODULE = xmlnode.dir.dir.dir.name,
-                                  TYPE = type)
-            env.SideEffect(xref, xmlnode)
-            env.AddPreAction(docs, "rm -f %s" % (xref,))
-            env.AddPostAction(docs, "test -r %s || touch %s" % (xref,xref))
-            xrefs.extend(xref_pp)
-        docs.extend(xrefs)
-
-    env.Depends(docs,extra_sources)
-    for doc in docs :
-        env.Alias('all_docs', doc)
-        env.Clean('all_docs', doc)
-        env.Clean('all', doc)
-    return docs
-
-def DoxyXRef(env, docs=None,
-             HTML_HEADER = None, HTML_FOOTER = None,
-             TITLE = "Cross-reference of action points"):
-    if docs is None:
-        docs = env.Alias('all_docs')[0].sources
-    xrefs = [ doc for doc in docs if os.path.splitext(doc.name)[1] == ".xmli" ]
-    xref = env.Command("doc/html/xref.xml", xrefs,
-                       [ "echo -e '<?xml version=\"1.0\"?>\\n<xref>' >$TARGET",
-                         "cat $SOURCES >> $TARGET",
-                         "echo '</xref>' >>$TARGET" ])
-
-    # Lastly we create the html file
-    sources = [ xref, "%s/xrefhtml.xslt" % basedir ]
-    if HTML_HEADER : sources.append(HTML_HEADER)
-    if HTML_FOOTER : sources.append(HTML_FOOTER)
-
-    commands = []
-    if HTML_HEADER:
-        commands.append(
-            "sed -e 's/\\$$title/$TITLE/g' -e 's/\\$$projectname/Overview/g' ${SOURCES[2]} > $TARGET")
-    commands.append("xsltproc --stringparam title '$TITLE' ${SOURCES[1]} $SOURCE >> $TARGET")
-    if HTML_FOOTER:
-        commands.append(
-            "sed -e 's/\\$$title/$TITLE/g' -e 's/\\$$projectname/Overview/g' ${SOURCES[%d]} >> $TARGET"
-            % (HTML_HEADER and 3 or 2))
-    
-    xref = env.Command("doc/html/xref.html", sources, commands)
-
-    env.Alias('all_docs',xref)
-    return xref
-
-def Lib(env, library, sources, testSources = None, LIBS = []):
-    objects = Objects(env,sources,testSources,LIBS=LIBS)
-    lib = None
-    if objects:
-        lib = env.Library(env.File(LibPath(library)),objects)
-        env.Default(lib)
-        env.Append(ALLLIBS = library)
-    return lib
-
-def Binary(env, binary, sources, testSources = None, LIBS = []):
-    objects = Objects(env,sources,testSources,LIBS=LIBS)
-    program = None
-    if objects:
-        progEnv = env.Copy()
-        progEnv.Prepend(LIBS = LIBS)
-        program = progEnv.Program(target=binary,source=objects)
-        env.Default(program)
-        env.Depends(program, [ env.File(LibPath(x)) for x in LIBS ])
+    # There is one small problem we need to solve with this builder: The Doxygen builder reads
+    # the Doxyfile and thus depends on the environment variables set by doclib/doxygen.sh. We
+    # thus have to provide all necessary definitions here manually via DOXYENV !
+
+    if type(doxyfile) is type(""):
+        doxyfile = env.File(doxyfile)
+
+    # Module name is derived from the doxyfile path
+    # Utils/Console/Doxyfile -> Utils_Console
+    module = doxyfile.dir.abspath[len(env.Dir('#').abspath)+1:].replace('/','_')
+    if not module : module = "Main"
+
+    # Rule to generate tagfile
+    # (need to exclude the 'clean' case, otherwise we'll have duplicate nodes)
+    if not env.GetOption('clean'):
+        tagfile = env.Doxygen(doxyfile,
+                              DOXYOPTS = [ '--tagfile-name', '"${MODULE}.tag"',
+                                           '--tagfile' ],
+                              DOXYENV  = { 'TOPDIR'          : env.Dir('#').abspath,
+                                           'output_dir'      : 'doc',
+                                           'html_dir'        : 'html',
+                                           'html'            : 'NO',
+                                           'generate_tagfile': 'doc/${MODULE}.tag' },
+                              MODULE   = module )
+        env.Append(ALL_TAGFILES = tagfile[0].abspath)
+        env.Depends(tagfile, env.File('#/doclib/doxygen.sh'))
+
+    # Rule to generate HTML documentation
+    doc = env.Doxygen(doxyfile,
+                      DOXYOPTS = [ '--tagfiles', '"$ALL_TAGFILES"',
+                                   '--tagfile-name', '"${MODULE}.tag"',
+                                   '--html' ],
+                      MODULE   = module,
+                      DOXYENV  = { 'TOPDIR'          : env.Dir('#').abspath,
+                                   'tagfiles'        : '${ALL_TAGFILES}',
+                                   'output_dir'      : 'doc',
+                                   'html_dir'        : 'html',
+                                   'html'            : 'YES' } )
+    env.Depends(doc, env.File('#/doclib/doxygen.sh'))
+
+    # Copy the extra_sources (the images) into the documentation directory
+    # (need to exclude the 'clean' case otherwise there are multiple ways to clean the copies)
+    if not env.GetOption('clean'):
+        if extra_sources:
+            env.Depends(doc,
+                        [ env.CopyToDir( source=source, target=doc[0].dir )
+                          for source in extra_sources ])
+
+    # Install documentation into DOCINSTALLDIR
+    l = len(env.Dir('#').abspath)
+    env.Alias('install_all',
+              env.Command('$DOCINSTALLDIR' + doc[0].dir.abspath[l:], doc[0].dir,
+                          [ SCons.Defaults.Copy('$TARGET','$SOURCE') ]))
+
+    # Useful aliases
+    env.Alias('all_docs', doc)
+    env.Clean('all_docs', doc)
+    env.Clean('all', doc)
+
+    return doc
+
+def Lib(env, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env,sources,testSources,OBJECTS=OBJECTS)
+    env.Append(ALLOBJECTS = objects)
+    return objects
+
+def Object(env, target, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env,sources,testSources,OBJECTS=OBJECTS)
+    ob = env.Command(target+"${OBJADDSUFFIX}${OBJSUFFIX}", objects, "ld -r -o $TARGET $SOURCES")
+    env.Default(ob)
+    env.Alias('default', ob)
+    env.Alias('install_all', env.Install("$OBJINSTALLDIR", ob))
+    return ob
+
+def Binary(env, binary, sources, testSources = None, OBJECTS = []):
+    objects = Objects(env, sources, testSources, OBJECTS=OBJECTS)
+    program = env.Program(target = binary, 
+                          source = objects+OBJECTS,
+                          LIBS   = [ '$LIBSENF$LIBADDSUFFIX' ] + env['LIBS'])
+    env.Default(program)
+    env.Alias('default', program)
+    env.Alias('install_all', env.Install('$BININSTALLDIR', program))
     return program
+
+def AllIncludesHH(env, headers):
+    headers.sort()
+    target = env.File("all_includes.hh")
+    file(target.abspath,"w").write("".join([ '#include "%s"\n' % f
+                                             for f in headers ]))
+    env.Clean('all', target)
+
+def PhonyTarget(env, target, action, sources=[]):
+    env.AlwaysBuild(env.Alias(target, sources, env.Action(action)))