<div dir="ltr">This is great, I've been thinking about implementing the exact same thing myself.<div><br></div><div>Is it possible to remove the need to call self.build()?  It seems like the the wrapped_run function could do it before invoking the actual test method.  This way a large majority of tests could be made simpler.</div><div><br></div><div>If you want to customize the build process, you could use a decorator like:</div><div><br></div><div>@build_properties(build=False)</div><div><br></div><div>or</div><div><br></div><div>@build_properties(build=True, clean=False)</div><div><br></div><div>or</div><div><br></div><div>@build_properties(dictionary={foo})</div><div><br></div><div>If no @build_properties decorator is present, it just calls self.build() before invoking the test.</div><div><br></div><div>Thoughts?</div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Sep 21, 2015 at 1:46 PM Tamas Berghammer <<a href="mailto:tberghammer@google.com">tberghammer@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">tberghammer added a comment.<br>
<br>
I decided to make it an opt-out feature as most of the test case will use some debug info and this way you don't have to specify it explicitly (mutating a test what don't have any debug info only have performance hit because it will run the same test multiple times).<br>
<br>
About mutating, my current plan is to mutate every test isn't marked as no_debug_info_test and mark the test with dwarf_test / dsym_test / dwo_test annotations. The purpose of these annotation would be to enable the debug info based test filtering (e.g. the already existing "-N dwarf" option) and it should also test if the current system (compiler, OS) supports the given debug info format and skip the test if necessary (the dsym_test annotation already skip the test on non-darwin systems).<br>
<br>
Other option is to generate the mutated tests only on platforms where they are supported. It have the advantage of removing a huge number of skipped tests and reducing the noise with it, but it also makes it more difficult to compare platforms (and possibly mask away some basic coding errors). I don't have a strong opinion about the two options so if somebody have preferences then let me know.<br>
<br>
<br>
<a href="http://reviews.llvm.org/D13028" rel="noreferrer" target="_blank">http://reviews.llvm.org/D13028</a><br>
<br>
<br>
<br>
</blockquote></div>