<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 22, 2014 at 10:58 PM, Alp Toker <span dir="ltr"><<a href="mailto:alp@nuanti.com" target="_blank">alp@nuanti.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div id=":epp" style="overflow:hidden">Right. I think it's worth keeping these tests similar to the plugin tests here because we're purposefully testing the behaviour of the commandline option and loader itself, whereas opaque commands like %clang or %lli just say "run this thing the way you see fit".<br>

<br>
That means test coverage would ideally try with and without a qualified path, and on Windows with and without an exe suffix given that the Windows loader is perfectly happy to accept both forms.<br>
<br>
I'd like to keep those testing options open because this is perhaps the one part of LLVM that's actually security-sensitive in so far as people will be directly building upon it to sandbox untrusted code on public servers.</div>
</blockquote></div><br>Ironically, it's this kind of use case that motivates my preference the other way.</div><div class="gmail_extra"><br></div><div class="gmail_extra">With an opaque thing, we can substitute *anything* here. We run the lit tests in various different environments and can customize the substitutions accordingly. I'd rather expose the freedom to vary this to lit when doing the substitutions than the test itself because the test author may have no reason to check these kinds of permutations, but someone working on testing LLVM binaries in various different environments can do so by varying lit.</div>
</div>