<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><br class=""><div><br class=""><blockquote type="cite" class=""><div class="">On Apr 4, 2018, at 8:53 AM, Pavel Labath <<a href="mailto:labath@google.com" class="">labath@google.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><br class=""><br class=""><div class="gmail_quote"><div dir="ltr" class="">On Wed, 4 Apr 2018 at 16:47, Zachary Turner <<a href="mailto:zturner@google.com" class="">zturner@google.com</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class=""><br class=""><div class="gmail_quote"><div dir="auto" class="">On Wed, Apr 4, 2018 at 8:11 AM Jonas Devlieghere via Phabricator <<a href="mailto:reviews@reviews.llvm.org" target="_blank" class="">reviews@reviews.llvm.org</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">JDevlieghere added a comment.<br class="">
<br class="">
In <a href="https://reviews.llvm.org/D45215#1056917" rel="noreferrer" target="_blank" class="">https://reviews.llvm.org/D45215#1056917</a>, @zturner wrote:<br class="">
<br class="">
> I haven’t had time to look at this in detail yet, but when I originally had<br class="">
>  this idea I thought we would use lit’s discovery mechanism to find all .py<br class="">
>  files, and then invoke them using dotest.py in single process mode with a<br class="">
>  path to a specific file.<br class="">
<br class="">
<br class="">
Assuming we can work around the problem of not every `.py` file being a test (by filtering the `Test` prefix), would there be a way to differentiate the different test within a single file?<br class="">
</blockquote><div dir="auto" class="">Would we need to?  dotest will just run all the tests in a single file.</div><div dir="auto" class=""><br class=""></div><div dir="auto" class="">I can see how it might be desirable as an end state, but not necessarily as an incremental step.</div></div></div></blockquote><div class=""><br class=""></div><div class="">I think I would be fine with not having test-function level resolution in v1 of the feature *if* there is a reasonable path forward to make that happen in the future.</div></div></div></div></blockquote><div><br class=""></div><div>I forgot about the multiple tests-per-py-file scenario. I think it is important to completely support this in the LIT driver. The whole point of this exercise is to get dotest out of the business of scheduling tests so the end-goal should be to have LIT recognize the individual functions as tests.</div><div><br class=""></div><div>Side-question to Jonas: was your idea to run lit for each variant (dwarf,dwo,dsym,...) or to have dotest spawn multiple versions of each test?</div><br class=""><blockquote type="cite" class=""><div class=""><div dir="ltr" class=""><div class="gmail_quote"><div class=""> The RUN lines proposal seemed to make that hard if not impossible, but with a custom test format it seems plausible to reach that state incrementally.</div></div></div>
</div></blockquote></div><br class=""><div class="">As an intermediate step, we could also have one RUN line per test function, but I see that that is a lot of work to maintain.</div><div class=""><br class=""></div><div class="">-- adrian</div></body></html>