Sure, but getting lit to run one file at a time is a nice incremental step towards that and can make both patches easier to review.<br><div class="gmail_quote"><div dir="ltr">On Wed, Apr 4, 2018 at 9:02 AM Adrian Prantl <<a href="mailto:aprantl@apple.com">aprantl@apple.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div><br><blockquote type="cite"><div>On Apr 4, 2018, at 8:53 AM, Pavel Labath <<a href="mailto:labath@google.com" target="_blank">labath@google.com</a>> wrote:</div><br class="m_-4058331753341202737Apple-interchange-newline"><div><div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Wed, 4 Apr 2018 at 16:47, Zachary Turner <<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><br><div class="gmail_quote"><div dir="auto">On Wed, Apr 4, 2018 at 8:11 AM Jonas Devlieghere via Phabricator <<a href="mailto:reviews@reviews.llvm.org" target="_blank">reviews@reviews.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">JDevlieghere added a comment.<br>
<br>
In <a href="https://reviews.llvm.org/D45215#1056917" rel="noreferrer" target="_blank">https://reviews.llvm.org/D45215#1056917</a>, @zturner wrote:<br>
<br>
> I haven’t had time to look at this in detail yet, but when I originally had<br>
>  this idea I thought we would use lit’s discovery mechanism to find all .py<br>
>  files, and then invoke them using dotest.py in single process mode with a<br>
>  path to a specific file.<br>
<br>
<br>
Assuming we can work around the problem of not every `.py` file being a test (by filtering the `Test` prefix), would there be a way to differentiate the different test within a single file?<br>
</blockquote><div dir="auto">Would we need to?  dotest will just run all the tests in a single file.</div><div dir="auto"><br></div><div dir="auto">I can see how it might be desirable as an end state, but not necessarily as an incremental step.</div></div></div></blockquote><div><br></div><div>I think I would be fine with not having test-function level resolution in v1 of the feature *if* there is a reasonable path forward to make that happen in the future.</div></div></div></div></blockquote><div><br></div></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><div>I forgot about the multiple tests-per-py-file scenario. I think it is important to completely support this in the LIT driver. The whole point of this exercise is to get dotest out of the business of scheduling tests so the end-goal should be to have LIT recognize the individual functions as tests.</div><div><br></div><div>Side-question to Jonas: was your idea to run lit for each variant (dwarf,dwo,dsym,...) or to have dotest spawn multiple versions of each test?</div></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><br><blockquote type="cite"><div><div dir="ltr"><div class="gmail_quote"><div> The RUN lines proposal seemed to make that hard if not impossible, but with a custom test format it seems plausible to reach that state incrementally.</div></div></div>
</div></blockquote></div></div><div style="word-wrap:break-word;line-break:after-white-space"><div></div><br><div>As an intermediate step, we could also have one RUN line per test function, but I see that that is a lot of work to maintain.</div></div><div style="word-wrap:break-word;line-break:after-white-space"><div><br></div><div>-- adrian</div></div></blockquote></div>