<div dir="ltr"><div>It's not possible to XFAIL individual RUN lines any more than it is possible to mark individual lines with the UNSUPPORTED keyword (though in the latter case you could always just comment it out somehow, e.g. using the COM: directive). To do that with the current test infrastructure, you'd need to split the test into multiple files, I believe.<br></div><div><br></div><div>You could use the `not` command to invert the expected result, but that would cause the test to PASS rather than XFAIL, which as I understand it, isn't what you want.</div><div><br></div><div>One option to extend lit might be to add some kind of `--keep-going` command which causes a test to fully execute even if a line in it failed. That would allow you to use the global XFAIL, but still get the testing of the subtargets (although you'd still have to display and trawl the failing test output to see what exactly failed).<br></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 23 Sept 2021 at 19:22, Stephen Neuendorffer via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I've wanted something similar, but for REQUIRES: lines, so that each RUN line could have a different set of required features in order to execute.<div><br></div><div>Steve</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Sep 23, 2021 at 8:42 AM David Greene via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">We have a number of tests where we want to run the same code through<br>
different subtargets:<br>
<br>
# RUN: llc -mcpu=<subtarget1> ...<br>
# RUN: llc -mcpu=<subtarget2> ...<br>
<br>
Not all subtargets are expected to pass, but some will pass.  We'd like<br>
to know which tests are passing for which subtargets.  We don't want to<br>
XFAIL the whole test (because it would stop testing of working<br>
subtargets) but we do what to know which subtargets need work.<br>
<br>
Is it possible to somehow XFAIL an individual RUN line?  The<br>
documentation seems to imply it's all-or-nothing.<br>
<br>
Alternatively, is it possible to get a test summary that shows PASS/FAIL<br>
for individual RUN lines rather than for the test as a whole?<br>
<br>
If neither of these is possible, would patches to implement them be<br>
welcome?<br>
<br>
Thanks for your help!<br>
<br>
                 -David<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div>