
<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Sep 28, 2016, at 9:39 AM, Chris Bieneman via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org" class="">llvm-dev@lists.llvm.org</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><meta http-equiv="Content-Type" content="text/html charset=utf-8" class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Hello LLVM-Dev,<div class=""><br class=""></div><div class="">The other day as I was digging through lldb’s test suite I noticed they support something kinda neat. In their python test harness, the attribute they use to denote expected failures supports a parameter for specifying the bug number. This got me thinking.</div><div class=""><br class=""></div><div class="">I believe that any test that is marked XFAIL is a bug, and we can use LIT to enforce that. So I wrote a patch (<a href="https://reviews.llvm.org/D25035" class="">https://reviews.llvm.org/D25035</a>) to add a feature to LIT which would support mapping XFAILs to PRs, and a flag to turn XFAILS without PRs into failures.</div><div class=""><br class=""></div><div class="">My proposal is to add this feature to LIT (after proper code review, and I still need to write tests for it), and then to annotate all our XFAILS with PRs. Once all the PRs are annotated I think we should enable this behavior by default and require PRs tracking all XFAILs.</div><div class=""><br class=""></div><div class="">Thoughts?</div></div></div></blockquote></div><br class=""><div class="">I think that’s a great idea!</div><div class=""><br class=""></div><div class="">I wonder if there won’t be annoying cases that won’t fit well though, and a fake PR may be inserted just to please the system.</div><div class="">Have you survey the existing XFAIL test to see if it would be the case? (I can’t imagine why but…)</div><div class=""><br class=""></div><div class="">Thanks,</div><div class=""><br class=""></div><div class="">— </div><div class="">Mehdi</div><div class=""><br class=""></div></body></html>