
<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">What about having an environment variable FILECHECKER_VERBOSE=1?<div class="">This would not require substitutions, and could be even set automatically by “lit” when launched with “-v”.</div><div class="">At least to me that would make debugging tests much easier.</div><div class=""><div><blockquote type="cite" class=""><div class="">On Jul 7, 2017, at 3:05 PM, Daniel Dunbar <<a href="mailto:daniel_dunbar@apple.com" class="">daniel_dunbar@apple.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><meta http-equiv="Content-Type" content="text/html charset=us-ascii" class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div class=""><blockquote type="cite" class=""><div class="">On Jul 7, 2017, at 2:19 PM, Reid Kleckner <<a href="mailto:rnk@google.com" class="">rnk@google.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><div class="gmail_extra"><div class="gmail_quote">On Fri, Jul 7, 2017 at 1:20 PM, George Karpenkov via llvm-dev <span dir="ltr" class=""><<a href="mailto:llvm-dev@lists.llvm.org" target="_blank" class="">llvm-dev@lists.llvm.org</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Thus, I propose modifying FileCheck default behavior to dump all swallowed output on stderr when the test has failed.<br class="">

Would there be any objections to such a change?<br class=""></blockquote><div class=""><br class=""></div><div class="">Yes.</div><div class=""> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

I understand the concern that log files might become unnecessarily large, but since it would only be done for failed<br class="">

test I think the added readability would be worth it.<br class=""></blockquote><div class=""><br class=""></div><div class="">I disagree, it would be too much output. During development, it's pretty common to cause tens of tests to fail. I don't really want 10 entire assembly files dumped into my console during incremental development. Our test output is already long, and I wish it were shorter.</div></div></div></div></div></blockquote><div class=""><br class=""></div>Could this be solved by having lit be intelligent about showing less output when there are large numbers of test failures (w/o other output), and truncating very large outputs?</div><div class=""><br class=""></div><div class="">I do think there are situations where having the output just show up by default locally could prevent needing to rerun a command, which is handy.</div><div class=""><br class=""></div><div class=""><blockquote type="cite" class=""><div class=""><div dir="ltr" class=""><div class="gmail_extra"><div class="gmail_quote"><div class="">I agree that this is a real problem when remote buildbots in different configurations get involved. Locally debugging FileCheck failures is easy, you just copy-paste the command like you said and pipe it to less. It's only a pain when you aren't sure if a failure on a bot will reproduce locally. So, I would be in favor of an option to lit that we enable on buildslaves that dumps the output. We already have a '\bFileCheck\b' substitution in lit. We'd just expand it to 'FileCheck --dump-on-failure' or something on bots.</div></div></div></div>

</div></blockquote></div><br class=""><div class="">This sounds reasonable to me, no matter what on the above question.</div><div class=""><br class=""></div><div class=""> - Daniel</div><div class=""><br class=""></div></div></div></blockquote></div><br class=""></div></body></html>