<div dir="ltr"><div><span style="color:rgb(33,33,33);font-size:12.8px">I'm looking into the 'test-suite' now. Thanks for all the feedback!</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Dec 15, 2016 at 10:04 AM, Matthias Braun <span dir="ltr"><<a href="mailto:mbraun@apple.com" target="_blank">mbraun@apple.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><br><div><span class=""><blockquote type="cite"><div>On Dec 14, 2016, at 12:48 PM, Dylan McKay via llvm-commits <<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a>> wrote:</div><br class="m_-5914980536163143810Apple-interchange-newline"><div><div dir="ltr">> <span style="font-size:12.8px">This test will fail as soon as anyone builds the AVR back-end without</span><br style="font-size:12.8px"><span style="font-size:12.8px">access to AVR hardware.</span><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">I added a config file that ignored the tests if AVR was not built? On top of that, the tests were only supposed to run if 'AVRLIT_BOARD' and 'AVRLIT_PORT' is set. Clearly it didn't work properly (due to my inexperience with Python)</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">If I were to fix that, it wouldn't stop the tests from breaking if AVR was made non-experimental?</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">> </span><span style="font-size:12.8px">do not add *any* execution tests to the LLVM tree</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Do we have anything formal thing about this? I'd like to have a conversation about it. I agree it isn't something we really do currently, but I believe there is real value in adding these tests in tree.</span></div></div></div></blockquote><div><br></div></span><div>You could frame this as the typical discussion of an end-to-end test versus a unit test. Executing on the target pulls in all sort of dependencies (you probably need a target libc, you need a special executor, what if someone wants to use a simulator rather than a target etc.) While I think nobody denies that end-to-end tests are good to have, they are not suitable for the llvm repository which should have portable and focused tests that are closer to unit tests.</div><div><br></div><div>The end-to-end and execution testing is usually done with the llvm test-suite which features a few hello-world like applications as well scattered accross SingleSource/UnitTest and SingleSource/Regression.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>- Matthias</div><div><br></div></font></span></div></div></blockquote></div><br></div>