<div dir="ltr">So what's your take on this particular case? As far as I can see (please correct me if I'm wrong), the LIT-only tests:<div><br></div><div>1. Don't cover the case where a function is split into disjoint regions, right?</div><div>2. Also don't cover the cross-targeting case (ex. the native PDB reader hosted on Linux)</div><div>3. A bug in LLD might inadvertently make the tests pass w/o testing what they are supposed to </div><div>   (let's say that it incorrectly ingores the hardcoded order and lays everything contiguously)</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jun 8, 2018 at 10:14 AM, Zachary Turner <span dir="ltr"><<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><span class=""><div dir="ltr">On Fri, Jun 8, 2018 at 10:10 AM Leonard Mosescu <<a href="mailto:mosescu@google.com" target="_blank">mosescu@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I agree, checked in binaries are not always pretty. But some coverage depends checked in binaries (or at very least is dramatically harder to get the same thing from source)</div><div><br></div><div>Are we saying that sacrificing coverage to keep tests smaller should be the default trade off?</div></div></blockquote><div><br></div></span><div>It's probably worth evaluating on a case by case basis.  Often time there are ways to use lower level LLVM tools like llvm-mc, yaml2obj, etc so that we can construct binaries on the fly which are reproducible.  In these cases we should check in the "meta-inputs" that allow us to reproducibly construct the test inputs on the fly.</div><div><br></div><div>One can easily imagine the repository growing to many tens of gigabytes just due to test inputs, which is not really scalable.</div></div></div>
</blockquote></div><br></div>