<div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Fri, Jun 8, 2018 at 10:10 AM Leonard Mosescu <<a href="mailto:mosescu@google.com">mosescu@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I agree, checked in binaries are not always pretty. But some coverage depends checked in binaries (or at very least is dramatically harder to get the same thing from source)</div><div><br></div><div>Are we saying that sacrificing coverage to keep tests smaller should be the default trade off?</div></div></blockquote><div><br></div><div>It's probably worth evaluating on a case by case basis.  Often time there are ways to use lower level LLVM tools like llvm-mc, yaml2obj, etc so that we can construct binaries on the fly which are reproducible.  In these cases we should check in the "meta-inputs" that allow us to reproducibly construct the test inputs on the fly.</div><div><br></div><div>One can easily imagine the repository growing to many tens of gigabytes just due to test inputs, which is not really scalable.</div></div></div>