<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Op di 3 sep. 2019 om 18:36 schreef Finkel, Hal J. via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 9/3/19 7:19 AM, Sam Elliott wrote:<br>
> There are 1500 tests total, and about 100 on the platform-agnostic blacklist. Alex and I do not think this is an onerous burden for maintenance, either as an external test suite or if the test suite is imported.<br>
><br>
> In the long term, if we import the tests, we know we will have to do updates when the Embecosm work lands, and beyond that updates can be more sporadic. It’s not clear to me how much harder these updates will be than if the test suite remains external.<br>
><br>
> We would welcome more views as to whether this suite should be imported or should be an external test suite.<br>
<br>
<br>
I lean toward importing - I suspect we'll get better coverage on <br>
buildbots, and just in general more people will end up using the tests, <br>
than if it is external. I'm also curious what other people think.<br>
<br>
  -Hal<br></blockquote><div><br></div><div>I also thought that importing the tests will result in them being run far more regularly.</div><div>I wonder in how far regressions happen in these tests after a backend has been brought up with it. I.e. once all these tests are made to pass, do they later still capture regressions from time to time, or do they pretty much always keep on passing after?</div><div>If they do catch regressions later on, the value of running them more frequently (e.g. on buildbots) goes up quite a bit.</div><div><br></div><div>Maybe the only reason I could think of to not import them is if they would take a long time to run - making buildbots slower. Is there any data on how long it takes to run these tests?</div><div><br></div><div>Thanks,</div><div><br></div><div>Kristof</div></div></div>