<div dir="ltr"><div dir="ltr">On Sat, 5 Dec 2020 at 06:15, Romero, Nichols A. <<a href="mailto:naromero@anl.gov">naromero@anl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US" style="overflow-wrap: break-word;">
<div class="gmail-m_3399645703810137446WordSection1">
<p class="MsoNormal">As I was planning this out in my head, I do think in the first differential we would add the CMake plumbing and a simple opens source program or two (e.g. hand-coded GEMM or something along those lines). SPEC would come in the next batch.<br></p></div></div></blockquote><div><br></div><div>That sounds like a good initial plan. Do you also plan to add more OSS applications, benchmarks and tests right after SPEC?</div><div><br></div><div>The main reason for the test-suite is not benchmark, but end-to-end regression testing on multiple architectures. We can only claim to support languages and targets if we can compile entire applications, run them and get the expected results.</div><div><br></div><div>So having a set of language tests and some real world applications on the test-suite will be required for us to claim Fortran support of any kind.</div><div><br></div><div>Those are also your best friends in making sure all the work you've done on the front-end doesn't regress on any target, from release to release, or during normal development.</div><div><br></div><div>That's why I'm pushing to have those tests and applications as soon as possible. It's for Flang's own benefit.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="gmail-m_3399645703810137446WordSection1"><p class="MsoNormal"></p><p class="MsoNormal"><u></u></p>
<p class="MsoNormal">On a related note, are there any buildbots running the llvm-test-suite or are folks just running llvm-test-suite manually?</p></div></div></blockquote><div><br></div><div>Plenty, on both testing and benchmark modes. It's also part of the release process on all architectures.</div><div><br></div><div>You should add support for both testing and benchmark modes, so that the benchmarks (not SPEC) get regression tested as well as be able to report and compare performance numbers.</div><div><br></div><div>cheers,</div><div>--renato</div></div></div>