<div dir="ltr"><div dir="ltr">On Wed, 25 Nov 2020 at 16:08, Johannes Doerfert <<a href="mailto:johannesdoerfert@gmail.com">johannesdoerfert@gmail.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">FWIW, adding any Fortran benchmark will only make sense while adding<br>
also test suite capabilities. So the first step is compiling Fortran<br>
via the test suite, but the first real tests/benchmarks were supposed<br>
to be the SPEC ones because they are the easiest to add, it literally<br>
just takes a modification of the existing CMAke file (I hope ;) ).<br></blockquote><div><br></div><div>Not everyone can run SPEC, regardless of how easy it is to integrate it with the test-suite.</div><div><br></div><div>If you only add infrastructure to build Fortran programs inside SPEC, then your change would be biased towards an external benchmark that is private to some companies.</div><div><br></div><div>To make sure that the infrastructure you create for building Fortran programs across all areas of the test-suite, you need to "show your work" to the upstream community first by making it work for everyone.</div><div><br></div><div>Public build-bots will start building those tests and benchmarks (remember, it's not just benchmarks in there), and you'll need some time to adjust strategy until it all works across the board.</div><div><br></div><div>Then adding your side would be a straightforward step. But adding it as a first thing, could mean other parts will take a lot longer to come, or to be broken upstream and disabled, or never to come.</div><div><br></div><div>We had a similar situation in the test-suite for a long time regarding cross-builds. There was some qemu support for a while that in the end only worked in a convoluted way for some downstream project. </div><div><br></div><div>We don't want that to be the case for Fortran. If Fortran is truly upstream, then its benchmarks and (at the very least) tests need to be upstream as well. SPEC is "in addition" to that, because it's private.</div><div><br></div><div>If you want support from the community, you have to give something that is beneficial to the community, however important your part is to your project.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Including some micro benchmarks with the Fortran plumbing is probably<br>
a good idea to make sure "it works". Then we'll work on adding benchmarks<br>
as described.</blockquote><div><br></div><div>I fear "it works" will just end up "it works for SPEC and a few dummy examples", which will bitrot like other examples in the past. </div><div><br></div><div>cheers,</div><div>--renato</div></div></div>