<div dir="ltr">Hi Tom,<div><br></div><div>You hit exactly the questions that are also going through my mind. To add to the two questions:</div><div>- What is the testing strategy for LLVM (ie. who tests for which bugs when)? </div><div>- What do we expect from the people contributing patches?</div><div>- Do we want to also enforce some of these checks/tests on EVERY patch to master or a release branch (ie. enforced pre-merge testing)?</div><div><br></div><div>And the meta question:</div><div>What's the process to create such an agreement?</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Best,<div>Christian</div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 21, 2020 at 8:59 PM Tom Stellard via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
I'm splitting this discussion off of my RFC for release process<br>
changes.<br>
<br>
We currently have no official release qualification criteria.  In<br>
other words, we don't have any blocking tests that need to pass in<br>
order to make a new release.<br>
<br>
We do time-based releases, which is not always compatible with having<br>
quality-based criteria for tagging a final release.  So, I think another<br>
way to look at this issue is to talk about what kinds of CI testing we<br>
have for trunk and if there are any additional kinds of<br>
testing (e.g. compile-time performance) that we want to prioritize.<br>
<br>
So, for the purposes of this discussion, I see 2 main questions:<br>
<br>
1. Should we define some set of blocking tests that need to pass before a release<br>
   can happen?<br>
<br>
2. What gaps do we currently have in our CI testing?<br>
<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div>