<div dir="ltr">Sounds good. Thanks for the suggestion!</div><br><div class="gmail_quote"><div dir="ltr">On Wed, Jul 11, 2018 at 3:45 PM Sam McCall <<a href="mailto:sammccall@google.com">sammccall@google.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr">On Wed, Jul 11, 2018, 15:18 Eric Liu via Phabricator <<a href="mailto:reviews@reviews.llvm.org" target="_blank">reviews@reviews.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">ioeric added a comment.<br>
<br>
In <a href="https://reviews.llvm.org/D49175#1158562" rel="noreferrer noreferrer" target="_blank">https://reviews.llvm.org/D49175#1158562</a>, @sammccall wrote:<br>
<br>
> I like this idea, of course hard to know how it will affect all practical cases.<br>
><br>
> Is it easy to get have internal stats on how many wins/losses this has?<br>
<br>
<br>
This would fix bad completion results when sema could recover to the normal mode (e.g. completion in macros like EXPECT_THAT, expressions in if statements). From the code completion metrics I collected from existing code, the number of completions where no result was found dropped by 30%. The loss seems to be we will get no result in recovery mode rather than bad results (e.g. in excluded preprocessor branches).<br></blockquote></div></div></div><div dir="auto"><div dir="auto">Thanks! I have no doubt this is positive overall, so just thinking out loud here.</div><div dir="auto"><br></div><div dir="auto">For changes like this, we can show that quantitavely by running before/after completions at the same sites, and reporting e.g.</div><div dir="auto">Percent of all sites that are better vs worse vs neutral (in terms of rank of desired result)</div><div dir="auto">Change in MRR: mean/std deviation</div><div dir="auto"><br></div><div dir="auto">For our internal quality evaluation tools, we could think about how to make it easy to get these numbers for a candidate change.</div><div dir="auto">Having the raw results as before/after pairs is great for investigating wins/losses too.</div></div><div dir="auto"><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
Repository:<br>
  rCTE Clang Tools Extra<br>
<br>
<a href="https://reviews.llvm.org/D49175" rel="noreferrer noreferrer" target="_blank">https://reviews.llvm.org/D49175</a><br>
<br>
<br>
<br>
</blockquote></div></div></div></blockquote></div>