<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Oct 5, 2019 at 6:10 AM Joan Lluch via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><br><div><blockquote type="cite"><div>On 4 Oct 2019, at 18:00, Finkel, Hal J. <<a href="mailto:hfinkel@anl.gov" target="_blank">hfinkel@anl.gov</a>> wrote:</div></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">Why not? It seems like we could pattern match the shifts back into selects/branches?</blockquote><div><br></div><div>I don’t think that reverse pattern matching is the optimal approach in all cases. I have tried and certainly for some simple cases the undesired shifts can be reverted into selects producing better code. However, this does not work well for complex patterns or cases where second transforms have been applied on top of it. </div><div><br></div><div>One typical case is a sequence of ‘selects’ that depend on a single common condition. If one of these selects is combined into non-branching code, then the backend has a very hard work to track back the origin of that common condition. Therefore, for targets that convert all selects into branches, these two selects get almost inevitably converted into either two branching sequences, or one branch sequence followed or preceded by the non-branching code of the other select.</div><div><br></div><div>Scenarios like this are not a problem for pipelined processors with expensive branches and ’select’ like instructions because in this case the effort is put in removing branches by the insertion of speculative code which is usually cheaper. However, for simple processors where branches must be used and are cheap, we often want to do the opposite because the execution of speculative code or particular transforms is comparatively most costly than just branching.</div><div><br></div><div>Going back to the case, if these two selects arrived together to the backend, then they could be identified and folded into a block preceded by a single conditional branch, resulting in faster and shorter code. The latter is the purpose of some function in the CodeGen prepare pass, but this doesn’t fire because the two selects are not there to work with them to begin with. </div><div><br></div><div>Finally, generally speaking, I don’t regard complex reverse pattern matching as an elegant solution, compared with providing the right LLVM hooks for the affected targets, because this is like acknowledging that these targets are inferior, or not worth the effort to improve LLVM code. Also, whatever the way I look at it, I always find that it’s better to solve problems by working on the root causes rather than trying to apply late patches or corrections, which generally make things convoluted and difficult to maintain, not to mention suboptimal.</div></div></div></blockquote><div><br></div><div>While it is true that reverse pattern matching isn't optimal / nice, there is a inherent tradeoff at scale: the middle-end passes are supposed to serve all the targets. For this purpose the "canonical" form of the IR is supposed to be the one-form that the middle-end understands and reason about, and can be lowered towards the form a target prefers (the last part of the middle-end is doing this kind of target specialization on the IR before handing over to the backend).</div><div>If you don't canonicalize because one target prefers another form, you need to teach all the middle-end to properly recognize, understand, and maintain these two equivalent forms of the same program. Ultimately this is also making "things convoluted and difficult to maintain, not to mention suboptimal", not for the target anymore, but for the whole middle-end. The current model allows people working on the middle-end to not have to know about all the targets and their preference.</div><div><br></div><div>Also "preservation of X in the original code" is also at odd with canonicalization: the optimizer is expected to be as efficient in an independent way of how the user wrote their source code. Canonicalization helps by allowing the middle end optimizations to operate on a single form of the program, eliminating equivalent forms when possible.</div><div><br></div><div>I'm not saying it is ideal, but just trying to help by providing more context on the mindset others may look at it, sorry if this was already all obvious to you ;)<br></div><div><br></div><div>In practice if it can be showed that the canonical form of the IR does not make it possible (!= convenient) for a target to generate good code, it is probably worth revisiting the chosen form and either switch it to another one that can suit all targets or add some TTI (but I'm not sure there is a precedent for this though). </div><div><br></div><div>Best,</div><div><br></div><div>-- </div><div>Mehdi</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><div><blockquote type="cite"><div>



<div bgcolor="#FFFFFF"><p><br>
</p>
<div>On 10/4/19 5:46 AM, Joan Lluch via llvm-dev wrote:<br>
</div>
<blockquote type="cite">
<div style="word-wrap:break-word">
Hi all,
<div><br>
</div>
<div>As a continuation of this thread, I was about to fill a bug report requesting the modification of <font size="3"><span style="white-space:pre-wrap">DAGTypeLegalizer::ExpandIntRes_SIGN_EXTEND, in order to avoid the creation
 of Shifts for targets with no native support. For example by generating a ‘select' equivalent to  a<0 ? -1 : 0
</span></font>instead of an arithmetic shift right. For targets with no multiple shifts or word extension instructions, the select is much cheaper.</div>
<div><br>
</div>
<div>However, I found that the early InstCombine pass spoils such optimisation by creating shifts on their own as a transform of (supposedly) equivalent code. </div>
<div><br>
</div>
...
<div>
<div><br>
</div>
<div><span style="background-color:rgb(255,255,255)">I strongly suggest the above gets fixed. HOWEVER, even after the DAG combiner is fixed, the issues will remain due to InstCombine doing essentially the same thing </span><span style="background-color:rgb(255,255,255)">much
 earlier. Consider code like this:</span></div>
<div><span style="background-color:rgb(255,255,255)"><br>
</span></div>
<div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
<span style="color:rgb(186,45,162)">int</span> test0( <span style="color:rgb(186,45,162)">int</span> a )</div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
{</div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
  <span style="color:rgb(186,45,162)">return</span> a<<span style="color:rgb(39,42,216)">0</span> ? -<span style="color:rgb(39,42,216)">1</span> : <span style="color:rgb(39,42,216)">0</span>;</div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
}</div>
</div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:11px;line-height:normal;font-family:Monaco;background-color:rgb(255,255,255)">
<div style="margin:0px;line-height:normal"><span style="color:rgb(186,45,162)">int</span> test1( <span style="color:rgb(186,45,162)">int</span> a )</div>
<div style="margin:0px;line-height:normal">{</div>
<div style="margin:0px;line-height:normal">  <span style="color:rgb(186,45,162)">return</span> a<<span style="color:rgb(39,42,216)">0</span> ?
<span style="color:rgb(39,42,216)">1</span> : <span style="color:rgb(39,42,216)">0</span>;</div>
<div style="margin:0px;line-height:normal">}</div>
<div style="margin:0px;line-height:normal"><br>
</div>
<div style="margin:0px;line-height:normal">
<div style="margin:0px;line-height:normal"><span style="color:rgb(186,45,162)">int</span> test2( <span style="color:rgb(186,45,162)">int</span> a )</div>
<div style="margin:0px;line-height:normal">{</div>
<div style="margin:0px;line-height:normal">  <span style="color:rgb(186,45,162)">return</span> a<<span style="color:rgb(39,42,216)">0</span> ? <font color="#272ad8">2</font> : <span style="color:rgb(39,42,216)">0</span>;</div>
<div style="margin:0px;line-height:normal">}</div>
<div style="margin:0px;line-height:normal"><br>
</div>
<div style="margin:0px;line-height:normal">
<div style="margin:0px;line-height:normal"><span style="color:rgb(186,45,162)">int</span> test3( <span style="color:rgb(186,45,162)">int</span> a )</div>
<div style="margin:0px;line-height:normal">{</div>
<div style="margin:0px;line-height:normal">  <span style="color:rgb(186,45,162)">return</span> a<<span style="color:rgb(39,42,216)">0</span> ?
<font color="#272ad8">3</font> : <span style="color:rgb(39,42,216)">0</span>;</div>
<div style="margin:0px;line-height:normal">}</div>
</div>
</div>
</div>
<div><span style="background-color:rgb(255,255,255)"><br>
</span></div>
<div><span style="background-color:rgb(255,255,255)">In all cases, InstCombine converts the above into Shifts, right into the IR, which the backend can’t do anything about.</span></div>
</div>
</div>
</blockquote><p><br>
</p><p>Why not? It seems like we could pattern match the shifts back into selects/branches?</p><p> -Hal<br>
</p><p><br>
</p>
<blockquote type="cite">
<div style="word-wrap:break-word">
<div>...
<div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<div>
<div><br>
</div>
</div>
</blockquote>
</div>
<div>
<div>
<blockquote type="cite">
<div>
<div style="word-wrap:break-word">
<div>
<div>
<div>
<div>
<blockquote type="cite">
<div></div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
<br>
<fieldset></fieldset>
<pre>_______________________________________________
LLVM Developers mailing list
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a>
</pre>
</blockquote>
<pre cols="72">-- 
Hal Finkel
Lead, Compiler Technology and Programming Languages
Leadership Computing Facility
Argonne National Laboratory</pre>
</div>

</div></blockquote></div><br></div>_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div></div></div></div></div>