<div dir="ltr">Thanks Florian,<div><br></div><div>I'm happy to hear that in principle the transformation is correct. I omitted that the "pattern" is actually obtained after lifting some obfuscated x86_64 assembly to LLVM-IR, so I don't expect this to be commonly found in the code generated by a compiler. In my case limiting it to 2 possible values was fine because I was aware of the trick being implemented by that pair of 'store' and 'load' instructions, but as you pointed out it could be generalized to any amount of unknown bits in the index used by the 'load'. Although I still think limiting this to just a few free bits it's going to cover the majority of the practical cases.</div><div><br></div><div>I noticed that the explanation of the dummy pass I shared in the first email wasn't really good, but I'm basically doing the same exact steps you are explaining in the example, in fact I can even confirm that the amount of checks is really limited (assuming a previous analysis pass provided the known/unknown bits for the index variable) and that the other optimization passes properly take care of the propagation (as shown in the original example).</div><div><br></div><div>In my case instead of undoing the transformation I'm preemptively checking if there's at least a 'store' to one of the indexed memory slots, so in the worst case we end up with a propagated value and a single 'load'. The scalability issue here is caused by the checks on the presence of the previous 'store' instruction, especially because I don't know how to do it in case the values are more than 2. Specifically I don't know how to quickly link the indexes used by the 'store' and 'load' instruction starting from the single knowledge of the index used by the 'load' instruction.</div><div><br></div><div>Assuming there's no solid way to track the amount of 'store' instructions that would guarantee the optimization: how would it be possible to obtain the undoing of the transformation without entering an infinite loop (of transformation back and forth) or ending up with worse code?</div><div><br></div><div>Regarding the DeadStoreElimination pass I'll look into its implementation, but my question was more related to knowing if there are best practices or some tricks that could be used to implement it in a safe way (e.g. instead of generating the indexes values from the unknown bits, using an available pass that already computes them). By no means my code (<a href="https://pastebin.com/fCVs8Gms">https://pastebin.com/fCVs8Gms</a>) would be good enough to be integrated in an official LLVM pass, hence why I referred to it as a 'custom' pass :)</div><div><br></div><div>Cheers,</div><div>Matteo</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno ven 19 giu 2020 alle ore 11:16 Florian Hahn <<a href="mailto:florian_hahn@apple.com">florian_hahn@apple.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Hi,<br><div><br><blockquote type="cite"><div>On Jun 19, 2020, at 01:28, Matteo Favaro via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>> wrote:</div><br><div><div dir="ltr">Hello everyone,<div><br></div><div>This week I was looking into the following example (<a href="https://godbolt.org/z/uhgQcq" target="_blank">https://godbolt.org/z/uhgQcq</a>) where two constants are written to a local array and an input argument, masked and shifted, is used to select between them. The possible values for the CC variable are 0 and 1, so I'm expecting that at the maximum level of optimizations the two constants are actually propagated, resulting in the return value being a 'select' controlled by CC and returning either one or the other.</div><div><br></div><div>Although, I quickly realized that the implementation in the function 'src' was not going to be optimized any further, resulting in the generation of two 'store' instructions and one 'load' instruction, apparently hindering the constant propagation pass.</div><div><br></div><div>I then decided to explicitly access the local buffer with constant indexes and see if LLVM would have been able to identify that CC could have been either 0 or 1 (effectively avoiding the 'default' case of the switch and therefore the '0xdeadc0de' constant). As a result the function 'tgt' is optimized in the way I would expect it to be.</div><div><br></div><div>This also seemed to be a good exercise for Alive2, so I fed it with the unoptimized 'src' and the optimized 'tgt' functions to prove their equivalence, obtaining the result 'Transformation seems to be correct'. As a counter-proof I tampered with the logic or modified the constants, obtaining a valid proof of why the transformation wasn't correct (effectively showing that the original 'src' and 'tgt' functions may actually be semantically equivalent).</div><div><br></div><div>To replicate the Alive2 result at <a href="https://alive2.llvm.org/" target="_blank">https://alive2.llvm.org</a>, the following input can be used:</div><div><br></div><div>define i64 @_Z3srcm(i64 %Flags) {<br>entry:<br>  %Memory = alloca [2 x i64], align 16<br>  %and = lshr i64 %Flags, 6<br>  %shr = and i64 %and, 1<br>  %0 = bitcast [2 x i64]* %Memory to i8*<br>  %arrayidx = getelementptr inbounds [2 x i64], [2 x i64]* %Memory, i64 0, i64 0<br>  store i64 5369966919, i64* %arrayidx, align 16<br>  %arrayidx1 = getelementptr inbounds [2 x i64], [2 x i64]* %Memory, i64 0, i64 1<br>  store i64 5369966790, i64* %arrayidx1, align 8<br>  %arrayidx2 = getelementptr inbounds [2 x i64], [2 x i64]* %Memory, i64 0, i64 %shr<br>  %1 = load i64, i64* %arrayidx2, align 8<br>  ret i64 %1<br>}<br><br>define i64 @_Z3tgtm(i64 %Flags) {<br>entry:<br>  %0 = and i64 %Flags, 64<br>  %trunc = icmp eq i64 %0, 0<br>  %. = select i1 %trunc, i64 5369966919, i64 5369966790<br>  ret i64 %.<br>}<br></div><div><br></div><div>At this point I decided to replicate the 'tgt' function logic and coded a quick LLVM pass that:</div><div><ol><li>uses the known/unknown computed bits information to identify a non-volatile 'load' instruction that uses an index proved to have only two possible values;</li><li> check if there's at least one 'store' to the accessed buffer using one of the two indexes;</li><li>converts the single 'load' instruction into two 'load' instructions using the concrete indexes;</li><li>generates a 'select' instruction that returns one of the two loaded values, using as condition a check on the index.</li></ol><div>The pass seems to be working fine, but I'm left wondering if LLVM is purposefully avoiding such an optimization, and if so what is the reason to do so (e.g. hard to prove that the optimization is actually going to improve the quality of the code, the logic I'm using is completely off the rails).</div></div><div><br></div></div></div></blockquote><div><br></div><div><div><div>This transform seems fine in principal and I don’t think there is fundamental reason we do not perform this transform currently. The challenge is to do the transform in a correct and scalable way. It would be interesting how often this triggers in practice. Limiting it to indices with 2 possible values might not be very effective in practice.</div><div><br></div></div></div><blockquote type="cite"><div><div dir="ltr"><div>Assuming the logic it's correct and this could be seen as a new custom optimization pass, what would be the suggested way to implement it in a solid and generic fashion?</div></div></div></blockquote></div><div><br></div><div>I would recommend looking into extending DeadStoreElimination [1] to handle the scenario. We already deal with merging stores to overlapping memory locations there (see the code dealing with <span>InstOverlapIntervals) and it might be possible to extend that. Note that the legacy DSE mostly works in a single basic block, but there’s also a version that use MemorySSA and works across multiple basic blocks.</span></div><div><span><br></span></div><div><span>An alternative to implementing the transform directly might be transforming the input into something that other passes already handle naturally instead.</span></div><div><span><br></span></div><div><span>For example, if you turn the single </span> load  '%1 = load i64, i64* %arrayidx2, align 8’ into separate loads for each known index and replace all users with a select on the new loads, DSE will already handle it properly [2]. And that transform should require much less checks. Of course you’d have to make sure to undo the transform, if the loads couldn’t be eliminated.</div><div><br></div><div>Cheers,</div><div>Florian</div><span><br></span><div>[1] <a href="https://github.com/llvm/llvm-project/blob/master/llvm/lib/Transforms/Scalar/DeadStoreElimination.cpp" target="_blank">https://github.com/llvm/llvm-project/blob/master/llvm/lib/Transforms/Scalar/DeadStoreElimination.cpp</a></div><div>[2] <a href="https://godbolt.org/z/U2NUht" target="_blank">https://godbolt.org/z/U2NUht</a></div><div><br></div></div></blockquote></div>