<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Feb 3, 2015 at 3:15 AM, Nuno Lopes <span dir="ltr"><<a href="mailto:nuno.lopes@ist.utl.pt" target="_blank">nuno.lopes@ist.utl.pt</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">Hi,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">Thanks David for putting up this proposal together!<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">I like the idea of having poison values behave more like undef (i.e., per bit, with run-time behavior).<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">One of the problems this proposal solves is speculation of 'a && b' into 'a & b'. Currently this is illegal (despite sometimes simplifycfg doing it anyway).<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">It also fixes bugs like <span style="color:rgb(31,73,125)"><a href="http://llvm.org/PR20997" target="_blank">http://llvm.org/PR20997</a><u></u><u></u></span></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">The proposal doesn't say anything about branching on a poison value. I assume this should stay as the current interpretation -- that such branches should be undefined behavior (since we cannot branch to multiple places at the same time -- even if they would compute the same values; that's already too hard for the compiler to analyze).</span></p></div></div></blockquote><div><br></div><div>The RFC intended to make branching on poison values OK.  If branching on poison wasn't OK, then we couldn't go from select to -> br/phi.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">There's another caveat: it *does* seem to fix the problem described by Dan in <span style="color:rgb(31,73,125)"><a href="http://lists.cs.uiuc.edu/pipermail/llvmdev/2011-December/046152.html" target="_blank">http://lists.cs.uiuc.edu/pipermail/llvmdev/2011-December/046152.html</a></span><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">However, it introduces a potential performance penalty: we won't be able to speculate instructions with undefined behavior whose input may be poison.<span style="color:rgb(31,73,125)"><u></u><u></u></span></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">For example, take the following code:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">loop:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">  %add = add nsw %x, %y<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">  %div = udiv %z, %add<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">  … use %div only in the case that %add does not overflow and is non-zero<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">We can move the %add outside of the loop, but we cannot move the division. With the reason being that if %add overflows, then %add is poison and therefore it can take any value (in particular, it can be 0), triggering undef behavior in %div.  Therefore, we cannot freely move %div, unless we can prove that %add will never be 0 nor poison.  This sounds hard for the compiler to do, and I guess we'll have some regressions (e.g., LICM has to be more conservative). Nevertheless, I'm all for fixing poison once and for all!</span></p></div></div></blockquote><div><br></div><div>Believe it or not, I already fixed this bug (PR21412). :)</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">BTW, would it help if I produced a version of Alive that implements the semantics being proposed?  (with no performance guarantees for this prototype).  The cool thing is that then we can run it through our database of 300+ InstCombine optimizations and see which ones would have to be removed/fixed.</span></p></div></div></blockquote><div><br></div><div>I think such a thing would be great.  However, there is a problem that the RFC wasn't aware of when it was written:</div><div><br></div><div>consider:</div><div>%S = select %A, %B, undef</div><div><br></div><div>without us knowing anything about %A or %B, we will replace all uses of %S with %B.  This transform would be considered wrong with the RFC in mind.</div><div><br></div><div>If this transform was valid, there could not be any value or value-like property in LLVM with semantics more powerful than undef.  This makes me think that what LLVM *actually* implements is not poison or something like it.</div><div><br></div><div>On the flip side, we could say that this transform is nonsense but I'd rather not pessimize LLVM like that.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif">Nuno<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><b><span style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span style="font-size:11pt;font-family:Calibri,sans-serif"> David Majnemer<br><b>Sent:</b> 28 January 2015 02:50<br><b>To:</b> <a href="mailto:llvmdev@cs.uiuc.edu" target="_blank">llvmdev@cs.uiuc.edu</a><br><b>Cc:</b> Sanjoy Das; Dan Gohman; John Regehr; Nuno Lopes<br><b>Subject:</b> RFC: Proposal for Poison Semantics<u></u><u></u></span></p><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">Hello,<u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">What follows is my attempt to describe how poison works.  Let me know what you think.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">-- <u></u><u></u></p></div><div><p class="MsoNormal">David<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><div><p class="MsoNormal"># LLVM Poison Semantics<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Poison is an LLVM concept which exists solely to enable further optimization of LLVM IR. The exact behavior of poison has been, to say the least, confusing for users, researchers and engineers working with LLVM.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">This document hopes to clear up some of the confusion of poison and hopefully explain *why* it has its semantics.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">## A Quick Introduction to Poison<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Let's start with a concrete motivating example in C:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">int isSumGreater(int a, int b) {<u></u><u></u></p></div><div><p class="MsoNormal">  return a + b > a;<u></u><u></u></p></div><div><p class="MsoNormal">}<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">The C specification permits us to optimize the comparison in `isSumGreater` to `b > 0` because signed overflow results in undefined behavior.  A reasonable translation of `isSumGreater` to LLVM IR could be:<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">define i32 @isSumGreater(i32 %a, i32 %b) {<u></u><u></u></p></div><div><p class="MsoNormal">entry:<u></u><u></u></p></div><div><p class="MsoNormal">  %add = add i32 %a, %b<u></u><u></u></p></div><div><p class="MsoNormal">  %cmp = icmp sgt i32 %add, %a<u></u><u></u></p></div><div><p class="MsoNormal">  %conv = zext i1 %cmp to i32<u></u><u></u></p></div><div><p class="MsoNormal">  ret i32 %conv<u></u><u></u></p></div><div><p class="MsoNormal">}<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">However, LLVM cannot determine that `%cmp` should not consider cases where `%add` resulted in signed overflow.  We need a way to communicate this information to LLVM.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">This is where the `nsw` and `nuw` flags come into play.  `nsw` is short for "no signed wrap", `nuw` is short for "no unsigned wrap".<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">With these, we can come up with a new formulation of `%add`: `add i32 nsw %a, %b`.<u></u><u></u></p></div><div><p class="MsoNormal">LLVM can take this into account when it is optimizing the `%cmp` and replace it with: `icmp sgt i32 %b, 0`.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">## Differences Between LLVM and C/C++<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">There are some interesting differences between what C++ and C specify and how LLVM behaves with respect to performing an operationg which is not permitted to overflow.  <u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Perhaps chief among them is that evaluating an expression in C++ or C which results performs an overflow is undefined behavior. In LLVM, executing an instruction which is marked `nsw` but which violates signed overflow results in poison. Values which have no relationship with poisoned values are not effected by them.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Let us take the following C program into consideration:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">int calculateImportantResult(int a, int b) {<u></u><u></u></p></div><div><p class="MsoNormal">  int result = 0;<u></u><u></u></p></div><div><p class="MsoNormal">  if (a) {<u></u><u></u></p></div><div><p class="MsoNormal">    result = a + b;<u></u><u></u></p></div><div><p class="MsoNormal">  }<u></u><u></u></p></div><div><p class="MsoNormal">  return result;<u></u><u></u></p></div><div><p class="MsoNormal">}<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">A straightforward lowering to LLVM IR could be:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">define i32 @calculateImportantResult(i32 %a, i32 %b) {<u></u><u></u></p></div><div><p class="MsoNormal">entry:<u></u><u></u></p></div><div><p class="MsoNormal">  %tobool = icmp ne i32 %a, 0<u></u><u></u></p></div><div><p class="MsoNormal">  br i1 %tobool, label %if.then, label %if.end<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">if.then:<u></u><u></u></p></div><div><p class="MsoNormal">  %add = add nsw i32 %a, %b<u></u><u></u></p></div><div><p class="MsoNormal">  br label %if.end<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">if.end:<u></u><u></u></p></div><div><p class="MsoNormal">  %result = phi i32 [ %add, %if.then ], [ 0, %entry ]<u></u><u></u></p></div><div><p class="MsoNormal">  ret i32 %result<u></u><u></u></p></div><div><p class="MsoNormal">}<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Moving `%add` to the `%entry` block would be preferable and would allow further optimizations:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">define i32 @calculateImportantResult(i32 %a, i32 %b) {<u></u><u></u></p></div><div><p class="MsoNormal">entry:<u></u><u></u></p></div><div><p class="MsoNormal">  %tobool = icmp ne i32 %a, 0<u></u><u></u></p></div><div><p class="MsoNormal">  %add = add nsw i32 %a, %b<u></u><u></u></p></div><div><p class="MsoNormal">  %result = select i1 %tobool, i32 0, i32 %add<u></u><u></u></p></div><div><p class="MsoNormal">  ret i32 %result<u></u><u></u></p></div><div><p class="MsoNormal">}<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">In the original code, the calculation of `%add` was control dependent.<u></u><u></u></p></div><div><p class="MsoNormal">Now, `%add` might result in signed overflow in violation of the `nsw` flag.<u></u><u></u></p></div><div><p class="MsoNormal">Despite this, the program should behave as it did before because the poisoned value is masked-out by the select. The next section will dive into this in greater detail.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"># Computation Involving Poison Values<u></u><u></u></p></div><div><p class="MsoNormal">Poison in a computation results in poison if the result cannot be constrained by its non-poison operands.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Examples of this rule which will result in poison:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">  %add = add i32 %x, %always_poison<u></u><u></u></p></div><div><p class="MsoNormal">  %sub = sub i32 %x, %always_poison<u></u><u></u></p></div><div><p class="MsoNormal">  %xor = xor i32 %x, %always_poison<u></u><u></u></p></div><div><p class="MsoNormal">  %mul = mul i32 %always_poison, 1<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Examples of this rule which do not result in poison:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">  %or  = or  i32 %always_poison, 2<u></u><u></u></p></div><div><p class="MsoNormal">  %and = and i32 %always_poison, 2<u></u><u></u></p></div><div><p class="MsoNormal">  %mul = mul i32 %always_poison, 0<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">In fact, it would be reasonable to optimize `%or` to `2` and `%and` to `0`.  In this respect, poison is not different from `undef`.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">The following example is only poison if `%cond` is false:<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal">  %sel = select i1 %cond, i32 2, %always_poison<u></u><u></u></p></div><div><p class="MsoNormal">```<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">### Is it safe to have poison as a `call` argument?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">A `call` instruction may or may not result in poison depending on exactly how the callee  uses the supplied arguments, it is not necessarily the case that `call i32 @someFunction(i32 %always_poison)` results in poison.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">LLVM cannot forbid poison from entering `call` arguments without prohibiting an optimization pass from outlining code.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">### Is it safe to store poison to memory?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">`store i32 %always_poison, i32* %mem` does not result in undefined behavior. A subsequent load instruction like `%load = load i32* %mem` will result in `%load` being a poison value.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">### Is it safe to load or store a poison memory location?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">No.  Poison works just like `undef` in this respect.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">### Does comparing a poison value result in poison?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">It depends.  If the comparison couldn't solely be determined by looking at the other operand, the result is poison.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">For example, `icmp i32 ule %always_poison, 4294967295` is `true`, not poison.<u></u><u></u></p></div><div><p class="MsoNormal">However, `icmp i32 ne %always_poison, 7` is poison.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">### What if the condition operand in a `select` is poison?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">In the example `%sel = select i1 %always_poison, i1 true, false`, `%sel` is either `true` or `false`.  Because, `%sel` depends on `%always_poison` it too is poison.<u></u><u></u></p></div></div></div></div></div></blockquote></div><br></div></div>