<div dir="ltr"><div dir="ltr">On Thu, Sep 16, 2021 at 10:02 PM Cranmer, Joshua <<a href="mailto:joshua.cranmer@intel.com" target="_blank">joshua.cranmer@intel.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div>
<p class="MsoNormal">I think you are not adequately summing up the risks of your approach; there are three other issues I see.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">First, redefining `isnan` as a macro is expressly undefined behavior in C (see section 7.1.3, clauses 2 and 3—it’s undefined behavior to define a macro as a same name as reserved identifier in a standard library header). Conditionally redefining
 an `isnan` macro is therefore not a permissible solution.</p></div></div></blockquote><div><br></div><div>Defining things like `isnan` is the job of libc, which often is not a part of the compiler. It does not cause undefined behavior by itself. Redefining macro defined in system headers may be harmful if the new macro is inconsistent with other libc implementation (`errno` comes to mind). So this looks like a kind of legal disclaimer. As with `-ffinite-math-only` the redefinition is used at your own risk. For our task to remove the call of pure function the risk is negligible. And it is needed only to reproduce the old behavior.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div><p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">The second thing that has been repeatedly brought up that is missing is the fact that `isnan` may still be inconsistently optimized out. `isnan(x)` would only be retained in the program if the compiler cannot deduce that `x` is the result
 of a nnan arithmetic operation. If it can deduce that—the simplest case being the somewhat questionable `isnan(x + 0)` example, but it’s also possible that, e.g., you’re calling `isnan(sum)` on the result of a summation, which would be the result of an arithmetic
 expression post-mem2reg/SROA—then the compiler would still elide it. It could be that this is less surprising to users than unconditionally optimizing array `isnan(x)`, but it should still be admitted that there is a potential for surprise here.</p></div></div></blockquote><div><br></div><div>Regarding your example, this thread already contains consideration of this case:</div><div><br></div><div><div dir="ltr" class="gmail_attr">On Tue, Sep 14, 2021 at 12:50 AM Serge Pavlov <<a href="mailto:sepavloff@gmail.com">sepavloff@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>On Mon, Sep 13, 2021 at 11:46 PM Chris Tetreault <<a href="mailto:ctetreau@quicinc.com" target="_blank">ctetreau@quicinc.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">… is guaranteed to work, and I read that fast-math enables the compiler to reason about constructs like `x + 0` being equal to `x`, then I’m going to be very confused when:<br></blockquote><div>You are right, this was a bad idea. Compiler may optimize out `isnan` but only when it deduces that the value cannot be NaN, but not due to the user's promise. It is especially important for `isinf`. Addition of two finite values may produce infinity and there is no universal way to predict it. It is probably not an issue for types like float or double, but ML cores use halfs or even minifloats, where overflow is much more probable. If in the code:<br></div><div>```</div><div>float r = a + b;</div><div>if (isinf(r)) {...</div><div>```</div>`isinf` were optimized out just because -ffinite-math-only is in effect, the user cannot check if overflow did not occur.</div></div></div></blockquote></div><div> </div><div>Rules proposed by Richard are also formulated using arguments, not results. Now there is no intention to optimize such a case.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div><p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">A final point is that the potential optimization benefits of eliding `isnan` are not limited to the cost of running the function itself (which are likely to be negligible), but also include the benefits of deleting any subsequent code that
 is attempting to handle NaN values, which may be fairly large blocks. A salient example is complex multiplication and division, where the actual expansion of  the multiplication and division code itself is dwarfed by the recalculation code if the result turns
 out to be a NaN.</p></div></div></blockquote><div><br></div><div>The code intended for handling NaNs won't be executed in -ffinite-math-only mode, if the mode is used correctly. So expenses are only the check itself and the associated jump. For the code that does intensive calculation they must be negligible. Anyway, the user can redefine `isnan`, it is as safe as `-ffinite-math-only` itself.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div><p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div style="border-top:none;border-right:none;border-bottom:none;border-left:1.5pt solid blue;padding:0in 0in 0in 4pt">
<div>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> llvm-dev <<a href="mailto:llvm-dev-bounces@lists.llvm.org" target="_blank">llvm-dev-bounces@lists.llvm.org</a>> <b>On Behalf Of
</b>Serge Pavlov via llvm-dev<br>
<b>Sent:</b> Thursday, September 16, 2021 1:37<br>
<b>To:</b> Chris Tetreault <<a href="mailto:ctetreau@quicinc.com" target="_blank">ctetreau@quicinc.com</a>><br>
<b>Cc:</b> Arthur O'Dwyer <<a href="mailto:arthur.j.odwyer@gmail.com" target="_blank">arthur.j.odwyer@gmail.com</a>>; <a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>; <a href="mailto:cfe-dev@lists.llvm.org" target="_blank">cfe-dev@lists.llvm.org</a><br>
<b>Subject:</b> Re: [llvm-dev] [cfe-dev] Should isnan be optimized out in fast-math mode?<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Let me make some summary. I omit references for brevity, they are spread in the thread.<br>
<br>
Treatment of `isnan` with `-ffinite-math-only` has issues:<br>
- There are many users' complaints and disagreement expressed in GCC bug tracker and forums about the treatment.<br>
- There are legitimate use cases when `isnan` needs to be called in `-ffinite-math-only` mode.<br>
- Users have to invent workarounds to get functionality of `isnan`, which results in portability and performance loss.<br>
- There is inconsistency with the behavior of libc, which always does a real check, and the compiler, which omits it.<br>
Preserving `isnan` in the code would solve all of them.<br>
<br>
What is the risk?<br>
<br>
`-ffinite-math-only` is an optimization option, so preserving `isnan` cannot break the behavior of correct programs. The only possible negative impact is some loss of performance. It is unlikely that a real program spends so much time in `isnan` calls that
 it has noticeable effect, but if it does, a user can conditionally redefine `isnan` macro.<br>
<br>
Preserving `isnan` in `-ffinite-math-only` mode is safe and makes the compiler more reliable and user-friendly.
<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<br>
--Serge<u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</blockquote></div></div>