<div dir="ltr">On Wed, Aug 7, 2013 at 9:52 PM, Pete Cooper <span dir="ltr"><<a href="mailto:peter_cooper@apple.com" target="_blank">peter_cooper@apple.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><br><div><div class="im"><div>On Aug 7, 2013, at 6:38 PM, Michele Scandale <<a href="mailto:michele.scandale@gmail.com" target="_blank">michele.scandale@gmail.com</a>> wrote:</div>
<br><blockquote type="cite"><div style="font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
On 08/08/2013 03:16 AM, Pete Cooper wrote:<br><blockquote type="cite"><br>On Aug 7, 2013, at 5:12 PM, Michele Scandale <<a href="mailto:michele.scandale@gmail.com" target="_blank">michele.scandale@gmail.com</a>> wrote:<br>
<br><blockquote type="cite">On 08/08/2013 02:02 AM, Justin Holewinski wrote:<br><blockquote type="cite">This worries me a bit.  This would introduce language-specific<br>processing into SelectionDAG.  OpenCL maps address spaces one way, other<br>
languages map them in other ways.  Currently, it is the job of the<br>front-end to map pointers into the correct address space for the target<br>(hence the address space map in clang).  With (my understanding of) this<br>
proposal, there would be a pre-defined set of language-specific address<br>spaces that the target would need to know about. IMO it should be the<br>job of the front-end to do this mapping.<br></blockquote><br>The begin of the discussion was about possible way to represent high level address space information in the IR different from target address spaces (to have the information orthogonally respect the mapping so to handle also those targets that have the trivial mapping).<br>
<br>My interpretation of the solution proposed by Pete is that the frontend emits metadata that describe address spaces (overlapping information and mapping target specific). The instruction selection simply applis the mapping encoded in the metadata. So there is no pre-defined set, but there is only a mapping algorithm implemented in the instruction selection phase "table driven", the table is encoded as metadata.<br>
</blockquote>I think its fair to have this be dealt with by targets instead of the front-end.  That way the optimizer can remain generic and use only the metadata.  CPU targets will just map every address space to 0 as they have only a single physical memory space.  GPU targets such as PTX and R600 can map to the actual HW spaces they want.<br>
</blockquote><br>Why a backend should be responsible (meaning have knowledge) for a mapping between high level address spaces and low level address spaces?<br></div></blockquote></div>Thats true.  I’m thinking entirely from the persecutive of the backend doing CL/CUDA.  But actually LLVM is language agnostic.  That is still something the metadata could solve.  The front-end could generate the metadata i suggested earlier which will tell the backend how to do the mapping.  Then the backend only needs to read the metadata.<div class="im">
<br><blockquote type="cite"><div style="font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<br>Why X86 backend should be aware of opencl address spaces or any other address spaces?<br></div></blockquote></div>The only reason i can think of is that this allows the address space alias analysis to occur, and all of the optimizations you might want to implement on top of it.  Otherwise you’ll need the front-end to put everything in address space 0 and you’ll have lost some opportunity to optimize in that way for x86.<div class="im">
<br><blockquote type="cite"><div style="font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<br>Like for other aspects I see more direct and intuitive to anticipate target information in the frontend (this is already done and accepted) to have a middle-end and back-end source language dependent (no specific language knowledge is required, because different frontends could be built on top of this).<br>
<br>Maybe a way to decouple the frontend and the specific target is possible in order to have in the target independent part of the code-generator a support for a set of language with common concept (like opencl/cuda) but it's still language dependent!<br>
</div></blockquote></div>Yes, that could work.  Actually the numbers are probably not the important thing.  Its the names that really tell you what the address space is for.  The backend needs to know what loading from a local means.  Its almost unimportant what specific number a front-end chooses for that address space.  We know the front-end is really going to choose 2 (from what you said earlier), but the backend just needs to know how to load/store a local.</div>
<div><br></div><div>So perhaps the front-end should really be generating metadata which tells the target what address space it chose for a memory space.  That is</div><div><br></div><div>!private_memory = metadata !{ i32 0 }</div>
<div>!global_memory = metadata !{ i32 1 }</div>!local_memory = metadata !{ i32 2 }<div>!constant_memory = metadata !{ i32 3 }</div></div></blockquote><div><br></div><div>This is specific to an OpenCL front-end.  How would this translate to a language with a different memory hierarchy?</div>
<div><br></div><div>I would also like to preserve the ability for front-ends to directly assign address spaces in a target-dependent manner.  Currently, I can write IR that explicitly assigns global variables to the PTX "shared" address space (for example).  Under this proposal, I would need to use address space 2 (because that is what has been decreed as OpenCL "local"), and insert meta-data that tells the PTX back-end to map this to its "shared" address space.  Is that correct?</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><br></div><div>Unfortunately you’d have to essentially reserve those metadata names for your use (better names than i chose of course), but this might be reasonable.  You could alternately use the example I first gave, but just add a name field to it.  </div>
<div><br></div><div>I guess targets would have to either assert or default to address space 0 when they see an address space without associated metadata.</div><div><br></div><div><div class="im"><blockquote type="cite" dir="auto">
<div style="font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px"><br><blockquote type="cite">
This way you have the target specific information in the backend where I believe it should be, and the front-end can target agnostic (note, I know, its not really agnostic and already contains target specific information, but I just don’t want to add more unless its really needed)<br>
<br>On the casting between address spaces topic "you can cast between the generic address space and global/local/private, so there's also that to consider.”.  This terrifies me.  I don’t know how to generate code for this on a system which has disjoint physical memory without branching on every memory access to that address space.<br>
</blockquote><br>The OpenCL 2.0 specification says that a runtime resolution to a named address spaced is required in order to use a pointer in the generic address space.<br></div></blockquote></div>Ouch!  I can’t imagine thats good for performance on some architectures.  But at least its been considered and defined.</div>
<div><br></div><div>Pete<br><blockquote type="cite" dir="auto"><div style="font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<br><br>-Michele</div></blockquote></div><br></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><br><div>Thanks,</div><div><br></div><div>Justin Holewinski</div>
</div></div>