<div dir="ltr"><div><div>Hie all.<br></div>I wanted to know is that any way we can 
check for the tokens generated by clang for a given test file. Actually I
 had done some changes in the tokenKinds.def file and added some more 
keywordss to it. Now, I want to check whether it is able to tokenize 
those new keywords or not. Is there any command which may help ?<br>
</div>Thanks in advance.</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jul 26, 2013 at 4:45 PM, surbhi singh <span dir="ltr"><<a href="mailto:surbhi.chauhan011@gmail.com" target="_blank">surbhi.chauhan011@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im HOEnZb"><div dir="ltr"><div><div>Hie all.<br></div>I wanted to know is that any way we can 
check for the tokens generated by clang for a given test file. Actually I
 had done some changes in the tokenKinds.def file and added some more 
keywordss to it. Now, I want to check whether it is able to tokenize 
those new keywords or not. Is there any command which may help ?<br>
</div>Thanks in advance.</div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jul 26, 2013 at 4:45 PM, surbhi singh <span dir="ltr"><<a href="mailto:surbhi.chauhan011@gmail.com" target="_blank">surbhi.chauhan011@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr"><br></div><div class="gmail_extra"><br><br><div class="gmail_quote">
On Fri, Jul 26, 2013 at 4:44 PM, surbhi singh <span dir="ltr"><<a href="mailto:surbhi.chauhan011@gmail.com" target="_blank">surbhi.chauhan011@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Hie all.<br></div>I wanted to know is that any way we can check for the tokens generated by clang for a given test file. Actually I had done some changes in the tokenKinds.def file and added some more keywordss to it. Now, I want to check whether it is able to tokenize those new keywords or not. Is there any command which may help ?<br>



</div>Thanks in advance.<span><font color="#888888"><br></font></span></div><span><font color="#888888">Surbhi<br></font></span></div><div><div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Mon, Jul 22, 2013 at 10:50 PM, James Dennett <span dir="ltr"><<a href="mailto:james.dennett@gmail.com" target="_blank">james.dennett@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>On Mon, Jul 22, 2013 at 5:26 AM, surbhi singh<br>
<<a href="mailto:surbhi.chauhan011@gmail.com" target="_blank">surbhi.chauhan011@gmail.com</a>> wrote:<br>
> Hie Mahesha.<br>
> Thanks for this information. I want to know that from where should I get<br>
> information about Clang's preprocessor.<br>
<br>
</div>Preprocessor.h is a useful entry point for the preprocessor.<br>
PPCallbacks is a useful extension point.<br>
<div><br>
> To be specific I want to know where<br>
> are the tokens specified in the code. I have searched the clang's<br>
> documentation, but not able to find the right code for me to start.<br>
<br>
</div>Searching for "Lex" should find you the code that generates the tokens.<br>
<span><font color="#888888"><br>
-- James<br>
</font></span></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>