0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2f 2f 20 isalnum;....///
00f0: 45 78 63 65 70 74 69 6f 6e 20 66 72 6f 6d 20 74 Exception from t
0100: 68 69 73 20 6d 6f 64 75 6c 65 0d 0a 0d 0a 2f 2a his module..../*
0110: 6d 69 78 69 6e 2a 2f 0d 0a 74 65 6d 70 6c 61 74 mixin*/..templat
0120: 65 20 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 e ExceptionWithP
0130: 6f 73 69 74 69 6f 6e 28 29 0d 0a 7b 0d 0a 09 63 osition()..{...c
0140: 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e onst LexPosition
0150: 20 70 6f 73 3b 0d 0a 09 74 68 69 73 28 20 63 6f pos;...this( co
0160: 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 nst LexPosition
0170: 70 6f 73 2c 20 73 74 72 69 6e 67 20 6d 73 67 2c pos, string msg,
0180: 20 73 74 72 69 6e 67 20 66 69 6c 65 3d 6e 75 6c string file=nul
0190: 6c 2c 20 73 69 7a 65 5f 74 20 6c 69 6e 65 3d 30 l, size_t line=0
01a0: 2c 20 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 , Throwable next
01b0: 3d 6e 75 6c 6c 20 29 0d 0a 09 09 7b 20 73 75 70 =null )....{ sup
01c0: 65 72 28 73 70 72 69 6e 74 66 21 22 5b 25 73 5d er(sprintf!"[%s]
01d0: 20 25 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c 20 %s"(pos, msg),
01e0: 66 69 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 file, line, next
01f0: 29 3b 20 74 68 69 73 2e 70 6f 73 20 3d 20 70 6f ); this.pos = po
0200: 73 3b 20 7d 0d 0a 7d 0d 0a 0d 0a 63 6c 61 73 73 s; }..}....class
0210: 20 55 6e 65 78 70 65 63 74 65 64 45 4f 46 20 3a UnexpectedEOF :
0220: 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d 0a 09 Exception..{...
0230: 6d 69 78 69 6e 20 45 78 63 65 70 74 69 6f 6e 57 mixin ExceptionW
0240: 69 74 68 50 6f 73 69 74 69 6f 6e 3b 0d 0a 7d 0d ithPosition;..}.
0250: 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 45 78 63 65 ...class LexExce
0260: 70 74 69 6f 6e 20 3a 20 45 78 63 65 70 74 69 6f ption : Exceptio
0270: 6e 0d 0a 7b 0d 0a 09 6d 69 78 69 6e 20 45 78 63 n..{...mixin Exc
0280: 65 70 74 69 6f 6e 57 69 74 68 50 6f 73 69 74 69 eptionWithPositi
0290: 6f 6e 3b 0d 0a 7d 3b 0d 0a 0d 0a 2f 2f 2f 20 52 on;..};..../// R
02a0: 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 69 epresents a posi
02b0: 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 65 tion in a source
02c0: 20 63 6f 64 65 0a 0a 63 6c 61 73 73 20 4c 65 78 code..class Lex
02d0: 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d 75 Position.{..immu
02e0: 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 6c table string fil
02f0: 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 20 ename; /// name
0300: 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 69 of the source fi
0310: 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 6e le..immutable in
0320: 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 2f t lineno; /
0330: 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a 09 69 6d 6d // 1-origin..imm
0340: 75 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 6f utable int co
0350: 6c 75 6d 6e 3b 20 20 20 2f 2f 2f 20 31 2d 6f 72 lumn; /// 1-or
0360: 69 67 69 6e 0a 0d 0a 09 6d 69 78 69 6e 20 53 69 igin....mixin Si
0370: 6d 70 6c 65 43 6c 61 73 73 3b 0a 09 6f 76 65 72 mpleClass;..over
0380: 72 69 64 65 20 73 74 72 69 6e 67 20 74 6f 53 74 ride string toSt
0390: 72 69 6e 67 28 29 20 63 6f 6e 73 74 0a 09 09 7b ring() const...{
03a0: 20 72 65 74 75 72 6e 20 73 70 72 69 6e 74 66 21 return sprintf!
03b0: 22 25 73 3a 25 64 3a 25 64 22 28 66 69 6c 65 6e "%s:%d:%d"(filen
03c0: 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c ame, lineno, col
03d0: 75 6d 6e 29 3b 20 7d 0a 0d 0a 09 73 74 61 74 69 umn); }....stati
03e0: 63 20 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 c immutable LexP
03f0: 6f 73 69 74 69 6f 6e 20 64 75 6d 6d 79 3b 0d 0a osition dummy;..
0400: 09 73 74 61 74 69 63 20 74 68 69 73 28 29 7b 20 .static this(){
0410: 64 75 6d 6d 79 20 3d 20 6e 65 77 20 69 6d 6d 75 dummy = new immu
0420: 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f table(LexPositio
0430: 6e 29 28 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c 30 n)("<unnamed>",0
0440: 2c 30 29 3b 20 7d 0d 0a 7d 0a 0a 75 6e 69 74 74 ,0); }..}..unitt
0450: 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 est.{..auto p =
0460: 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 new LexPosition(
0470: 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 "hello.cpp", 123
0480: 2c 20 34 35 29 3b 0a 0a 09 61 73 73 65 72 74 5f , 45);...assert_
0490: 65 71 28 20 70 2e 66 69 6c 65 6e 61 6d 65 2c 20 eq( p.filename,
04a0: 22 68 65 6c 6c 6f 2e 63 70 70 22 20 29 3b 0a 09 "hello.cpp" );..
04b0: 61 73 73 65 72 74 5f 65 71 28 20 70 2e 6c 69 6e assert_eq( p.lin
04c0: 65 6e 6f 2c 20 31 32 33 20 29 3b 0a 09 61 73 73 eno, 123 );..ass
04d0: 65 72 74 5f 65 71 28 20 70 2e 63 6f 6c 75 6d 6e ert_eq( p.column
04e0: 2c 20 34 35 20 29 3b 0a 09 61 73 73 65 72 74 5f , 45 );..assert_
04f0: 65 71 28 20 74 6f 21 73 74 72 69 6e 67 28 70 29 eq( to!string(p)
0500: 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 33 , "hello.cpp:123
0510: 3a 34 35 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 :45" );...assert
0520: 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 ( !__traits(comp
0530: 69 6c 65 73 2c 20 6e 65 77 20 4c 65 78 50 6f 73 iles, new LexPos
0540: 69 74 69 6f 6e 29 20 29 3b 0a 09 61 73 73 65 72 ition) );..asser
0550: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
0560: 70 69 6c 65 73 2c 20 70 2e 66 69 6c 65 6e 61 6d piles, p.filenam
0570: 65 3d 22 66 6f 6f 22 29 20 29 3b 0a 09 61 73 73 e="foo") );..ass
0580: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
0590: 6f 6d 70 69 6c 65 73 2c 20 70 2e 6c 69 6e 65 6e ompiles, p.linen
05a0: 6f 20 20 3d 37 38 39 29 20 29 3b 0a 09 61 73 73 o =789) );..ass
05b0: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
05c0: 6f 6d 70 69 6c 65 73 2c 20 70 2e 63 6f 6c 75 6d ompiles, p.colum
05d0: 6e 20 20 3d 32 32 32 29 20 29 3b 0a 0d 0a 09 61 n =222) );....a
05e0: 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c 65 78 50 uto q = new LexP
05f0: 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e 63 osition("hello.c
0600: 70 70 22 2c 20 31 32 33 2c 20 34 36 29 3b 0d 0a pp", 123, 46);..
0610: 09 61 73 73 65 72 74 5f 6c 74 28 20 70 2c 20 71 .assert_lt( p, q
0620: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6e 65 28 );...assert_ne(
0630: 20 70 2c 20 71 20 29 3b 0d 0a 7d 0a 0a 2f 2f 2f p, q );..}..///
0640: 20 52 65 70 72 65 73 65 6e 74 73 20 61 20 6c 65 Represents a le
0650: 78 65 72 20 74 6f 6b 65 6e 0a 0a 63 6c 61 73 73 xer token..class
0660: 20 54 6f 6b 65 6e 0a 7b 0a 09 69 6d 6d 75 74 61 Token.{..immuta
0670: 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 ble LexPosition
0680: 70 6f 73 3b 20 20 20 20 2f 2f 2f 20 50 6f 73 69 pos; /// Posi
0690: 74 69 6f 6e 20 77 68 65 72 65 20 74 68 65 20 74 tion where the t
06a0: 6f 6b 65 6e 20 6f 63 63 75 72 72 65 64 20 69 6e oken occurred in
06b0: 20 74 68 65 20 73 6f 75 72 63 65 0a 09 69 6d 6d the source..imm
06c0: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 20 20 utable string
06d0: 20 20 20 73 74 72 3b 20 20 20 20 2f 2f 2f 20 54 str; /// T
06e0: 68 65 20 74 6f 6b 65 6e 20 73 74 72 69 6e 67 20 he token string
06f0: 69 74 73 65 6c 66 0a 09 69 6d 6d 75 74 61 62 6c itself..immutabl
0700: 65 20 62 6f 6f 6c 20 20 20 20 20 20 20 20 71 75 e bool qu
0710: 6f 74 65 64 3b 20 2f 2f 2f 20 57 61 73 20 69 74 oted; /// Was it
0720: 20 61 20 22 71 75 6f 74 65 64 22 20 74 6f 6b 65 a "quoted" toke
0730: 6e 20 6f 72 20 75 6e 71 75 6f 74 65 64 3f 0a 0a n or unquoted?..
0740: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6c 61 .mixin SimpleCla
0750: 73 73 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a ss;.}..unittest.
0760: 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 {..auto p = new
0770: 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 immutable(LexPos
0780: 69 74 69 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 ition)("hello.cp
0790: 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 09 61 p", 123, 45);..a
07a0: 75 74 6f 20 74 20 3d 20 6e 65 77 20 54 6f 6b 65 uto t = new Toke
07b0: 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 n(p, "class", fa
07c0: 6c 73 65 29 3b 0a 09 61 75 74 6f 20 75 20 3d 20 lse);..auto u =
07d0: 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c new Token(p, "cl
07e0: 61 73 73 22 2c 20 74 72 75 65 29 3b 0a 0a 09 61 ass", true);...a
07f0: 73 73 65 72 74 5f 65 71 28 20 74 2e 70 6f 73 2c ssert_eq( t.pos,
0800: 20 70 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 p );..assert_eq
0810: 28 20 74 2e 73 74 72 2c 20 22 63 6c 61 73 73 22 ( t.str, "class"
0820: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 74 2e );..assert( !t.
0830: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
0840: 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_eq( t, new Tok
0850: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 en(p, "class", f
0860: 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 alse) );..assert
0870: 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 _lt( t, new Toke
0880: 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 66 n(p, "struct", f
0890: 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 alse) );..assert
08a0: 5f 6e 65 28 20 74 2c 20 75 20 29 3b 0a 09 61 73 _ne( t, u );..as
08b0: 73 65 72 74 28 20 75 2e 71 75 6f 74 65 64 20 29 sert( u.quoted )
08c0: 3b 0a 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 ;...assert( !__t
08d0: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 raits(compiles,
08e0: 6e 65 77 20 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 new Token) );..a
08f0: 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 ssert( !__traits
0900: 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 70 6f 73 (compiles, t.pos
0910: 3d 70 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 =p) );..assert(
0920: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
0930: 65 73 2c 20 74 2e 73 74 72 3d 37 38 39 29 20 29 es, t.str=789) )
0940: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0950: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 aits(compiles, t
0960: 2e 71 75 6f 74 65 64 3d 74 72 75 65 29 20 29 3b .quoted=true) );
0970: 0a 7d 0a 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f .}../// Named Co
0980: 6e 73 74 72 75 74 6f 72 73 20 66 6f 72 20 4c 65 nstrutors for Le
0990: 78 65 72 0a 0a 61 75 74 6f 20 6c 65 78 65 72 46 xer..auto lexerF
09a0: 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 romFile(T...)( s
09b0: 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 tring filename,
09c0: 54 20 72 65 73 74 20 29 0a 7b 0a 09 72 65 74 75 T rest ).{..retu
09d0: 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 rn lexerFromStri
09e0: 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 ng( std.file.rea
09f0: 64 54 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c dText(filename),
0a00: 20 66 69 6c 65 6e 61 6d 65 2c 20 72 65 73 74 20 filename, rest
0a10: 29 3b 0a 7d 0a 09 0a 61 75 74 6f 20 6c 65 78 65 );.}...auto lexe
0a20: 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 68 61 72 rFromString(Char
0a30: 53 65 71 29 28 20 43 68 61 72 53 65 71 20 73 74 Seq)( CharSeq st
0a40: 72 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 r, string filena
0a50: 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c 20 me="<unnamed>",
0a60: 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c 20 69 6e int lineno=1, in
0a70: 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a 7b 0a 20 t column=1 ).{.
0a80: 09 72 65 74 75 72 6e 20 6e 65 77 20 4c 65 78 65 .return new Lexe
0a90: 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 rT!(PositionedRe
0aa0: 61 64 65 72 21 43 68 61 72 53 65 71 29 28 0d 0a ader!CharSeq)(..
0ab0: 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 ..PositionedRead
0ac0: 65 72 21 43 68 61 72 53 65 71 28 73 74 72 2c 20 er!CharSeq(str,
0ad0: 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f filename, lineno
0ae0: 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 3b 0a 7d , column)...);.}
0af0: 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 64 20 4c ../// Standard L
0b00: 65 78 65 72 20 54 79 70 65 20 28 61 6c 6c 20 79 exer Type (all y
0b10: 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e 6f 77 20 ou have to know
0b20: 69 73 20 74 68 61 74 20 74 68 69 73 20 69 73 20 is that this is
0b30: 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 20 a forward range
0b40: 6f 66 20 54 6f 6b 65 6e 73 29 0d 0a 0d 0a 61 6c of Tokens)....al
0b50: 69 61 73 20 4c 65 78 65 72 54 21 28 50 6f 73 69 ias LexerT!(Posi
0b60: 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 72 tionedReader!str
0b70: 69 6e 67 29 20 4c 65 78 65 72 3b 0a 0a 2f 2f 2f ing) Lexer;..///
0b80: 20 4c 65 78 65 72 20 49 6d 70 6c 65 6d 65 6e 74 Lexer Implement
0b90: 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 73 73 20 4c ation....class L
0ba0: 65 78 65 72 54 28 52 65 61 64 65 72 29 0d 0a 09 exerT(Reader)...
0bb0: 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e if( isForwardRan
0bc0: 67 65 21 28 52 65 61 64 65 72 29 20 26 26 20 69 ge!(Reader) && i
0bd0: 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 52 s(ElementType!(R
0be0: 65 61 64 65 72 29 20 3d 3d 20 64 63 68 61 72 29 eader) == dchar)
0bf0: 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 ).{../// Range
0c00: 70 72 69 6d 69 74 69 76 65 0a 09 62 6f 6f 6c 20 primitive..bool
0c10: 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 empty() /*@prope
0c20: 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 rty*/..{...retur
0c30: 6e 20 63 75 72 72 65 6e 74 20 69 73 20 6e 75 6c n current is nul
0c40: 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 l;..}.../// Rang
0c50: 65 20 70 72 69 6d 69 74 69 76 65 0a 09 54 6f 6b e primitive..Tok
0c60: 65 6e 20 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 en front() /*@pr
0c70: 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 operty*/..{...re
0c80: 74 75 72 6e 20 73 74 64 2e 65 78 63 65 70 74 69 turn std.excepti
0c90: 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 65 on.enforce(curre
0ca0: 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 61 nt, "Lexer has a
0cb0: 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 20 74 lready reached t
0cc0: 68 65 20 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 2f he end");..}.../
0cd0: 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 // Range primiti
0ce0: 76 65 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e ve..void popFron
0cf0: 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a t() /*@property*
0d00: 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 78 63 65 70 /..{...std.excep
0d10: 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 tion.enforce(cur
0d20: 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 rent, "Lexer has
0d30: 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 already reached
0d40: 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 09 63 75 the end");...cu
0d50: 72 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 78 74 rrent = readNext
0d60: 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e ();..}.../// Ran
0d70: 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 74 79 ge primitive..ty
0d80: 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 peof(this) save(
0d90: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a ) /*@property*/.
0da0: 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 20 .{...return new
0db0: 74 79 70 65 6f 66 28 74 68 69 73 29 28 72 65 61 typeof(this)(rea
0dc0: 64 65 72 2e 73 61 76 65 2c 20 63 75 72 72 65 6e der.save, curren
0dd0: 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 65 3a t);..}..private:
0de0: 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 // implementati
0df0: 6f 6e 0a 0a 09 52 65 61 64 65 72 20 72 65 61 64 on...Reader read
0e00: 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 63 75 72 72 er;..Token curr
0e10: 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 69 61 6e 74 ent;...invariant
0e20: 28 29 0a 09 7b 0a 09 09 61 73 73 65 72 74 28 20 ()..{...assert(
0e30: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 7c 7c 20 reader.empty ||
0e40: 21 73 74 64 2e 63 74 79 70 65 2e 69 73 73 70 61 !std.ctype.isspa
0e50: 63 65 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 ce(reader.front)
0e60: 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 28 );..}.....this(
0e70: 20 52 65 61 64 65 72 20 72 65 61 64 65 72 2c 20 Reader reader,
0e80: 54 6f 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d 20 Token current =
0e90: 6e 75 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 68 null )...{....th
0ea0: 69 73 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 is.reader = read
0eb0: 65 72 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c 65 er;....readWhile
0ec0: 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 74 !isSpace();....t
0ed0: 68 69 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 his.current = (c
0ee0: 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f urrent is null ?
0ef0: 20 72 65 61 64 4e 65 78 74 28 29 20 3a 20 63 75 readNext() : cu
0f00: 72 72 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 rrent);...}.....
0f10: 70 75 62 6c 69 63 20 73 74 61 74 69 63 20 7b 0a public static {.
0f20: 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 20 20 ..bool isSpace
0f30: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0f40: 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e 69 73 urn std.ctype.is
0f50: 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d 0a 09 space(c)!=0; }..
0f60: 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c 20 20 .bool isSymbol
0f70: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
0f80: 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 63 3c rn 0x21<=c && c<
0f90: 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e 63 74 =0x7f && !std.ct
0fa0: 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 20 26 ype.isalnum(c) &
0fb0: 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 3d 27 & c!='_' && c!='
0fc0: 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 \''; }....bool i
0fd0: 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 sSSymbol (dchar
0fe0: 63 29 20 7b 20 72 65 74 75 72 6e 20 21 66 69 6e c) { return !fin
0ff0: 64 28 22 28 29 5b 5d 7b 7d 3b 22 2c 20 63 29 2e d("()[]{};", c).
1000: 65 6d 70 74 79 3b 20 7d 0d 0a 09 09 62 6f 6f 6c empty; }....bool
1010: 20 69 73 4d 53 79 6d 62 6f 6c 20 28 64 63 68 61 isMSymbol (dcha
1020: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 69 73 r c) { return is
1030: 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 21 69 73 Symbol(c) && !is
1040: 53 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 63 21 SSymbol(c) && c!
1050: 3d 27 22 27 20 26 26 20 63 21 3d 27 23 27 3b 20 ='"' && c!='#';
1060: 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 74 }....bool isLett
1070: 65 72 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 er (dchar c) {
1080: 72 65 74 75 72 6e 20 21 69 73 53 70 61 63 65 28 return !isSpace(
1090: 63 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 c) && !isSymbol(
10a0: 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 c); }...}.....st
10b0: 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 28 ring readQuoted(
10c0: 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f const LexPositio
10d0: 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 75 n pos){char[] bu
10e0: 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 51 75 f; return readQu
10f0: 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d 0d oted(pos,buf);}.
1100: 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f ..string readQuo
1110: 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 ted(const LexPos
1120: 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 63 ition pos, ref c
1130: 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a har[] buf)...{..
1140: 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 ..if( reader.emp
1150: 74 79 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 67 ty ).....throw g
1160: 65 6e 65 78 21 55 6e 65 78 70 65 63 74 65 64 45 enex!UnexpectedE
1170: 4f 46 28 70 6f 73 2c 20 22 51 75 6f 74 65 64 20 OF(pos, "Quoted
1180: 73 74 72 69 6e 67 20 6e 6f 74 20 74 65 72 6d 69 string not termi
1190: 6e 61 74 65 64 22 29 3b 0d 0a 09 09 64 63 68 61 nated");....dcha
11a0: 72 20 63 20 3d 20 72 65 61 64 65 72 2e 66 72 6f r c = reader.fro
11b0: 6e 74 3b 0d 0a 09 09 72 65 61 64 65 72 2e 70 6f nt;....reader.po
11c0: 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 pFront;....if( c
11d0: 20 3d 3d 20 27 22 27 20 29 0d 0a 09 09 09 72 65 == '"' ).....re
11e0: 74 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 turn assumeUniqu
11f0: 65 28 62 75 66 29 3b 0d 0a 09 09 69 66 28 20 63 e(buf);....if( c
1200: 20 3d 3d 20 27 5c 5c 27 20 26 26 20 21 72 65 61 == '\\' && !rea
1210: 64 65 72 2e 65 6d 70 74 79 20 29 20 7b 0d 0a 09 der.empty ) {...
1220: 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f ..if( reader.fro
1230: 6e 74 3d 3d 27 22 27 20 29 20 7b 0d 0a 09 09 09 nt=='"' ) {.....
1240: 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 .reader.popFront
1250: 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 ;......return re
1260: 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 adQuoted(pos,buf
1270: 20 7e 3d 20 27 5c 22 27 29 3b 0d 0a 09 09 09 7d ~= '\"');.....}
1280: 0d 0a 09 09 09 69 66 28 20 72 65 61 64 65 72 2e .....if( reader.
1290: 66 72 6f 6e 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d front=='\\' ) {.
12a0: 0a 09 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 .....reader.popF
12b0: 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 ront;......retur
12c0: 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 n readQuoted(pos
12d0: 2c 62 75 66 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a ,buf ~= '\\');..
12e0: 09 09 09 7d 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 ...}....}....ret
12f0: 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 urn readQuoted(p
1300: 6f 73 2c 62 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 os,buf ~= c);...
1310: 7d 0d 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 }.....string rea
1320: 64 57 68 69 6c 65 28 61 6c 69 61 73 20 66 6e 29 dWhile(alias fn)
1330: 28 29 0d 0a 09 7b 0d 0a 09 09 63 68 61 72 5b 5d ()...{....char[]
1340: 20 62 75 66 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 buf;....for(; !
1350: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 26 26 20 reader.empty &&
1360: 66 6e 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 fn(reader.front)
1370: 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e ; reader.popFron
1380: 74 29 0d 0a 09 09 09 62 75 66 20 7e 3d 20 72 65 t).....buf ~= re
1390: 61 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 ader.front;....r
13a0: 65 74 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 eturn assumeUniq
13b0: 75 65 28 62 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 ue(buf);...}...T
13c0: 6f 6b 65 6e 20 72 65 61 64 4e 65 78 74 28 29 0a oken readNext().
13d0: 09 7b 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e .{...if( reader.
13e0: 65 6d 70 74 79 20 29 0a 09 09 09 72 65 74 75 72 empty )....retur
13f0: 6e 20 6e 75 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 n null;....scope
1400: 28 73 75 63 63 65 73 73 29 0d 0a 09 09 09 72 65 (success).....re
1410: 61 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 adWhile!isSpace(
1420: 29 3b 0d 0a 09 09 69 66 28 20 72 65 61 64 65 72 );....if( reader
1430: 2e 66 72 6f 6e 74 20 3d 3d 20 27 23 27 20 29 20 .front == '#' )
1440: 2f 2f 20 63 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d // comment....{.
1450: 0a 09 09 09 72 65 61 64 65 72 20 3d 20 66 69 6e ....reader = fin
1460: 64 28 72 65 61 64 65 72 2c 20 27 5c 6e 27 29 3b d(reader, '\n');
1470: 0d 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 .....readWhile!i
1480: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 09 72 65 sSpace();.....re
1490: 74 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b turn readNext();
14a0: 0d 0a 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 ....}...else if(
14b0: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d reader.front ==
14c0: 20 27 22 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 '"' ) // quoted
14d0: 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 ....{.....auto p
14e0: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
14f0: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a entPosition();..
1500: 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f ...reader.popFro
1510: 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e nt;.....return n
1520: 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 ew Token(pos, re
1530: 61 64 51 75 6f 74 65 64 28 70 6f 73 29 2c 20 74 adQuoted(pos), t
1540: 72 75 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c rue);....}....el
1550: 73 65 20 69 66 28 20 69 73 53 53 79 6d 62 6f 6c se if( isSSymbol
1560: 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 (reader.front) )
1570: 20 2f 2f 20 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a // paren....{..
1580: 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 ...auto pos = re
1590: 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 ader.currentPosi
15a0: 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 73 74 72 69 tion();.....stri
15b0: 6e 67 20 73 3b 20 73 7e 3d 72 65 61 64 65 72 2e ng s; s~=reader.
15c0: 66 72 6f 6e 74 3b 20 72 65 61 64 65 72 2e 70 6f front; reader.po
15d0: 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 pFront;.....retu
15e0: 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 rn new Token(pos
15f0: 2c 20 73 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 , s, false);....
1600: 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 }....else if( is
1610: 4d 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 MSymbol(reader.f
1620: 72 6f 6e 74 29 20 29 20 2f 2f 20 73 79 6d 62 6f ront) ) // symbo
1630: 6c 0d 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 l....{....auto p
1640: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
1650: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 entPosition();..
1660: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
1670: 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c en(pos, readWhil
1680: 65 21 69 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 e!isMSymbol(), f
1690: 61 6c 73 65 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 alse);...}...els
16a0: 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f e...{....auto po
16b0: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
16c0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 ntPosition();...
16d0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
16e0: 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c en(pos, readWhil
16f0: 65 21 69 73 4c 65 74 74 65 72 28 29 2c 20 66 61 e!isLetter(), fa
1700: 6c 73 65 29 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a lse);....}..}.}.
1710: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 .unittest.{..ass
1720: 65 72 74 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 ert( std.range.i
1730: 73 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 4c sForwardRange!(L
1740: 65 78 65 72 29 20 29 3b 0a 09 61 73 73 65 72 74 exer) );..assert
1750: 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 ( is(ElementType
1760: 21 28 4c 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 !(Lexer) == Toke
1770: 6e 29 20 29 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 n) );..}..unitte
1780: 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d st.{..auto lex =
1790: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
17a0: 28 22 74 68 69 73 09 69 73 20 61 20 5c 74 5c 72 ("this.is a \t\r
17b0: 5c 6e 20 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 \n pen :-( @@;
17c0: 22 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 ");..Token[] ts
17d0: 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 = std.array.arra
17e0: 79 28 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 y(lex);...assert
17f0: 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c _eq( ts[0].pos.l
1800: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
1810: 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f ert_eq( ts[0].po
1820: 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 s.column, 1 );..
1830: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d assert( !ts[0]
1840: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
1850: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 rt_eq( ts[0].str
1860: 2c 20 22 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 , "this" );...as
1870: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 sert_eq( ts[1].p
1880: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
1890: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 .assert_eq( ts[1
18a0: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 ].pos.column, 6
18b0: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
18c0: 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[1].quoted );..
18d0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d assert_eq( ts[1]
18e0: 2e 73 74 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 .str, "is" );...
18f0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d assert_eq( ts[2]
1900: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 .pos.lineno, 1 )
1910: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1920: 5b 32 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 [2].pos.column,
1930: 39 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 9 );..assert(
1940: 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[2].quoted );
1950: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1960: 32 5d 2e 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 2].str, "a" );..
1970: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 .assert_eq( ts[3
1980: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 ].pos.lineno, 2
1990: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
19a0: 73 5b 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c s[3].pos.column,
19b0: 20 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 2 );..assert(
19c0: 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 !ts[3].quoted )
19d0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
19e0: 5b 33 5d 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 [3].str, "pen" )
19f0: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1a00: 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[4].pos.lineno,
1a10: 20 32 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 2 );..assert_eq
1a20: 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[4].pos.colu
1a30: 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 mn, 6 );..assert
1a40: 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 _eq( ts[4].str,
1a50: 22 3a 2d 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 ":-" );...assert
1a60: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c _eq( ts[5].pos.l
1a70: 69 6e 65 6e 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 ineno, 2 );...as
1a80: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 sert_eq( ts[5].p
1a90: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d os.column, 8 );.
1aa0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1ab0: 35 5d 2e 73 74 72 2c 20 22 28 22 20 29 3b 0d 0a 5].str, "(" );..
1ac0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 .assert_eq( ts[6
1ad0: 5d 2e 73 74 72 2c 20 22 40 40 22 20 29 3b 0d 0a ].str, "@@" );..
1ae0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 37 .assert_eq( ts[7
1af0: 5d 2e 73 74 72 2c 20 22 3b 22 20 29 3b 20 2f 2f ].str, ";" ); //
1b00: 20 70 61 72 65 6e 20 61 6e 64 20 73 69 6d 69 63 paren and simic
1b10: 6f 6c 6f 6e 73 20 61 72 65 20 73 70 6c 69 74 0d olons are split.
1b20: 0a 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ....assert_eq( t
1b30: 73 2e 6c 65 6e 67 74 68 2c 20 38 20 29 3b 0a 7d s.length, 8 );.}
1b40: 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 2f 2f ..unittest.{..//
1b50: 20 21 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 !! be sure to r
1b60: 75 6e 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 un the unittest
1b70: 6f 6e 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 on the root of t
1b80: 68 65 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 he source direct
1b90: 6f 72 79 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d ory..auto lexf =
1ba0: 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 lexerFromFile("
1bb0: 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 polemy/lex.d");.
1bc0: 0a 09 6c 65 78 66 20 3d 20 66 69 6e 64 21 60 61 ..lexf = find!`a
1bd0: 2e 73 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 .str == "module"
1be0: 60 28 6c 65 78 66 29 3b 0a 09 61 73 73 65 72 74 `(lexf);..assert
1bf0: 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e _eq( lexf.front.
1c00: 73 74 72 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b str, "module" );
1c10: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1c20: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 f.front.pos.file
1c30: 6e 61 6d 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 name, "polemy/le
1c40: 78 2e 64 22 20 29 3b 0a 09 61 73 73 65 72 74 5f x.d" );..assert_
1c50: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 eq( lexf.front.p
1c60: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a os.lineno, 7 );.
1c70: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1c80: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d .front.pos.colum
1c90: 6e 2c 20 31 20 29 3b 0a 09 6c 65 78 66 2e 70 6f n, 1 );..lexf.po
1ca0: 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f pFront;..assert_
1cb0: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 eq( lexf.front.s
1cc0: 74 72 2c 20 22 70 6f 6c 65 6d 79 22 20 29 3b 0a tr, "polemy" );.
1cd0: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1ce0: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e .front.pos.linen
1cf0: 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 74 5f o, 7 );..assert_
1d00: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 eq( lexf.front.p
1d10: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a os.column, 8 );.
1d20: 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a .lexf.popFront;.
1d30: 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a .lexf.popFront;.
1d40: 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a .lexf.popFront;.
1d50: 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a .lexf.popFront;.
1d60: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1d70: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 69 6d 70 .front.str, "imp
1d80: 6f 72 74 22 20 29 3b 0a 09 61 73 73 65 72 74 5f ort" );..assert_
1d90: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 eq( lexf.front.p
1da0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a os.lineno, 8 );.
1db0: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1dc0: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d .front.pos.colum
1dd0: 6e 2c 20 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 n, 1 );.}...unit
1de0: 74 65 73 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 test..{...assert
1df0: 5f 74 68 72 6f 77 21 55 6e 65 78 70 65 63 74 65 _throw!Unexpecte
1e00: 64 45 4f 46 28 20 6c 65 78 65 72 46 72 6f 6d 53 dEOF( lexerFromS
1e10: 74 72 69 6e 67 28 60 22 60 29 20 29 3b 0d 0a 7d tring(`"`) );..}
1e20: 0d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 ...unittest.{..a
1e30: 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 uto lex = lexerF
1e40: 72 6f 6d 53 74 72 69 6e 67 28 60 6d 79 20 23 20 romString(`my #
1e50: 63 6f 6d 6d 65 6e 74 20 73 68 6f 75 6c 64 60 7e comment should`~
1e60: 22 5c 72 5c 6e 22 7e 60 23 20 68 65 79 21 21 0a "\r\n"~`# hey!!.
1e70: 62 65 20 69 67 6e 6f 72 65 64 2e 0a 68 61 68 61 be ignored..haha
1e80: 68 61 22 68 69 68 69 68 69 22 22 68 75 5c 5c 5c ha"hihihi""hu\\\
1e90: 22 68 75 68 75 22 23 31 32 33 20 61 61 0a 31 32 "huhu"#123 aa.12
1ea0: 33 20 61 61 20 22 61 61 61 60 7e 22 5c 6e 22 7e 3 aa "aaa`~"\n"~
1eb0: 60 62 62 62 20 23 20 31 32 33 60 7e 22 5c 72 5c `bbb # 123`~"\r\
1ec0: 6e 22 7e 60 65 65 65 22 0a 7a 7a 7a 0a 60 29 3b n"~`eee".zzz.`);
1ed0: 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 ..Token[] ts = s
1ee0: 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c td.array.array(l
1ef0: 65 78 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 ex);..assert_eq(
1f00: 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 6d 79 22 ts[0].str, "my"
1f10: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1f20: 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[0].pos.lineno
1f30: 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 , 1 );..assert(
1f40: 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 !ts[0].quoted
1f50: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1f60: 73 5b 31 5d 2e 73 74 72 2c 20 22 62 65 22 20 29 s[1].str, "be" )
1f70: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1f80: 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [1].pos.lineno,
1f90: 33 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 3 );..assert(
1fa0: 21 74 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[1].quoted );
1fb0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1fc0: 32 5d 2e 73 74 72 2c 20 22 69 67 6e 6f 72 65 64 2].str, "ignored
1fd0: 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 " );..assert(
1fe0: 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[2].quoted );
1ff0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
2000: 33 5d 2e 73 74 72 2c 20 22 2e 22 20 29 3b 0a 09 3].str, "." );..
2010: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 33 5d assert( !ts[3]
2020: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
2030: 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 rt_eq( ts[4].str
2040: 2c 20 22 68 61 68 61 68 61 22 20 29 3b 0a 09 61 , "hahaha" );..a
2050: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e ssert_eq( ts[4].
2060: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b pos.lineno, 4 );
2070: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
2080: 34 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 4].quoted );..as
2090: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 sert_eq( ts[5].s
20a0: 74 72 2c 20 22 68 69 68 69 68 69 22 20 29 3b 0a tr, "hihihi" );.
20b0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 .assert_eq( ts[5
20c0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 ].pos.lineno, 4
20d0: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 );..assert( t
20e0: 73 5b 35 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[5].quoted );..
20f0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d assert_eq( ts[6]
2100: 2e 73 74 72 2c 20 60 68 75 5c 22 68 75 68 75 60 .str, `hu\"huhu`
2110: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
2120: 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[6].pos.lineno
2130: 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 , 4 );..assert(
2140: 20 20 20 74 73 5b 36 5d 2e 71 75 6f 74 65 64 20 ts[6].quoted
2150: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
2160: 73 5b 37 5d 2e 73 74 72 2c 20 22 31 32 33 22 20 s[7].str, "123"
2170: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
2180: 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[7].pos.lineno,
2190: 20 35 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 5 );..assert_eq
21a0: 28 20 74 73 5b 38 5d 2e 73 74 72 2c 20 22 61 61 ( ts[8].str, "aa
21b0: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
21c0: 20 74 73 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[9].pos.linen
21d0: 6f 2c 20 35 20 29 3b 0a 09 61 73 73 65 72 74 5f o, 5 );..assert_
21e0: 65 71 28 20 74 73 5b 39 5d 2e 73 74 72 2c 20 22 eq( ts[9].str, "
21f0: 61 61 61 5c 6e 62 62 62 20 23 20 31 32 33 5c 6e aaa\nbbb # 123\n
2200: 65 65 65 22 20 29 3b 0a 09 61 73 73 65 72 74 28 eee" );..assert(
2210: 20 20 20 20 74 73 5b 39 5d 2e 71 75 6f 74 65 64 ts[9].quoted
2220: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
2230: 74 73 5b 31 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[10].pos.linen
2240: 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 74 28 o, 8 );..assert(
2250: 20 20 20 21 74 73 5b 31 30 5d 2e 71 75 6f 74 65 !ts[10].quote
2260: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
2270: 20 74 73 2e 6c 65 6e 67 74 68 2c 20 31 31 20 29 ts.length, 11 )
2280: 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a ;.}...unittest..
2290: 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 {...auto lex2 =
22a0: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
22b0: 22 20 61 31 32 5c 6e 33 61 20 35 20 22 29 3b 0d " a12\n3a 5 ");.
22c0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
22d0: 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 61 31 2.front.str, "a1
22e0: 32 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 2" );...lex2.pop
22f0: 46 72 6f 6e 74 3b 0d 0a 09 61 75 74 6f 20 6c 65 Front;...auto le
2300: 78 33 20 3d 20 6c 65 78 32 2e 73 61 76 65 3b 0d x3 = lex2.save;.
2310: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
2320: 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 2.front.str, "3a
2330: 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 " );...lex2.popF
2340: 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ront;...assert_e
2350: 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 q( lex3.front.st
2360: 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 61 73 73 r, "3a" );...ass
2370: 65 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f ert_eq( lex2.fro
2380: 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a nt.str, "5" );..
2390: 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d .lex2.popFront;.
23a0: 0a 09 6c 65 78 33 2e 70 6f 70 46 72 6f 6e 74 3b ..lex3.popFront;
23b0: 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 32 2e ...assert( lex2.
23c0: 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 empty );...asser
23d0: 74 28 20 21 6c 65 78 33 2e 65 6d 70 74 79 20 29 t( !lex3.empty )
23e0: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c ;...assert_eq( l
23f0: 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 ex3.front.str, "
2400: 35 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 5" );..}....unit
2410: 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c test..{...auto l
2420: 65 78 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 ex = lexerFromSt
2430: 72 69 6e 67 28 60 3d 22 22 60 29 3b 0d 0a 09 61 ring(`=""`);...a
2440: 73 73 65 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f ssert_eq(lex.fro
2450: 6e 74 2e 73 74 72 2c 20 22 3d 22 29 3b 20 6c 65 nt.str, "="); le
2460: 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 x.popFront;...as
2470: 73 65 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e sert_eq(lex.fron
2480: 74 2e 73 74 72 2c 20 22 22 29 3b 20 6c 65 78 2e t.str, ""); lex.
2490: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
24a0: 72 74 28 20 6c 65 78 2e 65 6d 70 74 79 20 29 3b rt( lex.empty );
24b0: 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f 72 77 61 ..}..../// Forwa
24c0: 72 64 20 72 61 6e 67 65 20 66 6f 72 20 72 65 61 rd range for rea
24d0: 64 65 72 20 63 68 61 72 61 63 74 65 72 20 62 79 der character by
24e0: 20 63 68 61 72 61 63 74 65 72 2c 0d 0a 2f 2f 2f character,..///
24f0: 20 6b 65 65 70 69 6e 67 20 74 72 61 63 6b 20 6f keeping track o
2500: 66 20 70 6f 73 69 74 69 6f 6e 20 69 6e 66 6f 72 f position infor
2510: 6d 61 74 69 6f 6e 20 61 6e 64 20 63 61 72 69 6e mation and carin
2520: 67 20 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 6f 6e g \r\n -> \n con
2530: 76 65 72 73 69 6f 6e 2e 0d 0a 0d 0a 70 72 69 76 version.....priv
2540: 61 74 65 0d 0a 73 74 72 75 63 74 20 50 6f 73 69 ate..struct Posi
2550: 74 69 6f 6e 65 64 52 65 61 64 65 72 28 43 68 61 tionedReader(Cha
2560: 72 53 65 71 29 0d 0a 09 69 66 28 20 69 73 46 6f rSeq)...if( isFo
2570: 72 77 61 72 64 52 61 6e 67 65 21 28 43 68 61 72 rwardRange!(Char
2580: 53 65 71 29 20 26 26 20 69 73 28 45 6c 65 6d 65 Seq) && is(Eleme
2590: 6e 74 54 79 70 65 21 28 43 68 61 72 53 65 71 29 ntType!(CharSeq)
25a0: 20 3d 3d 20 64 63 68 61 72 29 20 29 0d 0a 7b 0d == dchar) )..{.
25b0: 0a 09 43 68 61 72 53 65 71 20 62 75 66 66 65 72 ..CharSeq buffer
25c0: 3b 0d 0a 09 73 74 72 69 6e 67 20 20 66 69 6c 65 ;...string file
25d0: 6e 61 6d 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 name;...int
25e0: 6c 69 6e 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 lineno;...int
25f0: 20 20 63 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f column;.....//
2600: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
2610: 65 0d 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 e...bool empty()
2620: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a /*@property*/..
2630: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 62 75 66 .{....return buf
2640: 66 65 72 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a fer.empty;...}..
2650: 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 .../// Range pri
2660: 6d 69 74 69 76 65 0d 0a 09 64 63 68 61 72 20 66 mitive...dchar f
2670: 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 ront() /*@proper
2680: 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 ty*/...{....dcha
2690: 72 20 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f r c = buffer.fro
26a0: 6e 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 nt;....return (c
26b0: 3d 3d 27 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 =='\r' ? '\n' :
26c0: 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 c);...}.....///
26d0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
26e0: 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 ..void popFront(
26f0: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d ) /*@property*/.
2700: 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d ..{....dchar c =
2710: 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a buffer.front;..
2720: 09 09 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e ..buffer.popFron
2730: 74 3b 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 t;....if( c=='\r
2740: 27 20 29 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 ' )....{.....if(
2750: 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 !buffer.empty &
2760: 26 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d & buffer.front==
2770: 27 5c 6e 27 20 29 0d 0a 09 09 09 09 62 75 66 66 '\n' )......buff
2780: 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 er.popFront;....
2790: 09 63 20 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d .c = '\n';....}.
27a0: 0a 09 09 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 ...if( c=='\n' )
27b0: 0d 0a 09 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f ....{.....lineno
27c0: 20 2b 2b 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 ++;.....column
27d0: 3d 20 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 = 1;....}....els
27e0: 65 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b e.....column ++;
27f0: 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e ...}...../// Ran
2800: 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 ge primitive...t
2810: 79 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 ypeof(this) save
2820: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
2830: 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 ...{....return t
2840: 68 69 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f his;...}.....///
2850: 20 47 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 Get the current
2860: 20 70 6f 73 69 74 69 6f 6e 0d 0a 09 69 6d 6d 75 position...immu
2870: 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f table(LexPositio
2880: 6e 29 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 n) currentPositi
2890: 6f 6e 28 29 20 63 6f 6e 73 74 0d 0a 09 7b 0d 0a on() const...{..
28a0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 69 6d 6d ..return new imm
28b0: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
28c0: 6f 6e 29 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 on)(filename, li
28d0: 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a neno, column);..
28e0: 09 7d 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 .}..}....unittes
28f0: 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 28 20 69 t..{...assert( i
2900: 73 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 50 sForwardRange!(P
2910: 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 ositionedReader!
2920: 73 74 72 69 6e 67 29 20 29 3b 0d 0a 09 61 73 73 string) );...ass
2930: 65 72 74 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 ert( is(ElementT
2940: 79 70 65 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 ype!(PositionedR
2950: 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 3d 3d eader!string) ==
2960: 20 64 63 68 61 72 29 20 29 3b 0d 0a 7d 0d 0a dchar) );..}..