0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2a 6d 69 isalnum;..../*mi
00f0: 78 69 6e 2a 2f 0d 0a 74 65 6d 70 6c 61 74 65 20 xin*/..template
0100: 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f 73 ExceptionWithPos
0110: 69 74 69 6f 6e 28 29 0d 0a 7b 0d 0a 09 63 6f 6e ition()..{...con
0120: 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 st LexPosition p
0130: 6f 73 3b 0d 0a 09 74 68 69 73 28 20 63 6f 6e 73 os;...this( cons
0140: 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f t LexPosition po
0150: 73 2c 20 73 74 72 69 6e 67 20 6d 73 67 2c 20 73 s, string msg, s
0160: 74 72 69 6e 67 20 66 69 6c 65 3d 6e 75 6c 6c 2c tring file=null,
0170: 20 73 69 7a 65 5f 74 20 6c 69 6e 65 3d 30 2c 20 size_t line=0,
0180: 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 3d 6e Throwable next=n
0190: 75 6c 6c 20 29 0d 0a 09 09 7b 20 73 75 70 65 72 ull )....{ super
01a0: 28 73 70 72 69 6e 74 66 21 22 5b 25 73 5d 20 25 (sprintf!"[%s] %
01b0: 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c 20 66 69 s"(pos, msg), fi
01c0: 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 29 3b le, line, next);
01d0: 20 74 68 69 73 2e 70 6f 73 20 3d 20 70 6f 73 3b this.pos = pos;
01e0: 20 7d 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 0d 0a 63 6c }..}....///..cl
01f0: 61 73 73 20 55 6e 65 78 70 65 63 74 65 64 45 4f ass UnexpectedEO
0200: 46 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b F : Exception..{
0210: 0d 0a 09 6d 69 78 69 6e 20 45 78 63 65 70 74 69 ...mixin Excepti
0220: 6f 6e 57 69 74 68 50 6f 73 69 74 69 6f 6e 3b 0d onWithPosition;.
0230: 0a 7d 0d 0a 0d 0a 2f 2f 2f 0d 0a 63 6c 61 73 73 .}....///..class
0240: 20 4c 65 78 45 78 63 65 70 74 69 6f 6e 20 3a 20 LexException :
0250: 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d 0a 09 6d Exception..{...m
0260: 69 78 69 6e 20 45 78 63 65 70 74 69 6f 6e 57 69 ixin ExceptionWi
0270: 74 68 50 6f 73 69 74 69 6f 6e 3b 0d 0a 7d 3b 0d thPosition;..};.
0280: 0a 0d 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 .../// Represent
0290: 73 20 61 20 70 6f 73 69 74 69 6f 6e 20 69 6e 20 s a position in
02a0: 61 20 73 6f 75 72 63 65 20 63 6f 64 65 0a 0a 63 a source code..c
02b0: 6c 61 73 73 20 4c 65 78 50 6f 73 69 74 69 6f 6e lass LexPosition
02c0: 0a 7b 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 .{..immutable st
02d0: 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3b 20 2f ring filename; /
02e0: 2f 2f 20 6e 61 6d 65 20 6f 66 20 74 68 65 20 73 // name of the s
02f0: 6f 75 72 63 65 20 66 69 6c 65 0a 09 69 6d 6d 75 ource file..immu
0300: 74 61 62 6c 65 20 69 6e 74 20 20 20 20 6c 69 6e table int lin
0310: 65 6e 6f 3b 20 20 20 2f 2f 2f 20 31 2d 6f 72 69 eno; /// 1-ori
0320: 67 69 6e 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 gin..immutable i
0330: 6e 74 20 20 20 20 63 6f 6c 75 6d 6e 3b 20 20 20 nt column;
0340: 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a 0d 0a 09 /// 1-origin....
0350: 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6c 61 73 mixin SimpleClas
0360: 73 3b 0a 09 6f 76 65 72 72 69 64 65 20 73 74 72 s;..override str
0370: 69 6e 67 20 74 6f 53 74 72 69 6e 67 28 29 20 63 ing toString() c
0380: 6f 6e 73 74 0a 09 09 7b 20 72 65 74 75 72 6e 20 onst...{ return
0390: 73 70 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 sprintf!"%s:%d:%
03a0: 64 22 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e d"(filename, lin
03b0: 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0a eno, column); }.
03c0: 0d 0a 09 73 74 61 74 69 63 20 69 6d 6d 75 74 61 ...static immuta
03d0: 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 ble LexPosition
03e0: 64 75 6d 6d 79 3b 0d 0a 09 73 74 61 74 69 63 20 dummy;...static
03f0: 74 68 69 73 28 29 7b 20 64 75 6d 6d 79 20 3d 20 this(){ dummy =
0400: 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 new immutable(Le
0410: 78 50 6f 73 69 74 69 6f 6e 29 28 22 3c 75 6e 6e xPosition)("<unn
0420: 61 6d 65 64 3e 22 2c 30 2c 30 29 3b 20 7d 0d 0a amed>",0,0); }..
0430: 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 }..unittest.{..a
0440: 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 50 uto p = new LexP
0450: 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e 63 osition("hello.c
0460: 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 0a pp", 123, 45);..
0470: 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e 66 69 .assert_eq( p.fi
0480: 6c 65 6e 61 6d 65 2c 20 22 68 65 6c 6c 6f 2e 63 lename, "hello.c
0490: 70 70 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 pp" );..assert_e
04a0: 71 28 20 70 2e 6c 69 6e 65 6e 6f 2c 20 31 32 33 q( p.lineno, 123
04b0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
04c0: 70 2e 63 6f 6c 75 6d 6e 2c 20 34 35 20 29 3b 0a p.column, 45 );.
04d0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 6f 21 73 .assert_eq( to!s
04e0: 74 72 69 6e 67 28 70 29 2c 20 22 68 65 6c 6c 6f tring(p), "hello
04f0: 2e 63 70 70 3a 31 32 33 3a 34 35 22 20 29 3b 0a .cpp:123:45" );.
0500: 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 ..assert( !__tra
0510: 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 its(compiles, ne
0520: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 w LexPosition) )
0530: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0540: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0550: 2e 66 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 .filename="foo")
0560: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0570: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0580: 20 70 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 p.lineno =789)
0590: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
05a0: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
05b0: 20 70 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 p.column =222)
05c0: 20 29 3b 0a 0d 0a 09 61 75 74 6f 20 71 20 3d 20 );....auto q =
05d0: 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 new LexPosition(
05e0: 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 "hello.cpp", 123
05f0: 2c 20 34 36 29 3b 0d 0a 09 61 73 73 65 72 74 5f , 46);...assert_
0600: 6c 74 28 20 70 2c 20 71 20 29 3b 0d 0a 09 61 73 lt( p, q );...as
0610: 73 65 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b sert_ne( p, q );
0620: 0d 0a 7d 0a 0a 2f 2f 2f 20 52 65 70 72 65 73 65 ..}../// Represe
0630: 6e 74 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 nts a lexer toke
0640: 6e 0a 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b n..class Token.{
0650: 0a 09 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 ..immutable LexP
0660: 6f 73 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 osition pos;
0670: 2f 2f 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 /// Position whe
0680: 72 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 re the token occ
0690: 75 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 urred in the sou
06a0: 72 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 rce..immutable s
06b0: 74 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 tring str;
06c0: 20 20 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e /// The token
06d0: 20 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 string itself..
06e0: 69 6d 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 immutable bool
06f0: 20 20 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f quoted; //
0700: 2f 20 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 / Was it a "quot
0710: 65 64 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 ed" token or unq
0720: 75 6f 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 uoted?...mixin S
0730: 69 6d 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 impleClass;.}..u
0740: 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 nittest.{..auto
0750: 70 20 3d 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c p = new immutabl
0760: 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 e(LexPosition)("
0770: 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c hello.cpp", 123,
0780: 20 34 35 29 3b 0a 09 61 75 74 6f 20 74 20 3d 20 45);..auto t =
0790: 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c new Token(p, "cl
07a0: 61 73 73 22 2c 20 66 61 6c 73 65 29 3b 0a 09 61 ass", false);..a
07b0: 75 74 6f 20 75 20 3d 20 6e 65 77 20 54 6f 6b 65 uto u = new Toke
07c0: 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 74 72 n(p, "class", tr
07d0: 75 65 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 ue);...assert_eq
07e0: 28 20 74 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 61 ( t.pos, p );..a
07f0: 73 73 65 72 74 5f 65 71 28 20 74 2e 73 74 72 2c ssert_eq( t.str,
0800: 20 22 63 6c 61 73 73 22 20 29 3b 0a 09 61 73 73 "class" );..ass
0810: 65 72 74 28 20 21 74 2e 71 75 6f 74 65 64 20 29 ert( !t.quoted )
0820: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2c ;..assert_eq( t,
0830: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 new Token(p, "c
0840: 6c 61 73 73 22 2c 20 66 61 6c 73 65 29 20 29 3b lass", false) );
0850: 0a 09 61 73 73 65 72 74 5f 6c 74 28 20 74 2c 20 ..assert_lt( t,
0860: 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 73 74 new Token(p, "st
0870: 72 75 63 74 22 2c 20 66 61 6c 73 65 29 20 29 3b ruct", false) );
0880: 0a 09 61 73 73 65 72 74 5f 6e 65 28 20 74 2c 20 ..assert_ne( t,
0890: 75 20 29 3b 0a 09 61 73 73 65 72 74 28 20 75 2e u );..assert( u.
08a0: 71 75 6f 74 65 64 20 29 3b 0a 0a 09 61 73 73 65 quoted );...asse
08b0: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
08c0: 6d 70 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b 65 mpiles, new Toke
08d0: 6e 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 n) );..assert( !
08e0: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
08f0: 73 2c 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 s, t.pos=p) );..
0900: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0910: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 74 s(compiles, t.st
0920: 72 3d 37 38 39 29 20 29 3b 0a 09 61 73 73 65 72 r=789) );..asser
0930: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
0940: 70 69 6c 65 73 2c 20 74 2e 71 75 6f 74 65 64 3d piles, t.quoted=
0950: 74 72 75 65 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 true) );.}..///
0960: 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 Named Construtor
0970: 73 20 66 6f 72 20 4c 65 78 65 72 0a 0a 4c 65 78 s for Lexer..Lex
0980: 65 72 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 er lexerFromFile
0990: 28 54 2e 2e 2e 29 28 20 73 74 72 69 6e 67 20 66 (T...)( string f
09a0: 69 6c 65 6e 61 6d 65 2c 20 54 20 72 65 73 74 20 ilename, T rest
09b0: 29 0a 7b 0a 09 72 65 74 75 72 6e 20 6c 65 78 65 ).{..return lexe
09c0: 72 46 72 6f 6d 53 74 72 69 6e 67 28 20 73 74 64 rFromString( std
09d0: 2e 66 69 6c 65 2e 72 65 61 64 54 65 78 74 28 66 .file.readText(f
09e0: 69 6c 65 6e 61 6d 65 29 2c 20 66 69 6c 65 6e 61 ilename), filena
09f0: 6d 65 2c 20 72 65 73 74 20 29 3b 0a 7d 0a 09 0a me, rest );.}...
0a00: 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 /// Named Constr
0a10: 75 74 6f 72 73 20 66 6f 72 20 4c 65 78 65 72 0d utors for Lexer.
0a20: 0a 0d 0a 4c 65 78 65 72 54 21 28 50 6f 73 69 74 ...LexerT!(Posit
0a30: 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72 ionedReader!Char
0a40: 53 65 71 29 20 2f 2a 20 64 64 6f 63 20 64 6f 65 Seq) /* ddoc doe
0a50: 73 6e 27 74 20 72 65 63 6f 67 6e 69 7a 65 20 61 sn't recognize a
0a60: 75 74 6f 20 72 65 74 75 72 6e 2e 2e 2e 20 62 75 uto return... bu
0a70: 67 7a 69 6c 6c 61 3a 32 35 38 31 20 2a 2f 0d 0a gzilla:2581 */..
0a80: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
0a90: 43 68 61 72 53 65 71 29 28 20 43 68 61 72 53 65 CharSeq)( CharSe
0aa0: 71 20 73 74 72 2c 20 73 74 72 69 6e 67 20 66 69 q str, string fi
0ab0: 6c 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 lename="<unnamed
0ac0: 3e 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 >", int lineno=1
0ad0: 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 , int column=1 )
0ae0: 0a 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 77 20 .{. .return new
0af0: 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e LexerT!(Position
0b00: 65 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71 edReader!CharSeq
0b10: 29 28 0d 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64 )(....Positioned
0b20: 52 65 61 64 65 72 21 43 68 61 72 53 65 71 28 73 Reader!CharSeq(s
0b30: 74 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 tr, filename, li
0b40: 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 neno, column)...
0b50: 29 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 );.}../// Standa
0b60: 72 64 20 4c 65 78 65 72 20 54 79 70 65 20 28 61 rd Lexer Type (a
0b70: 6c 6c 20 79 6f 75 20 68 61 76 65 20 74 6f 20 6b ll you have to k
0b80: 6e 6f 77 20 69 73 20 74 68 61 74 20 74 68 69 73 now is that this
0b90: 20 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 61 is a forward ra
0ba0: 6e 67 65 20 6f 66 20 54 6f 6b 65 6e 73 29 0d 0a nge of Tokens)..
0bb0: 0d 0a 61 6c 69 61 73 20 4c 65 78 65 72 54 21 28 ..alias LexerT!(
0bc0: 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 PositionedReader
0bd0: 21 73 74 72 69 6e 67 29 20 4c 65 78 65 72 3b 0a !string) Lexer;.
0be0: 0a 2f 2f 2f 20 4c 65 78 65 72 20 49 6d 70 6c 65 ./// Lexer Imple
0bf0: 6d 65 6e 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 mentation....cla
0c00: 73 73 20 4c 65 78 65 72 54 28 52 65 61 64 65 72 ss LexerT(Reader
0c10: 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 61 72 )...if( isForwar
0c20: 64 52 61 6e 67 65 21 28 52 65 61 64 65 72 29 20 dRange!(Reader)
0c30: 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 && is(ElementTyp
0c40: 65 21 28 52 65 61 64 65 72 29 20 3d 3d 20 64 63 e!(Reader) == dc
0c50: 68 61 72 29 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 har) ).{../// Ra
0c60: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 62 nge primitive..b
0c70: 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 ool empty() /*@p
0c80: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 roperty*/..{...r
0c90: 65 74 75 72 6e 20 63 75 72 72 65 6e 74 20 69 73 eturn current is
0ca0: 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 null;..}...///
0cb0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a Range primitive.
0cc0: 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 20 2f .Token front() /
0cd0: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a *@property*/..{.
0ce0: 09 09 72 65 74 75 72 6e 20 73 74 64 2e 65 78 63 ..return std.exc
0cf0: 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 eption.enforce(c
0d00: 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 urrent, "Lexer h
0d10: 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 as already reach
0d20: 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 7d ed the end");..}
0d30: 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 .../// Range pri
0d40: 6d 69 74 69 76 65 0a 09 76 6f 69 64 20 70 6f 70 mitive..void pop
0d50: 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 Front() /*@prope
0d60: 72 74 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 rty*/..{...std.e
0d70: 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 xception.enforce
0d80: 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 (current, "Lexer
0d90: 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 has already rea
0da0: 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a ched the end");.
0db0: 09 09 63 75 72 72 65 6e 74 20 3d 20 72 65 61 64 ..current = read
0dc0: 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f Next();..}...///
0dd0: 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 Range primitive
0de0: 0a 09 74 79 70 65 6f 66 28 74 68 69 73 29 20 73 ..typeof(this) s
0df0: 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 ave() /*@propert
0e00: 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 y*/..{...return
0e10: 6e 65 77 20 74 79 70 65 6f 66 28 74 68 69 73 29 new typeof(this)
0e20: 28 72 65 61 64 65 72 2e 73 61 76 65 2c 20 63 75 (reader.save, cu
0e30: 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 rrent);..}..priv
0e40: 61 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e ate: // implemen
0e50: 74 61 74 69 6f 6e 0a 0a 09 52 65 61 64 65 72 20 tation...Reader
0e60: 72 65 61 64 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 reader;..Token
0e70: 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 current;...invar
0e80: 69 61 6e 74 28 29 0a 09 7b 0a 09 09 61 73 73 65 iant()..{...asse
0e90: 72 74 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 rt( reader.empty
0ea0: 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 65 2e 69 || !std.ctype.i
0eb0: 73 73 70 61 63 65 28 72 65 61 64 65 72 2e 66 72 sspace(reader.fr
0ec0: 6f 6e 74 29 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 74 ont) );..}.....t
0ed0: 68 69 73 28 20 52 65 61 64 65 72 20 72 65 61 64 his( Reader read
0ee0: 65 72 2c 20 54 6f 6b 65 6e 20 63 75 72 72 65 6e er, Token curren
0ef0: 74 20 3d 20 6e 75 6c 6c 20 29 0d 0a 09 7b 0d 0a t = null )...{..
0f00: 09 09 74 68 69 73 2e 72 65 61 64 65 72 20 3d 20 ..this.reader =
0f10: 72 65 61 64 65 72 3b 0d 0a 09 09 72 65 61 64 57 reader;....readW
0f20: 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b 0d hile!isSpace();.
0f30: 0a 09 09 74 68 69 73 2e 63 75 72 72 65 6e 74 20 ...this.current
0f40: 3d 20 28 63 75 72 72 65 6e 74 20 69 73 20 6e 75 = (current is nu
0f50: 6c 6c 20 3f 20 72 65 61 64 4e 65 78 74 28 29 20 ll ? readNext()
0f60: 3a 20 63 75 72 72 65 6e 74 29 3b 0d 0a 09 7d 0d : current);...}.
0f70: 0a 0d 0a 09 70 75 62 6c 69 63 20 73 74 61 74 69 ....public stati
0f80: 63 20 7b 0a 09 09 62 6f 6f 6c 20 69 73 53 70 61 c {...bool isSpa
0f90: 63 65 20 20 20 28 64 63 68 61 72 20 63 29 20 7b ce (dchar c) {
0fa0: 20 72 65 74 75 72 6e 20 73 74 64 2e 63 74 79 70 return std.ctyp
0fb0: 65 2e 69 73 73 70 61 63 65 28 63 29 21 3d 30 3b e.isspace(c)!=0;
0fc0: 20 7d 0a 09 09 62 6f 6f 6c 20 69 73 53 79 6d 62 }...bool isSymb
0fd0: 6f 6c 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 ol (dchar c) {
0fe0: 72 65 74 75 72 6e 20 30 78 32 31 3c 3d 63 20 26 return 0x21<=c &
0ff0: 26 20 63 3c 3d 30 78 37 66 20 26 26 20 21 73 74 & c<=0x7f && !st
1000: 64 2e 63 74 79 70 65 2e 69 73 61 6c 6e 75 6d 28 d.ctype.isalnum(
1010: 63 29 20 26 26 20 63 21 3d 27 5f 27 20 26 26 20 c) && c!='_' &&
1020: 63 21 3d 27 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f c!='\''; }....bo
1030: 6f 6c 20 69 73 53 53 79 6d 62 6f 6c 20 28 64 63 ol isSSymbol (dc
1040: 68 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 har c) { return
1050: 22 28 29 5b 5d 7b 7d 3b 40 22 2e 63 61 6e 46 69 "()[]{};@".canFi
1060: 6e 64 28 63 29 3b 20 7d 0d 0a 09 09 62 6f 6f 6c nd(c); }....bool
1070: 20 69 73 4d 53 79 6d 62 6f 6c 20 28 64 63 68 61 isMSymbol (dcha
1080: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 69 73 r c) { return is
1090: 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 21 69 73 Symbol(c) && !is
10a0: 53 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 63 21 SSymbol(c) && c!
10b0: 3d 27 22 27 20 26 26 20 63 21 3d 27 23 27 3b 20 ='"' && c!='#';
10c0: 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 74 }....bool isLett
10d0: 65 72 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 er (dchar c) {
10e0: 72 65 74 75 72 6e 20 21 69 73 53 70 61 63 65 28 return !isSpace(
10f0: 63 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 c) && !isSymbol(
1100: 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 c); }...}.....st
1110: 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 28 ring readQuoted(
1120: 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f const LexPositio
1130: 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 75 n pos){char[] bu
1140: 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 51 75 f; return readQu
1150: 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d 0d oted(pos,buf);}.
1160: 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f ..string readQuo
1170: 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 ted(const LexPos
1180: 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 63 ition pos, ref c
1190: 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a har[] buf)...{..
11a0: 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 ..if( reader.emp
11b0: 74 79 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 67 ty ).....throw g
11c0: 65 6e 65 78 21 55 6e 65 78 70 65 63 74 65 64 45 enex!UnexpectedE
11d0: 4f 46 28 70 6f 73 2c 20 22 51 75 6f 74 65 64 20 OF(pos, "Quoted
11e0: 73 74 72 69 6e 67 20 6e 6f 74 20 74 65 72 6d 69 string not termi
11f0: 6e 61 74 65 64 22 29 3b 0d 0a 09 09 64 63 68 61 nated");....dcha
1200: 72 20 63 20 3d 20 72 65 61 64 65 72 2e 66 72 6f r c = reader.fro
1210: 6e 74 3b 0d 0a 09 09 72 65 61 64 65 72 2e 70 6f nt;....reader.po
1220: 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 pFront;....if( c
1230: 20 3d 3d 20 27 22 27 20 29 0d 0a 09 09 09 72 65 == '"' ).....re
1240: 74 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 turn assumeUniqu
1250: 65 28 62 75 66 29 3b 0d 0a 09 09 69 66 28 20 63 e(buf);....if( c
1260: 20 3d 3d 20 27 5c 5c 27 20 26 26 20 21 72 65 61 == '\\' && !rea
1270: 64 65 72 2e 65 6d 70 74 79 20 29 20 7b 0d 0a 09 der.empty ) {...
1280: 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f ..if( reader.fro
1290: 6e 74 3d 3d 27 22 27 20 29 20 7b 0d 0a 09 09 09 nt=='"' ) {.....
12a0: 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 .reader.popFront
12b0: 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 ;......return re
12c0: 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 adQuoted(pos,buf
12d0: 20 7e 3d 20 27 5c 22 27 29 3b 0d 0a 09 09 09 7d ~= '\"');.....}
12e0: 0d 0a 09 09 09 69 66 28 20 72 65 61 64 65 72 2e .....if( reader.
12f0: 66 72 6f 6e 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d front=='\\' ) {.
1300: 0a 09 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 .....reader.popF
1310: 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 ront;......retur
1320: 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 n readQuoted(pos
1330: 2c 62 75 66 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a ,buf ~= '\\');..
1340: 09 09 09 7d 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 ...}....}....ret
1350: 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 urn readQuoted(p
1360: 6f 73 2c 62 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 os,buf ~= c);...
1370: 7d 0d 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 }.....string rea
1380: 64 57 68 69 6c 65 28 61 6c 69 61 73 20 66 6e 29 dWhile(alias fn)
1390: 28 29 0d 0a 09 7b 0d 0a 09 09 63 68 61 72 5b 5d ()...{....char[]
13a0: 20 62 75 66 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 buf;....for(; !
13b0: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 26 26 20 reader.empty &&
13c0: 66 6e 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 fn(reader.front)
13d0: 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e ; reader.popFron
13e0: 74 29 0d 0a 09 09 09 62 75 66 20 7e 3d 20 72 65 t).....buf ~= re
13f0: 61 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 ader.front;....r
1400: 65 74 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 eturn assumeUniq
1410: 75 65 28 62 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 ue(buf);...}...T
1420: 6f 6b 65 6e 20 72 65 61 64 4e 65 78 74 28 29 0a oken readNext().
1430: 09 7b 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e .{...if( reader.
1440: 65 6d 70 74 79 20 29 0a 09 09 09 72 65 74 75 72 empty )....retur
1450: 6e 20 6e 75 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 n null;....scope
1460: 28 73 75 63 63 65 73 73 29 0d 0a 09 09 09 72 65 (success).....re
1470: 61 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 adWhile!isSpace(
1480: 29 3b 0d 0a 09 09 69 66 28 20 72 65 61 64 65 72 );....if( reader
1490: 2e 66 72 6f 6e 74 20 3d 3d 20 27 23 27 20 29 20 .front == '#' )
14a0: 2f 2f 20 63 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d // comment....{.
14b0: 0a 09 09 09 72 65 61 64 65 72 20 3d 20 66 69 6e ....reader = fin
14c0: 64 28 72 65 61 64 65 72 2c 20 27 5c 6e 27 29 3b d(reader, '\n');
14d0: 0d 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 .....readWhile!i
14e0: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 09 72 65 sSpace();.....re
14f0: 74 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b turn readNext();
1500: 0d 0a 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 ....}...else if(
1510: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d reader.front ==
1520: 20 27 22 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 '"' ) // quoted
1530: 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 ....{.....auto p
1540: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
1550: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a entPosition();..
1560: 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f ...reader.popFro
1570: 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e nt;.....return n
1580: 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 ew Token(pos, re
1590: 61 64 51 75 6f 74 65 64 28 70 6f 73 29 2c 20 74 adQuoted(pos), t
15a0: 72 75 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c rue);....}....el
15b0: 73 65 20 69 66 28 20 69 73 53 53 79 6d 62 6f 6c se if( isSSymbol
15c0: 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 (reader.front) )
15d0: 20 2f 2f 20 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a // paren....{..
15e0: 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 ...auto pos = re
15f0: 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 ader.currentPosi
1600: 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 73 74 72 69 tion();.....stri
1610: 6e 67 20 73 3b 20 73 7e 3d 72 65 61 64 65 72 2e ng s; s~=reader.
1620: 66 72 6f 6e 74 3b 20 72 65 61 64 65 72 2e 70 6f front; reader.po
1630: 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 pFront;.....retu
1640: 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 rn new Token(pos
1650: 2c 20 73 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 , s, false);....
1660: 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 }....else if( is
1670: 4d 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 MSymbol(reader.f
1680: 72 6f 6e 74 29 20 29 20 2f 2f 20 73 79 6d 62 6f ront) ) // symbo
1690: 6c 0d 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 l....{....auto p
16a0: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
16b0: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 entPosition();..
16c0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
16d0: 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c en(pos, readWhil
16e0: 65 21 69 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 e!isMSymbol(), f
16f0: 61 6c 73 65 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 alse);...}...els
1700: 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f e...{....auto po
1710: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
1720: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 ntPosition();...
1730: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
1740: 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c en(pos, readWhil
1750: 65 21 69 73 4c 65 74 74 65 72 28 29 2c 20 66 61 e!isLetter(), fa
1760: 6c 73 65 29 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a lse);....}..}.}.
1770: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 .unittest.{..ass
1780: 65 72 74 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 ert( std.range.i
1790: 73 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 4c sForwardRange!(L
17a0: 65 78 65 72 29 20 29 3b 0a 09 61 73 73 65 72 74 exer) );..assert
17b0: 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 ( is(ElementType
17c0: 21 28 4c 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 !(Lexer) == Toke
17d0: 6e 29 20 29 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 n) );..}..unitte
17e0: 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d st.{..auto lex =
17f0: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
1800: 28 22 74 68 69 73 09 69 73 20 61 20 5c 74 5c 72 ("this.is a \t\r
1810: 5c 6e 20 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 \n pen :-( @@;
1820: 22 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 ");..Token[] ts
1830: 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 = std.array.arra
1840: 79 28 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 y(lex);...assert
1850: 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c _eq( ts[0].pos.l
1860: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
1870: 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f ert_eq( ts[0].po
1880: 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 s.column, 1 );..
1890: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d assert( !ts[0]
18a0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
18b0: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 rt_eq( ts[0].str
18c0: 2c 20 22 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 , "this" );...as
18d0: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 sert_eq( ts[1].p
18e0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
18f0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 .assert_eq( ts[1
1900: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 ].pos.column, 6
1910: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
1920: 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[1].quoted );..
1930: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d assert_eq( ts[1]
1940: 2e 73 74 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 .str, "is" );...
1950: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d assert_eq( ts[2]
1960: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 .pos.lineno, 1 )
1970: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1980: 5b 32 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 [2].pos.column,
1990: 39 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 9 );..assert(
19a0: 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[2].quoted );
19b0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
19c0: 32 5d 2e 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 2].str, "a" );..
19d0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 .assert_eq( ts[3
19e0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 ].pos.lineno, 2
19f0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1a00: 73 5b 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c s[3].pos.column,
1a10: 20 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 2 );..assert(
1a20: 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 !ts[3].quoted )
1a30: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1a40: 5b 33 5d 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 [3].str, "pen" )
1a50: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1a60: 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[4].pos.lineno,
1a70: 20 32 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 2 );..assert_eq
1a80: 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[4].pos.colu
1a90: 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 mn, 6 );..assert
1aa0: 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 _eq( ts[4].str,
1ab0: 22 3a 2d 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 ":-" );...assert
1ac0: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c _eq( ts[5].pos.l
1ad0: 69 6e 65 6e 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 ineno, 2 );...as
1ae0: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 sert_eq( ts[5].p
1af0: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d os.column, 8 );.
1b00: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1b10: 35 5d 2e 73 74 72 2c 20 22 28 22 20 29 3b 0d 0a 5].str, "(" );..
1b20: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 .assert_eq( ts[6
1b30: 5d 2e 73 74 72 2c 20 22 40 22 20 29 3b 0d 0a 09 ].str, "@" );...
1b40: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 37 5d assert_eq( ts[7]
1b50: 2e 73 74 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 .str, "@" );...a
1b60: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e ssert_eq( ts[8].
1b70: 73 74 72 2c 20 22 3b 22 20 29 3b 20 2f 2f 20 70 str, ";" ); // p
1b80: 61 72 65 6e 20 61 6e 64 20 73 69 6d 69 63 6f 6c aren and simicol
1b90: 6f 6e 73 2c 20 61 74 6d 61 72 6b 73 20 61 72 65 ons, atmarks are
1ba0: 20 73 70 6c 69 74 0d 0a 0d 0a 09 61 73 73 65 72 split.....asser
1bb0: 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c t_eq( ts.length,
1bc0: 20 39 20 29 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 9 );.}..unittes
1bd0: 74 0a 7b 0a 09 2f 2f 20 21 21 20 62 65 20 73 75 t.{..// !! be su
1be0: 72 65 20 74 6f 20 72 75 6e 20 74 68 65 20 75 6e re to run the un
1bf0: 69 74 74 65 73 74 20 6f 6e 20 74 68 65 20 72 6f ittest on the ro
1c00: 6f 74 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 ot of the source
1c10: 20 64 69 72 65 63 74 6f 72 79 0a 09 61 75 74 6f directory..auto
1c20: 20 6c 65 78 66 20 3d 20 6c 65 78 65 72 46 72 6f lexf = lexerFro
1c30: 6d 46 69 6c 65 28 22 70 6f 6c 65 6d 79 2f 6c 65 mFile("polemy/le
1c40: 78 2e 64 22 29 3b 09 0a 09 6c 65 78 66 20 3d 20 x.d");...lexf =
1c50: 66 69 6e 64 21 60 61 2e 73 74 72 20 3d 3d 20 22 find!`a.str == "
1c60: 6d 6f 64 75 6c 65 22 60 28 6c 65 78 66 29 3b 0a module"`(lexf);.
1c70: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1c80: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 6d 6f 64 .front.str, "mod
1c90: 75 6c 65 22 20 29 3b 0a 09 61 73 73 65 72 74 5f ule" );..assert_
1ca0: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 eq( lexf.front.p
1cb0: 6f 73 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 70 6f os.filename, "po
1cc0: 6c 65 6d 79 2f 6c 65 78 2e 64 22 20 29 3b 0a 09 lemy/lex.d" );..
1cd0: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1ce0: 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f front.pos.lineno
1cf0: 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 7 );..assert_e
1d00: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1d10: 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 s.column, 1 );..
1d20: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 lexf.popFront;..
1d30: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1d40: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 70 6f 6c 65 front.str, "pole
1d50: 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 my" );..assert_e
1d60: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1d70: 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 s.lineno, 7 );..
1d80: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1d90: 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e front.pos.column
1da0: 2c 20 38 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 , 8 );..lexf.pop
1db0: 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 Front;..lexf.pop
1dc0: 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 Front;..lexf.pop
1dd0: 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 Front;..lexf.pop
1de0: 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 Front;..assert_e
1df0: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 q( lexf.front.st
1e00: 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 3b 0a 09 r, "import" );..
1e10: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1e20: 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f front.pos.lineno
1e30: 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 8 );..assert_e
1e40: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1e50: 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 7d s.column, 1 );.}
1e60: 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a ...unittest..{..
1e70: 09 61 73 73 65 72 74 5f 74 68 72 6f 77 21 55 6e .assert_throw!Un
1e80: 65 78 70 65 63 74 65 64 45 4f 46 28 20 6c 65 78 expectedEOF( lex
1e90: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 22 60 erFromString(`"`
1ea0: 29 20 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 74 65 ) );..}...unitte
1eb0: 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d st.{..auto lex =
1ec0: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
1ed0: 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 20 73 (`my # comment s
1ee0: 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e 60 23 hould`~"\r\n"~`#
1ef0: 20 68 65 79 21 21 0a 62 65 20 69 67 6e 6f 72 65 hey!!.be ignore
1f00: 64 2e 0a 68 61 68 61 68 61 22 68 69 68 69 68 69 d..hahaha"hihihi
1f10: 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 31 32 ""hu\\\"huhu"#12
1f20: 33 20 61 61 0a 31 32 33 20 61 61 20 22 61 61 61 3 aa.123 aa "aaa
1f30: 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 20 31 32 `~"\n"~`bbb # 12
1f40: 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 22 0a 3`~"\r\n"~`eee".
1f50: 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e 5b 5d zzz.`);..Token[]
1f60: 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 79 2e ts = std.array.
1f70: 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 61 73 73 array(lex);..ass
1f80: 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 ert_eq( ts[0].st
1f90: 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 73 73 65 r, "my" );..asse
1fa0: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 rt_eq( ts[0].pos
1fb0: 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 .lineno, 1 );..a
1fc0: 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e ssert( !ts[0].
1fd0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1fe0: 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c t_eq( ts[1].str,
1ff0: 20 22 62 65 22 20 29 3b 0a 09 61 73 73 65 72 74 "be" );..assert
2000: 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c _eq( ts[1].pos.l
2010: 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 73 73 ineno, 3 );..ass
2020: 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 ert( !ts[1].qu
2030: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2040: 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 eq( ts[2].str, "
2050: 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 61 73 73 ignored" );..ass
2060: 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 75 ert( !ts[2].qu
2070: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2080: 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 eq( ts[3].str, "
2090: 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 ." );..assert(
20a0: 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 !ts[3].quoted )
20b0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
20c0: 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 61 68 61 [4].str, "hahaha
20d0: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
20e0: 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[4].pos.linen
20f0: 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 o, 4 );..assert(
2100: 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f 74 65 64 !ts[4].quoted
2110: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
2120: 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 69 68 69 ts[5].str, "hihi
2130: 68 69 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 hi" );..assert_e
2140: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e q( ts[5].pos.lin
2150: 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 eno, 4 );..asser
2160: 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 75 6f 74 t( ts[5].quot
2170: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
2180: 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 60 68 75 ( ts[6].str, `hu
2190: 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 73 73 65 \"huhu` );..asse
21a0: 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 6f 73 rt_eq( ts[6].pos
21b0: 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 .lineno, 4 );..a
21c0: 73 73 65 72 74 28 20 20 20 20 74 73 5b 36 5d 2e ssert( ts[6].
21d0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
21e0: 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c t_eq( ts[7].str,
21f0: 20 22 31 32 33 22 20 29 3b 0a 09 61 73 73 65 72 "123" );..asser
2200: 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 6f 73 2e t_eq( ts[7].pos.
2210: 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 lineno, 5 );..as
2220: 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 sert_eq( ts[8].s
2230: 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 61 73 73 tr, "aa" );..ass
2240: 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 70 6f ert_eq( ts[9].po
2250: 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 s.lineno, 5 );..
2260: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d assert_eq( ts[9]
2270: 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 62 20 .str, "aaa\nbbb
2280: 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b 0a 09 # 123\neee" );..
2290: 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 39 5d assert( ts[9]
22a0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
22b0: 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e 70 6f rt_eq( ts[10].po
22c0: 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 s.lineno, 8 );..
22d0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 30 assert( !ts[10
22e0: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
22f0: 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 74 ert_eq( ts.lengt
2300: 68 2c 20 31 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 h, 11 );.}...uni
2310: 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 ttest..{...auto
2320: 6c 65 78 32 20 3d 20 6c 65 78 65 72 46 72 6f 6d lex2 = lexerFrom
2330: 53 74 72 69 6e 67 28 22 20 61 31 32 5c 6e 33 61 String(" a12\n3a
2340: 20 35 20 22 29 3b 0d 0a 09 61 73 73 65 72 74 5f 5 ");...assert_
2350: 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 eq( lex2.front.s
2360: 74 72 2c 20 22 61 31 32 22 20 29 3b 0d 0a 09 6c tr, "a12" );...l
2370: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 ex2.popFront;...
2380: 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 78 32 auto lex3 = lex2
2390: 2e 73 61 76 65 3b 0d 0a 09 61 73 73 65 72 74 5f .save;...assert_
23a0: 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 eq( lex2.front.s
23b0: 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 6c 65 tr, "3a" );...le
23c0: 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 x2.popFront;...a
23d0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 ssert_eq( lex3.f
23e0: 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 29 ront.str, "3a" )
23f0: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c ;...assert_eq( l
2400: 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 ex2.front.str, "
2410: 35 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 5" );...lex2.pop
2420: 46 72 6f 6e 74 3b 0d 0a 09 6c 65 78 33 2e 70 6f Front;...lex3.po
2430: 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 pFront;...assert
2440: 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 3b 0d ( lex2.empty );.
2450: 0a 09 61 73 73 65 72 74 28 20 21 6c 65 78 33 2e ..assert( !lex3.
2460: 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 empty );...asser
2470: 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 t_eq( lex3.front
2480: 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a 7d 0d .str, "5" );..}.
2490: 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a ...unittest..{..
24a0: 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 .auto lex = lexe
24b0: 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 3d 22 22 rFromString(`=""
24c0: 60 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 `);...assert_eq(
24d0: 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 lex.front.str, "
24e0: 3d 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e ="); lex.popFron
24f0: 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 6c t;...assert_eq(l
2500: 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 22 ex.front.str, ""
2510: 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b ); lex.popFront;
2520: 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 2e 65 ...assert( lex.e
2530: 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 mpty );...assert
2540: 5f 65 71 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 _eq( lexerFromSt
2550: 72 69 6e 67 28 60 2d 40 60 29 2e 66 72 6f 6e 74 ring(`-@`).front
2560: 2e 73 74 72 2c 20 22 2d 22 20 29 3b 0d 0a 7d 0d .str, "-" );..}.
2570: 0a 0d 0a 2f 2f 2f 20 46 6f 72 77 61 72 64 20 72 .../// Forward r
2580: 61 6e 67 65 20 66 6f 72 20 72 65 61 64 65 72 20 ange for reader
2590: 63 68 61 72 61 63 74 65 72 20 62 79 20 63 68 61 character by cha
25a0: 72 61 63 74 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 racter,../// kee
25b0: 70 69 6e 67 20 74 72 61 63 6b 20 6f 66 20 70 6f ping track of po
25c0: 73 69 74 69 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 sition informati
25d0: 6f 6e 20 61 6e 64 20 63 61 72 69 6e 67 20 5c 72 on and caring \r
25e0: 5c 6e 20 2d 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 \n -> \n convers
25f0: 69 6f 6e 2e 0d 0a 0d 0a 70 72 69 76 61 74 65 0d ion.....private.
2600: 0a 73 74 72 75 63 74 20 50 6f 73 69 74 69 6f 6e .struct Position
2610: 65 64 52 65 61 64 65 72 28 43 68 61 72 53 65 71 edReader(CharSeq
2620: 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 61 72 )...if( isForwar
2630: 64 52 61 6e 67 65 21 28 43 68 61 72 53 65 71 29 dRange!(CharSeq)
2640: 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 && is(ElementTy
2650: 70 65 21 28 43 68 61 72 53 65 71 29 20 3d 3d 20 pe!(CharSeq) ==
2660: 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a 09 43 68 dchar) )..{...Ch
2670: 61 72 53 65 71 20 62 75 66 66 65 72 3b 0d 0a 09 arSeq buffer;...
2680: 73 74 72 69 6e 67 20 20 66 69 6c 65 6e 61 6d 65 string filename
2690: 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c 69 6e 65 ;...int line
26a0: 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 20 63 6f no;...int co
26b0: 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 lumn;...../// Ra
26c0: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 nge primitive...
26d0: 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 bool empty() /*@
26e0: 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a property*/...{..
26f0: 09 09 72 65 74 75 72 6e 20 62 75 66 66 65 72 2e ..return buffer.
2700: 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f empty;...}...../
2710: 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 // Range primiti
2720: 76 65 0d 0a 09 64 63 68 61 72 20 66 72 6f 6e 74 ve...dchar front
2730: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
2740: 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 ...{....dchar c
2750: 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d = buffer.front;.
2760: 0a 09 09 72 65 74 75 72 6e 20 28 63 3d 3d 27 5c ...return (c=='\
2770: 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 29 3b 0d r' ? '\n' : c);.
2780: 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 ..}...../// Rang
2790: 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 76 6f e primitive...vo
27a0: 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a id popFront() /*
27b0: 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d @property*/...{.
27c0: 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75 66 ...dchar c = buf
27d0: 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 62 75 fer.front;....bu
27e0: 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a ffer.popFront;..
27f0: 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 20 29 0d ..if( c=='\r' ).
2800: 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 21 62 75 ...{.....if( !bu
2810: 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 62 75 ffer.empty && bu
2820: 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c 6e 27 ffer.front=='\n'
2830: 20 29 0d 0a 09 09 09 09 62 75 66 66 65 72 2e 70 )......buffer.p
2840: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 63 20 3d opFront;.....c =
2850: 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a 09 09 69 '\n';....}....i
2860: 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d 0a 09 09 f( c=='\n' )....
2870: 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b {.....lineno ++;
2880: 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b .....column = 1;
2890: 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 0d 0a 09 ....}....else...
28a0: 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a 09 7d ..column ++;...}
28b0: 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 ...../// Range p
28c0: 72 69 6d 69 74 69 76 65 0d 0a 09 74 79 70 65 6f rimitive...typeo
28d0: 66 28 74 68 69 73 29 20 73 61 76 65 28 29 20 2f f(this) save() /
28e0: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b *@property*/...{
28f0: 0d 0a 09 09 72 65 74 75 72 6e 20 74 68 69 73 3b ....return this;
2900: 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 65 74 ...}...../// Get
2910: 20 74 68 65 20 63 75 72 72 65 6e 74 20 70 6f 73 the current pos
2920: 69 74 69 6f 6e 0d 0a 09 69 6d 6d 75 74 61 62 6c ition...immutabl
2930: 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 63 e(LexPosition) c
2940: 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 urrentPosition()
2950: 20 63 6f 6e 73 74 0d 0a 09 7b 0d 0a 09 09 72 65 const...{....re
2960: 74 75 72 6e 20 6e 65 77 20 69 6d 6d 75 74 61 62 turn new immutab
2970: 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 le(LexPosition)(
2980: 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f filename, lineno
2990: 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a , column);...}..
29a0: 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b }....unittest..{
29b0: 0d 0a 09 61 73 73 65 72 74 28 20 69 73 46 6f 72 ...assert( isFor
29c0: 77 61 72 64 52 61 6e 67 65 21 28 50 6f 73 69 74 wardRange!(Posit
29d0: 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 72 69 ionedReader!stri
29e0: 6e 67 29 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 ng) );...assert(
29f0: 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 is(ElementType!
2a00: 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 (PositionedReade
2a10: 72 21 73 74 72 69 6e 67 29 20 3d 3d 20 64 63 68 r!string) == dch
2a20: 61 72 29 20 29 3b 0d 0a 7d 0d 0a ar) );..}..