0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2f 2f 20 isalnum;....///
00f0: 45 78 63 65 70 74 69 6f 6e 20 66 72 6f 6d 20 74 Exception from t
0100: 68 69 73 20 6d 6f 64 75 6c 65 0d 0a 0d 0a 63 6c his module....cl
0110: 61 73 73 20 4c 65 78 45 78 63 65 70 74 69 6f 6e ass LexException
0120: 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d : Exception..{.
0130: 0a 09 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 ..const LexPosit
0140: 69 6f 6e 20 70 6f 73 3b 0d 0a 0d 0a 09 74 68 69 ion pos;.....thi
0150: 73 28 20 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 s( const LexPosi
0160: 74 69 6f 6e 20 70 6f 73 2c 20 73 74 72 69 6e 67 tion pos, string
0170: 20 6d 73 67 2c 20 73 74 72 69 6e 67 20 66 69 6c msg, string fil
0180: 65 3d 6e 75 6c 6c 2c 20 73 69 7a 65 5f 74 20 6c e=null, size_t l
0190: 69 6e 65 3d 30 2c 20 54 68 72 6f 77 61 62 6c 65 ine=0, Throwable
01a0: 20 6e 65 78 74 3d 6e 75 6c 6c 20 29 0d 0a 09 09 next=null )....
01b0: 7b 20 73 75 70 65 72 28 73 70 72 69 6e 74 66 21 { super(sprintf!
01c0: 22 5b 25 73 5d 20 25 73 22 28 70 6f 73 2c 20 6d "[%s] %s"(pos, m
01d0: 73 67 29 2c 20 66 69 6c 65 2c 20 6c 69 6e 65 2c sg), file, line,
01e0: 20 6e 65 78 74 29 3b 20 74 68 69 73 2e 70 6f 73 next); this.pos
01f0: 20 3d 20 70 6f 73 3b 20 7d 0d 0a 7d 3b 0d 0a 0d = pos; }..};...
0200: 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 ./// Represents
0210: 61 20 70 6f 73 69 74 69 6f 6e 20 69 6e 20 61 20 a position in a
0220: 73 6f 75 72 63 65 20 63 6f 64 65 0a 0a 63 6c 61 source code..cla
0230: 73 73 20 4c 65 78 50 6f 73 69 74 69 6f 6e 0a 7b ss LexPosition.{
0240: 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 ..immutable stri
0250: 6e 67 20 66 69 6c 65 6e 61 6d 65 3b 20 2f 2f 2f ng filename; ///
0260: 20 6e 61 6d 65 20 6f 66 20 74 68 65 20 73 6f 75 name of the sou
0270: 72 63 65 20 66 69 6c 65 0a 09 69 6d 6d 75 74 61 rce file..immuta
0280: 62 6c 65 20 69 6e 74 20 20 20 20 6c 69 6e 65 6e ble int linen
0290: 6f 3b 20 20 20 2f 2f 2f 20 31 2d 6f 72 69 67 69 o; /// 1-origi
02a0: 6e 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 6e 74 n..immutable int
02b0: 20 20 20 20 63 6f 6c 75 6d 6e 3b 20 20 20 2f 2f column; //
02c0: 2f 20 31 2d 6f 72 69 67 69 6e 0a 0d 0a 09 6d 69 / 1-origin....mi
02d0: 78 69 6e 20 53 69 6d 70 6c 65 43 6c 61 73 73 3b xin SimpleClass;
02e0: 0a 09 6f 76 65 72 72 69 64 65 20 73 74 72 69 6e ..override strin
02f0: 67 20 74 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e g toString() con
0300: 73 74 0a 09 09 7b 20 72 65 74 75 72 6e 20 73 70 st...{ return sp
0310: 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 64 22 rintf!"%s:%d:%d"
0320: 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e (filename, linen
0330: 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0a 0d 0a o, column); }...
0340: 09 73 74 61 74 69 63 20 69 6d 6d 75 74 61 62 6c .static immutabl
0350: 65 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 64 75 e LexPosition du
0360: 6d 6d 79 3b 0d 0a 09 73 74 61 74 69 63 20 74 68 mmy;...static th
0370: 69 73 28 29 7b 20 64 75 6d 6d 79 20 3d 20 6e 65 is(){ dummy = ne
0380: 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 w immutable(LexP
0390: 6f 73 69 74 69 6f 6e 29 28 22 3c 75 6e 6e 61 6d osition)("<unnam
03a0: 65 64 3e 22 2c 30 2c 30 29 3b 20 7d 0d 0a 7d 0a ed>",0,0); }..}.
03b0: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 .unittest.{..aut
03c0: 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 o p = new LexPos
03d0: 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 ition("hello.cpp
03e0: 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 0a 09 61 ", 123, 45);...a
03f0: 73 73 65 72 74 5f 65 71 28 20 70 2e 66 69 6c 65 ssert_eq( p.file
0400: 6e 61 6d 65 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 name, "hello.cpp
0410: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
0420: 20 70 2e 6c 69 6e 65 6e 6f 2c 20 31 32 33 20 29 p.lineno, 123 )
0430: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e ;..assert_eq( p.
0440: 63 6f 6c 75 6d 6e 2c 20 34 35 20 29 3b 0a 09 61 column, 45 );..a
0450: 73 73 65 72 74 5f 65 71 28 20 74 6f 21 73 74 72 ssert_eq( to!str
0460: 69 6e 67 28 70 29 2c 20 22 68 65 6c 6c 6f 2e 63 ing(p), "hello.c
0470: 70 70 3a 31 32 33 3a 34 35 22 20 29 3b 0a 0a 09 pp:123:45" );...
0480: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0490: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 s(compiles, new
04a0: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 3b 0a LexPosition) );.
04b0: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
04c0: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 66 ts(compiles, p.f
04d0: 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 20 29 ilename="foo") )
04e0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
04f0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0500: 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 20 29 .lineno =789) )
0510: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0520: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0530: 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 20 29 .column =222) )
0540: 3b 0a 0d 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 ;....auto q = ne
0550: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 w LexPosition("h
0560: 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 ello.cpp", 123,
0570: 34 36 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6c 74 46);...assert_lt
0580: 28 20 70 2c 20 71 20 29 3b 0d 0a 09 61 73 73 65 ( p, q );...asse
0590: 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b 0d 0a rt_ne( p, q );..
05a0: 7d 0a 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 }../// Represent
05b0: 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a s a lexer token.
05c0: 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a 09 .class Token.{..
05d0: 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 immutable LexPos
05e0: 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f 2f ition pos; //
05f0: 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 72 65 / Position where
0600: 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75 72 the token occur
0610: 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 72 63 red in the sourc
0620: 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 e..immutable str
0630: 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 20 20 ing str;
0640: 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20 73 /// The token s
0650: 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 69 6d tring itself..im
0660: 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20 20 mutable bool
0670: 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f 20 quoted; ///
0680: 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 65 64 Was it a "quoted
0690: 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75 6f " token or unquo
06a0: 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69 6d ted?...mixin Sim
06b0: 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e 69 pleClass;.}..uni
06c0: 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 ttest.{..auto p
06d0: 3d 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 = new immutable(
06e0: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 68 65 LexPosition)("he
06f0: 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 llo.cpp", 123, 4
0700: 35 29 3b 0a 09 61 75 74 6f 20 74 20 3d 20 6e 65 5);..auto t = ne
0710: 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 w Token(p, "clas
0720: 73 22 2c 20 66 61 6c 73 65 29 3b 0a 09 61 75 74 s", false);..aut
0730: 6f 20 75 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 o u = new Token(
0740: 70 2c 20 22 63 6c 61 73 73 22 2c 20 74 72 75 65 p, "class", true
0750: 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
0760: 74 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 61 73 73 t.pos, p );..ass
0770: 65 72 74 5f 65 71 28 20 74 2e 73 74 72 2c 20 22 ert_eq( t.str, "
0780: 63 6c 61 73 73 22 20 29 3b 0a 09 61 73 73 65 72 class" );..asser
0790: 74 28 20 21 74 2e 71 75 6f 74 65 64 20 29 3b 0a t( !t.quoted );.
07a0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 2c 20 6e .assert_eq( t, n
07b0: 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 ew Token(p, "cla
07c0: 73 73 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 ss", false) );..
07d0: 61 73 73 65 72 74 5f 6c 74 28 20 74 2c 20 6e 65 assert_lt( t, ne
07e0: 77 20 54 6f 6b 65 6e 28 70 2c 20 22 73 74 72 75 w Token(p, "stru
07f0: 63 74 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 ct", false) );..
0800: 61 73 73 65 72 74 5f 6e 65 28 20 74 2c 20 75 20 assert_ne( t, u
0810: 29 3b 0a 09 61 73 73 65 72 74 28 20 75 2e 71 75 );..assert( u.qu
0820: 6f 74 65 64 20 29 3b 0a 0a 09 61 73 73 65 72 74 oted );...assert
0830: 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 ( !__traits(comp
0840: 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b 65 6e 29 iles, new Token)
0850: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0860: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0870: 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 61 73 t.pos=p) );..as
0880: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0890: 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 74 72 3d compiles, t.str=
08a0: 37 38 39 29 20 29 3b 0a 09 61 73 73 65 72 74 28 789) );..assert(
08b0: 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 !__traits(compi
08c0: 6c 65 73 2c 20 74 2e 71 75 6f 74 65 64 3d 74 72 les, t.quoted=tr
08d0: 75 65 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 4e 61 ue) );.}../// Na
08e0: 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 73 20 med Construtors
08f0: 66 6f 72 20 4c 65 78 65 72 0a 0a 61 75 74 6f 20 for Lexer..auto
0900: 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 54 2e lexerFromFile(T.
0910: 2e 2e 29 28 20 73 74 72 69 6e 67 20 66 69 6c 65 ..)( string file
0920: 6e 61 6d 65 2c 20 54 20 72 65 73 74 20 29 0a 7b name, T rest ).{
0930: 0a 09 72 65 74 75 72 6e 20 6c 65 78 65 72 46 72 ..return lexerFr
0940: 6f 6d 53 74 72 69 6e 67 28 20 73 74 64 2e 66 69 omString( std.fi
0950: 6c 65 2e 72 65 61 64 54 65 78 74 28 66 69 6c 65 le.readText(file
0960: 6e 61 6d 65 29 2c 20 66 69 6c 65 6e 61 6d 65 2c name), filename,
0970: 20 72 65 73 74 20 29 3b 0a 7d 0a 09 0a 61 75 74 rest );.}...aut
0980: 6f 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e o lexerFromStrin
0990: 67 28 43 68 61 72 53 65 71 29 28 20 43 68 61 72 g(CharSeq)( Char
09a0: 53 65 71 20 73 74 72 2c 20 73 74 72 69 6e 67 20 Seq str, string
09b0: 66 69 6c 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d filename="<unnam
09c0: 65 64 3e 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f ed>", int lineno
09d0: 3d 31 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 =1, int column=1
09e0: 20 29 0a 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 ).{. .return ne
09f0: 77 20 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 w LexerT!(Positi
0a00: 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72 53 onedReader!CharS
0a10: 65 71 29 28 0d 0a 09 09 50 6f 73 69 74 69 6f 6e eq)(....Position
0a20: 65 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71 edReader!CharSeq
0a30: 28 73 74 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 (str, filename,
0a40: 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0d lineno, column).
0a50: 0a 09 29 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e ..);.}../// Stan
0a60: 64 61 72 64 20 4c 65 78 65 72 20 54 79 70 65 20 dard Lexer Type
0a70: 28 61 6c 6c 20 79 6f 75 20 68 61 76 65 20 74 6f (all you have to
0a80: 20 6b 6e 6f 77 20 69 73 20 74 68 61 74 20 74 68 know is that th
0a90: 69 73 20 69 73 20 61 20 66 6f 72 77 61 72 64 20 is is a forward
0aa0: 72 61 6e 67 65 20 6f 66 20 54 6f 6b 65 6e 73 29 range of Tokens)
0ab0: 0d 0a 0d 0a 61 6c 69 61 73 20 4c 65 78 65 72 54 ....alias LexerT
0ac0: 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 !(PositionedRead
0ad0: 65 72 21 73 74 72 69 6e 67 29 20 4c 65 78 65 72 er!string) Lexer
0ae0: 3b 0a 0a 2f 2f 2f 20 4c 65 78 65 72 20 49 6d 70 ;../// Lexer Imp
0af0: 6c 65 6d 65 6e 74 61 74 69 6f 6e 0d 0a 0d 0a 63 lementation....c
0b00: 6c 61 73 73 20 4c 65 78 65 72 54 28 52 65 61 64 lass LexerT(Read
0b10: 65 72 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 er)...if( isForw
0b20: 61 72 64 52 61 6e 67 65 21 28 52 65 61 64 65 72 ardRange!(Reader
0b30: 29 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 ) && is(ElementT
0b40: 79 70 65 21 28 52 65 61 64 65 72 29 20 3d 3d 20 ype!(Reader) ==
0b50: 64 63 68 61 72 29 20 29 0a 7b 0a 09 2f 2f 2f 20 dchar) ).{..///
0b60: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a Range primitive.
0b70: 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a .bool empty() /*
0b80: 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 @property*/..{..
0b90: 09 72 65 74 75 72 6e 20 63 75 72 72 65 6e 74 20 .return current
0ba0: 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f is null;..}...//
0bb0: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
0bc0: 65 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 e..Token front()
0bd0: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 /*@property*/..
0be0: 7b 0a 09 09 72 65 74 75 72 6e 20 73 74 64 2e 65 {...return std.e
0bf0: 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 xception.enforce
0c00: 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 (current, "Lexer
0c10: 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 has already rea
0c20: 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a ched the end");.
0c30: 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 .}.../// Range p
0c40: 72 69 6d 69 74 69 76 65 0a 09 76 6f 69 64 20 70 rimitive..void p
0c50: 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f opFront() /*@pro
0c60: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 perty*/..{...std
0c70: 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 .exception.enfor
0c80: 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 ce(current, "Lex
0c90: 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 er has already r
0ca0: 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 eached the end")
0cb0: 3b 0a 09 09 63 75 72 72 65 6e 74 20 3d 20 72 65 ;...current = re
0cc0: 61 64 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a 09 2f adNext();..}.../
0cd0: 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 // Range primiti
0ce0: 76 65 0a 09 74 79 70 65 6f 66 28 74 68 69 73 29 ve..typeof(this)
0cf0: 20 73 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 save() /*@prope
0d00: 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 rty*/..{...retur
0d10: 6e 20 6e 65 77 20 74 79 70 65 6f 66 28 74 68 69 n new typeof(thi
0d20: 73 29 28 72 65 61 64 65 72 2e 73 61 76 65 2c 20 s)(reader.save,
0d30: 63 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 current);..}..pr
0d40: 69 76 61 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d ivate: // implem
0d50: 65 6e 74 61 74 69 6f 6e 0a 0a 09 52 65 61 64 65 entation...Reade
0d60: 72 20 72 65 61 64 65 72 3b 0a 09 54 6f 6b 65 6e r reader;..Token
0d70: 20 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 current;...inv
0d80: 61 72 69 61 6e 74 28 29 0a 09 7b 0a 09 09 61 73 ariant()..{...as
0d90: 73 65 72 74 28 20 72 65 61 64 65 72 2e 65 6d 70 sert( reader.emp
0da0: 74 79 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 65 ty || !std.ctype
0db0: 2e 69 73 73 70 61 63 65 28 72 65 61 64 65 72 2e .isspace(reader.
0dc0: 66 72 6f 6e 74 29 20 29 3b 0a 09 7d 0d 0a 0d 0a front) );..}....
0dd0: 09 74 68 69 73 28 20 52 65 61 64 65 72 20 72 65 .this( Reader re
0de0: 61 64 65 72 2c 20 54 6f 6b 65 6e 20 63 75 72 72 ader, Token curr
0df0: 65 6e 74 20 3d 20 6e 75 6c 6c 20 29 0d 0a 09 7b ent = null )...{
0e00: 0d 0a 09 09 74 68 69 73 2e 72 65 61 64 65 72 20 ....this.reader
0e10: 3d 20 72 65 61 64 65 72 3b 0d 0a 09 09 72 65 61 = reader;....rea
0e20: 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 dWhile!isSpace()
0e30: 3b 0d 0a 09 09 74 68 69 73 2e 63 75 72 72 65 6e ;....this.curren
0e40: 74 20 3d 20 28 63 75 72 72 65 6e 74 20 69 73 20 t = (current is
0e50: 6e 75 6c 6c 20 3f 20 72 65 61 64 4e 65 78 74 28 null ? readNext(
0e60: 29 20 3a 20 63 75 72 72 65 6e 74 29 3b 0d 0a 09 ) : current);...
0e70: 7d 0d 0a 0d 0a 09 70 75 62 6c 69 63 20 73 74 61 }.....public sta
0e80: 74 69 63 20 7b 0a 09 09 62 6f 6f 6c 20 69 73 53 tic {...bool isS
0e90: 70 61 63 65 20 20 20 28 64 63 68 61 72 20 63 29 pace (dchar c)
0ea0: 20 7b 20 72 65 74 75 72 6e 20 73 74 64 2e 63 74 { return std.ct
0eb0: 79 70 65 2e 69 73 73 70 61 63 65 28 63 29 21 3d ype.isspace(c)!=
0ec0: 30 3b 20 7d 0a 09 09 62 6f 6f 6c 20 69 73 53 79 0; }...bool isSy
0ed0: 6d 62 6f 6c 20 20 28 64 63 68 61 72 20 63 29 20 mbol (dchar c)
0ee0: 7b 20 72 65 74 75 72 6e 20 30 78 32 31 3c 3d 63 { return 0x21<=c
0ef0: 20 26 26 20 63 3c 3d 30 78 37 66 20 26 26 20 21 && c<=0x7f && !
0f00: 73 74 64 2e 63 74 79 70 65 2e 69 73 61 6c 6e 75 std.ctype.isalnu
0f10: 6d 28 63 29 20 26 26 20 63 21 3d 27 5f 27 20 26 m(c) && c!='_' &
0f20: 26 20 63 21 3d 27 5c 27 27 3b 20 7d 0d 0a 09 09 & c!='\''; }....
0f30: 62 6f 6f 6c 20 69 73 53 53 79 6d 62 6f 6c 20 28 bool isSSymbol (
0f40: 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 72 dchar c) { retur
0f50: 6e 20 21 66 69 6e 64 28 22 28 29 5b 5d 7b 7d 3b n !find("()[]{};
0f60: 22 2c 20 63 29 2e 65 6d 70 74 79 3b 20 7d 0d 0a ", c).empty; }..
0f70: 09 09 62 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f 6c ..bool isMSymbol
0f80: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0f90: 75 72 6e 20 69 73 53 79 6d 62 6f 6c 28 63 29 20 urn isSymbol(c)
0fa0: 26 26 20 21 69 73 53 53 79 6d 62 6f 6c 28 63 29 && !isSSymbol(c)
0fb0: 20 26 26 20 63 21 3d 27 22 27 20 26 26 20 63 21 && c!='"' && c!
0fc0: 3d 27 23 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 ='#'; }....bool
0fd0: 69 73 4c 65 74 74 65 72 20 20 28 64 63 68 61 72 isLetter (dchar
0fe0: 20 63 29 20 7b 20 72 65 74 75 72 6e 20 21 69 73 c) { return !is
0ff0: 53 70 61 63 65 28 63 29 20 26 26 20 21 69 73 53 Space(c) && !isS
1000: 79 6d 62 6f 6c 28 63 29 3b 20 7d 0d 0a 09 7d 0d ymbol(c); }...}.
1010: 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 ....string readQ
1020: 75 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 uoted(const LexP
1030: 6f 73 69 74 69 6f 6e 20 70 6f 73 29 7b 63 68 61 osition pos){cha
1040: 72 5b 5d 20 62 75 66 3b 20 72 65 74 75 72 6e 20 r[] buf; return
1050: 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 readQuoted(pos,b
1060: 75 66 29 3b 7d 0d 0a 09 73 74 72 69 6e 67 20 72 uf);}...string r
1070: 65 61 64 51 75 6f 74 65 64 28 63 6f 6e 73 74 20 eadQuoted(const
1080: 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 2c LexPosition pos,
1090: 20 72 65 66 20 63 68 61 72 5b 5d 20 62 75 66 29 ref char[] buf)
10a0: 0d 0a 09 7b 0d 0a 09 09 69 66 28 20 72 65 61 64 ...{....if( read
10b0: 65 72 2e 65 6d 70 74 79 20 29 0d 0a 09 09 09 74 er.empty ).....t
10c0: 68 72 6f 77 20 67 65 6e 65 78 21 4c 65 78 45 78 hrow genex!LexEx
10d0: 63 65 70 74 69 6f 6e 28 70 6f 73 2c 20 22 45 4f ception(pos, "EO
10e0: 46 20 66 6f 75 6e 64 20 77 68 69 6c 65 20 6c 65 F found while le
10f0: 78 69 6e 67 20 61 20 71 75 6f 74 65 64 2d 73 74 xing a quoted-st
1100: 72 69 6e 67 22 29 3b 0d 0a 09 09 64 63 68 61 72 ring");....dchar
1110: 20 63 20 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e c = reader.fron
1120: 74 3b 0d 0a 09 09 72 65 61 64 65 72 2e 70 6f 70 t;....reader.pop
1130: 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 20 Front;....if( c
1140: 3d 3d 20 27 22 27 20 29 0d 0a 09 09 09 72 65 74 == '"' ).....ret
1150: 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 urn assumeUnique
1160: 28 62 75 66 29 3b 0d 0a 09 09 69 66 28 20 63 20 (buf);....if( c
1170: 3d 3d 20 27 5c 5c 27 20 26 26 20 21 72 65 61 64 == '\\' && !read
1180: 65 72 2e 65 6d 70 74 79 20 29 20 7b 0d 0a 09 09 er.empty ) {....
1190: 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e .if( reader.fron
11a0: 74 3d 3d 27 22 27 20 29 20 7b 0d 0a 09 09 09 09 t=='"' ) {......
11b0: 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b reader.popFront;
11c0: 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 61 ......return rea
11d0: 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 dQuoted(pos,buf
11e0: 7e 3d 20 27 5c 22 27 29 3b 0d 0a 09 09 09 7d 0d ~= '\"');.....}.
11f0: 0a 09 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 ....if( reader.f
1200: 72 6f 6e 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d 0a ront=='\\' ) {..
1210: 09 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 ....reader.popFr
1220: 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e ont;......return
1230: 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c readQuoted(pos,
1240: 62 75 66 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a 09 buf ~= '\\');...
1250: 09 09 7d 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 ..}....}....retu
1260: 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f rn readQuoted(po
1270: 73 2c 62 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 7d s,buf ~= c);...}
1280: 0d 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 .....string read
1290: 57 68 69 6c 65 28 61 6c 69 61 73 20 66 6e 29 28 While(alias fn)(
12a0: 29 0d 0a 09 7b 0d 0a 09 09 63 68 61 72 5b 5d 20 )...{....char[]
12b0: 62 75 66 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 72 buf;....for(; !r
12c0: 65 61 64 65 72 2e 65 6d 70 74 79 20 26 26 20 66 eader.empty && f
12d0: 6e 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 3b n(reader.front);
12e0: 20 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 reader.popFront
12f0: 29 0d 0a 09 09 09 62 75 66 20 7e 3d 20 72 65 61 ).....buf ~= rea
1300: 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 der.front;....re
1310: 74 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 turn assumeUniqu
1320: 65 28 62 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 6f e(buf);...}...To
1330: 6b 65 6e 20 72 65 61 64 4e 65 78 74 28 29 0a 09 ken readNext()..
1340: 7b 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 {...if( reader.e
1350: 6d 70 74 79 20 29 0a 09 09 09 72 65 74 75 72 6e mpty )....return
1360: 20 6e 75 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 28 null;....scope(
1370: 73 75 63 63 65 73 73 29 0d 0a 09 09 09 72 65 61 success).....rea
1380: 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 dWhile!isSpace()
1390: 3b 0d 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e ;....if( reader.
13a0: 66 72 6f 6e 74 20 3d 3d 20 27 23 27 20 29 20 2f front == '#' ) /
13b0: 2f 20 63 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d 0a / comment....{..
13c0: 09 09 09 72 65 61 64 65 72 20 3d 20 66 69 6e 64 ...reader = find
13d0: 28 72 65 61 64 65 72 2c 20 27 5c 6e 27 29 3b 0d (reader, '\n');.
13e0: 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 73 ....readWhile!is
13f0: 53 70 61 63 65 28 29 3b 0d 0a 09 09 09 72 65 74 Space();.....ret
1400: 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b 0d urn readNext();.
1410: 0a 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 ...}...else if(
1420: 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 reader.front ==
1430: 27 22 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 0d '"' ) // quoted.
1440: 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f ...{.....auto po
1450: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
1460: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 ntPosition();...
1470: 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e ..reader.popFron
1480: 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 t;.....return ne
1490: 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 w Token(pos, rea
14a0: 64 51 75 6f 74 65 64 28 70 6f 73 29 2c 20 74 72 dQuoted(pos), tr
14b0: 75 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 ue);....}....els
14c0: 65 20 69 66 28 20 69 73 53 53 79 6d 62 6f 6c 28 e if( isSSymbol(
14d0: 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 reader.front) )
14e0: 2f 2f 20 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a 09 // paren....{...
14f0: 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 ..auto pos = rea
1500: 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 der.currentPosit
1510: 69 6f 6e 28 29 3b 0d 0a 09 09 09 73 74 72 69 6e ion();.....strin
1520: 67 20 73 3b 20 73 7e 3d 72 65 61 64 65 72 2e 66 g s; s~=reader.f
1530: 72 6f 6e 74 3b 20 72 65 61 64 65 72 2e 70 6f 70 ront; reader.pop
1540: 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 Front;.....retur
1550: 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c n new Token(pos,
1560: 20 73 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d s, false);....}
1570: 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 4d ....else if( isM
1580: 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 Symbol(reader.fr
1590: 6f 6e 74 29 20 29 20 2f 2f 20 73 79 6d 62 6f 6c ont) ) // symbol
15a0: 0d 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f ....{....auto po
15b0: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
15c0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 ntPosition();...
15d0: 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 .return new Toke
15e0: 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 n(pos, readWhile
15f0: 21 69 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 61 !isMSymbol(), fa
1600: 6c 73 65 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 65 lse);...}...else
1610: 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 ...{....auto pos
1620: 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e = reader.curren
1630: 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 tPosition();....
1640: 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 .return new Toke
1650: 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 n(pos, readWhile
1660: 21 69 73 4c 65 74 74 65 72 28 29 2c 20 66 61 6c !isLetter(), fal
1670: 73 65 29 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a se);....}..}.}..
1680: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 unittest.{..asse
1690: 72 74 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 rt( std.range.is
16a0: 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 4c 65 ForwardRange!(Le
16b0: 78 65 72 29 20 29 3b 0a 09 61 73 73 65 72 74 28 xer) );..assert(
16c0: 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 is(ElementType!
16d0: 28 4c 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 6e (Lexer) == Token
16e0: 29 20 29 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 ) );..}..unittes
16f0: 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 t.{..auto lex =
1700: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
1710: 22 74 68 69 73 09 69 73 20 61 20 5c 74 5c 72 5c "this.is a \t\r\
1720: 6e 20 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 22 n pen :-( @@; "
1730: 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d );..Token[] ts =
1740: 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 std.array.array
1750: 28 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f (lex);...assert_
1760: 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 eq( ts[0].pos.li
1770: 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 neno, 1 );..asse
1780: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 rt_eq( ts[0].pos
1790: 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 .column, 1 );..a
17a0: 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e ssert( !ts[0].
17b0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
17c0: 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c t_eq( ts[0].str,
17d0: 20 22 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 73 "this" );...ass
17e0: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f ert_eq( ts[1].po
17f0: 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 s.lineno, 1 );..
1800: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d assert_eq( ts[1]
1810: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 .pos.column, 6 )
1820: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
1830: 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [1].quoted );..a
1840: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e ssert_eq( ts[1].
1850: 73 74 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 61 str, "is" );...a
1860: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e ssert_eq( ts[2].
1870: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b pos.lineno, 1 );
1880: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1890: 32 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 39 2].pos.column, 9
18a0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
18b0: 74 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[2].quoted );.
18c0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 .assert_eq( ts[2
18d0: 5d 2e 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 09 ].str, "a" );...
18e0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d assert_eq( ts[3]
18f0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 .pos.lineno, 2 )
1900: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1910: 5b 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 [3].pos.column,
1920: 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 2 );..assert(
1930: 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[3].quoted );
1940: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1950: 33 5d 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 3b 3].str, "pen" );
1960: 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
1970: 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [4].pos.lineno,
1980: 32 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 2 );..assert_eq(
1990: 20 74 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d ts[4].pos.colum
19a0: 6e 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 5f n, 6 );..assert_
19b0: 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 eq( ts[4].str, "
19c0: 3a 2d 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f :-" );...assert_
19d0: 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 eq( ts[5].pos.li
19e0: 6e 65 6e 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 73 neno, 2 );...ass
19f0: 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f ert_eq( ts[5].po
1a00: 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d 0a s.column, 8 );..
1a10: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 .assert_eq( ts[5
1a20: 5d 2e 73 74 72 2c 20 22 28 22 20 29 3b 0d 0a 09 ].str, "(" );...
1a30: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d assert_eq( ts[6]
1a40: 2e 73 74 72 2c 20 22 40 40 22 20 29 3b 0d 0a 09 .str, "@@" );...
1a50: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 37 5d assert_eq( ts[7]
1a60: 2e 73 74 72 2c 20 22 3b 22 20 29 3b 20 2f 2f 20 .str, ";" ); //
1a70: 70 61 72 65 6e 20 61 6e 64 20 73 69 6d 69 63 6f paren and simico
1a80: 6c 6f 6e 73 20 61 72 65 20 73 70 6c 69 74 0d 0a lons are split..
1a90: 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
1aa0: 2e 6c 65 6e 67 74 68 2c 20 38 20 29 3b 0a 7d 0a .length, 8 );.}.
1ab0: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 2f 2f 20 .unittest.{..//
1ac0: 21 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 75 !! be sure to ru
1ad0: 6e 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 6f n the unittest o
1ae0: 6e 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 68 n the root of th
1af0: 65 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 6f e source directo
1b00: 72 79 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d 20 ry..auto lexf =
1b10: 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 70 lexerFromFile("p
1b20: 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 0a olemy/lex.d");..
1b30: 09 6c 65 78 66 20 3d 20 66 69 6e 64 21 60 61 2e .lexf = find!`a.
1b40: 73 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 60 str == "module"`
1b50: 28 6c 65 78 66 29 3b 0a 09 61 73 73 65 72 74 5f (lexf);..assert_
1b60: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 eq( lexf.front.s
1b70: 74 72 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b 0a tr, "module" );.
1b80: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1b90: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e .front.pos.filen
1ba0: 61 6d 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 78 ame, "polemy/lex
1bb0: 2e 64 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 .d" );..assert_e
1bc0: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1bd0: 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 s.lineno, 7 );..
1be0: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1bf0: 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e front.pos.column
1c00: 2c 20 31 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 , 1 );..lexf.pop
1c10: 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 Front;..assert_e
1c20: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 q( lexf.front.st
1c30: 72 2c 20 22 70 6f 6c 65 6d 79 22 20 29 3b 0a 09 r, "polemy" );..
1c40: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1c50: 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f front.pos.lineno
1c60: 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 7 );..assert_e
1c70: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1c80: 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a 09 s.column, 8 );..
1c90: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 lexf.popFront;..
1ca0: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 lexf.popFront;..
1cb0: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 lexf.popFront;..
1cc0: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 lexf.popFront;..
1cd0: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1ce0: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 69 6d 70 6f front.str, "impo
1cf0: 72 74 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 rt" );..assert_e
1d00: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f q( lexf.front.po
1d10: 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 s.lineno, 8 );..
1d20: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1d30: 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e front.pos.column
1d40: 2c 20 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 , 1 );.}...unitt
1d50: 65 73 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 5f est..{...assert_
1d60: 74 68 72 6f 77 21 4c 65 78 45 78 63 65 70 74 69 throw!LexExcepti
1d70: 6f 6e 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 on( lexerFromStr
1d80: 69 6e 67 28 60 22 60 29 20 29 3b 0d 0a 7d 0d 0a ing(`"`) );..}..
1d90: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 .unittest.{..aut
1da0: 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f o lex = lexerFro
1db0: 6d 53 74 72 69 6e 67 28 60 6d 79 20 23 20 63 6f mString(`my # co
1dc0: 6d 6d 65 6e 74 20 73 68 6f 75 6c 64 60 7e 22 5c mment should`~"\
1dd0: 72 5c 6e 22 7e 60 23 20 68 65 79 21 21 0a 62 65 r\n"~`# hey!!.be
1de0: 20 69 67 6e 6f 72 65 64 2e 0a 68 61 68 61 68 61 ignored..hahaha
1df0: 22 68 69 68 69 68 69 22 22 68 75 5c 5c 5c 22 68 "hihihi""hu\\\"h
1e00: 75 68 75 22 23 31 32 33 20 61 61 0a 31 32 33 20 uhu"#123 aa.123
1e10: 61 61 20 22 61 61 61 60 7e 22 5c 6e 22 7e 60 62 aa "aaa`~"\n"~`b
1e20: 62 62 20 23 20 31 32 33 60 7e 22 5c 72 5c 6e 22 bb # 123`~"\r\n"
1e30: 7e 60 65 65 65 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 ~`eee".zzz.`);..
1e40: 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 Token[] ts = std
1e50: 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 .array.array(lex
1e60: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1e70: 73 5b 30 5d 2e 73 74 72 2c 20 22 6d 79 22 20 29 s[0].str, "my" )
1e80: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1e90: 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [0].pos.lineno,
1ea0: 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 1 );..assert(
1eb0: 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[0].quoted );
1ec0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1ed0: 31 5d 2e 73 74 72 2c 20 22 62 65 22 20 29 3b 0a 1].str, "be" );.
1ee0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 .assert_eq( ts[1
1ef0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 33 20 ].pos.lineno, 3
1f00: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
1f10: 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[1].quoted );..
1f20: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d assert_eq( ts[2]
1f30: 2e 73 74 72 2c 20 22 69 67 6e 6f 72 65 64 22 20 .str, "ignored"
1f40: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
1f50: 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[2].quoted );..
1f60: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d assert_eq( ts[3]
1f70: 2e 73 74 72 2c 20 22 2e 22 20 29 3b 0a 09 61 73 .str, "." );..as
1f80: 73 65 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71 sert( !ts[3].q
1f90: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1fa0: 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 _eq( ts[4].str,
1fb0: 22 68 61 68 61 68 61 22 20 29 3b 0a 09 61 73 73 "hahaha" );..ass
1fc0: 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f ert_eq( ts[4].po
1fd0: 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 s.lineno, 4 );..
1fe0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 34 5d assert( !ts[4]
1ff0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
2000: 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 rt_eq( ts[5].str
2010: 2c 20 22 68 69 68 69 68 69 22 20 29 3b 0a 09 61 , "hihihi" );..a
2020: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e ssert_eq( ts[5].
2030: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b pos.lineno, 4 );
2040: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b ..assert( ts[
2050: 35 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 5].quoted );..as
2060: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 sert_eq( ts[6].s
2070: 74 72 2c 20 60 68 75 5c 22 68 75 68 75 60 20 29 tr, `hu\"huhu` )
2080: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
2090: 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [6].pos.lineno,
20a0: 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 4 );..assert(
20b0: 20 74 73 5b 36 5d 2e 71 75 6f 74 65 64 20 29 3b ts[6].quoted );
20c0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
20d0: 37 5d 2e 73 74 72 2c 20 22 31 32 33 22 20 29 3b 7].str, "123" );
20e0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
20f0: 37 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 7].pos.lineno, 5
2100: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
2110: 74 73 5b 38 5d 2e 73 74 72 2c 20 22 61 61 22 20 ts[8].str, "aa"
2120: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
2130: 73 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[9].pos.lineno,
2140: 20 35 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 5 );..assert_eq
2150: 28 20 74 73 5b 39 5d 2e 73 74 72 2c 20 22 61 61 ( ts[9].str, "aa
2160: 61 5c 6e 62 62 62 20 23 20 31 32 33 5c 6e 65 65 a\nbbb # 123\nee
2170: 65 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 e" );..assert(
2180: 20 20 74 73 5b 39 5d 2e 71 75 6f 74 65 64 20 29 ts[9].quoted )
2190: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
21a0: 5b 31 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c [10].pos.lineno,
21b0: 20 38 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 8 );..assert(
21c0: 20 21 74 73 5b 31 30 5d 2e 71 75 6f 74 65 64 20 !ts[10].quoted
21d0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
21e0: 73 2e 6c 65 6e 67 74 68 2c 20 31 31 20 29 3b 0a s.length, 11 );.
21f0: 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d }...unittest..{.
2200: 0a 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 6c 65 ..auto lex2 = le
2210: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 20 xerFromString("
2220: 61 31 32 5c 6e 33 61 20 35 20 22 29 3b 0d 0a 09 a12\n3a 5 ");...
2230: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e assert_eq( lex2.
2240: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 61 31 32 22 front.str, "a12"
2250: 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 );...lex2.popFr
2260: 6f 6e 74 3b 0d 0a 09 61 75 74 6f 20 6c 65 78 33 ont;...auto lex3
2270: 20 3d 20 6c 65 78 32 2e 73 61 76 65 3b 0d 0a 09 = lex2.save;...
2280: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e assert_eq( lex2.
2290: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 front.str, "3a"
22a0: 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f );...lex2.popFro
22b0: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 nt;...assert_eq(
22c0: 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 2c lex3.front.str,
22d0: 20 22 33 61 22 20 29 3b 0d 0a 09 61 73 73 65 72 "3a" );...asser
22e0: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 t_eq( lex2.front
22f0: 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a 09 6c .str, "5" );...l
2300: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 ex2.popFront;...
2310: 6c 65 78 33 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex3.popFront;..
2320: 09 61 73 73 65 72 74 28 20 6c 65 78 32 2e 65 6d .assert( lex2.em
2330: 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 pty );...assert(
2340: 20 21 6c 65 78 33 2e 65 6d 70 74 79 20 29 3b 0d !lex3.empty );.
2350: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
2360: 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22 3.front.str, "5"
2370: 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 );..}....unitte
2380: 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 st..{...auto lex
2390: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
23a0: 6e 67 28 60 3d 22 22 60 29 3b 0d 0a 09 61 73 73 ng(`=""`);...ass
23b0: 65 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74 ert_eq(lex.front
23c0: 2e 73 74 72 2c 20 22 3d 22 29 3b 20 6c 65 78 2e .str, "="); lex.
23d0: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
23e0: 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74 2e rt_eq(lex.front.
23f0: 73 74 72 2c 20 22 22 29 3b 20 6c 65 78 2e 70 6f str, ""); lex.po
2400: 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 pFront;...assert
2410: 28 20 6c 65 78 2e 65 6d 70 74 79 20 29 3b 0d 0a ( lex.empty );..
2420: 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f 72 77 61 72 64 }..../// Forward
2430: 20 72 61 6e 67 65 20 66 6f 72 20 72 65 61 64 65 range for reade
2440: 72 20 63 68 61 72 61 63 74 65 72 20 62 79 20 63 r character by c
2450: 68 61 72 61 63 74 65 72 2c 0d 0a 2f 2f 2f 20 6b haracter,../// k
2460: 65 65 70 69 6e 67 20 74 72 61 63 6b 20 6f 66 20 eeping track of
2470: 70 6f 73 69 74 69 6f 6e 20 69 6e 66 6f 72 6d 61 position informa
2480: 74 69 6f 6e 20 61 6e 64 20 63 61 72 69 6e 67 20 tion and caring
2490: 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 6f 6e 76 65 \r\n -> \n conve
24a0: 72 73 69 6f 6e 2e 0d 0a 0d 0a 70 72 69 76 61 74 rsion.....privat
24b0: 65 0d 0a 73 74 72 75 63 74 20 50 6f 73 69 74 69 e..struct Positi
24c0: 6f 6e 65 64 52 65 61 64 65 72 28 43 68 61 72 53 onedReader(CharS
24d0: 65 71 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 eq)...if( isForw
24e0: 61 72 64 52 61 6e 67 65 21 28 43 68 61 72 53 65 ardRange!(CharSe
24f0: 71 29 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 q) && is(Element
2500: 54 79 70 65 21 28 43 68 61 72 53 65 71 29 20 3d Type!(CharSeq) =
2510: 3d 20 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a 09 = dchar) )..{...
2520: 43 68 61 72 53 65 71 20 62 75 66 66 65 72 3b 0d CharSeq buffer;.
2530: 0a 09 73 74 72 69 6e 67 20 20 66 69 6c 65 6e 61 ..string filena
2540: 6d 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c 69 me;...int li
2550: 6e 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 20 neno;...int
2560: 63 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20 column;.....///
2570: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
2580: 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f ..bool empty() /
2590: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b *@property*/...{
25a0: 0d 0a 09 09 72 65 74 75 72 6e 20 62 75 66 66 65 ....return buffe
25b0: 72 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a r.empty;...}....
25c0: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
25d0: 74 69 76 65 0d 0a 09 64 63 68 61 72 20 66 72 6f tive...dchar fro
25e0: 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 nt() /*@property
25f0: 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20 */...{....dchar
2600: 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 c = buffer.front
2610: 3b 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 3d 3d ;....return (c==
2620: 27 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 29 '\r' ? '\n' : c)
2630: 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 ;...}...../// Ra
2640: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 nge primitive...
2650: 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 void popFront()
2660: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 /*@property*/...
2670: 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 {....dchar c = b
2680: 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 uffer.front;....
2690: 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b buffer.popFront;
26a0: 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 20 ....if( c=='\r'
26b0: 29 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 21 )....{.....if( !
26c0: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
26d0: 62 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c buffer.front=='\
26e0: 6e 27 20 29 0d 0a 09 09 09 09 62 75 66 66 65 72 n' )......buffer
26f0: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 63 .popFront;.....c
2700: 20 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a 09 = '\n';....}...
2710: 09 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d 0a .if( c=='\n' )..
2720: 09 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 2b ..{.....lineno +
2730: 2b 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 +;.....column =
2740: 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 0d 1;....}....else.
2750: 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a ....column ++;..
2760: 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 .}...../// Range
2770: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 79 70 primitive...typ
2780: 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 29 eof(this) save()
2790: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a /*@property*/..
27a0: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 68 69 .{....return thi
27b0: 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 s;...}...../// G
27c0: 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 20 70 et the current p
27d0: 6f 73 69 74 69 6f 6e 0d 0a 09 69 6d 6d 75 74 61 osition...immuta
27e0: 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 ble(LexPosition)
27f0: 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e currentPosition
2800: 28 29 20 63 6f 6e 73 74 0d 0a 09 7b 0d 0a 09 09 () const...{....
2810: 72 65 74 75 72 6e 20 6e 65 77 20 69 6d 6d 75 74 return new immut
2820: 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e able(LexPosition
2830: 29 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 )(filename, line
2840: 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d no, column);...}
2850: 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d ..}....unittest.
2860: 0a 7b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 46 .{...assert( isF
2870: 6f 72 77 61 72 64 52 61 6e 67 65 21 28 50 6f 73 orwardRange!(Pos
2880: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
2890: 72 69 6e 67 29 20 29 3b 0d 0a 09 61 73 73 65 72 ring) );...asser
28a0: 74 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 t( is(ElementTyp
28b0: 65 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 e!(PositionedRea
28c0: 64 65 72 21 73 74 72 69 6e 67 29 20 3d 3d 20 64 der!string) == d
28d0: 63 68 61 72 29 20 29 3b 0d 0a 7d 0d 0a char) );..}..