0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2f 2f 20 isalnum;....///
00f0: 45 78 63 65 70 74 69 6f 6e 20 66 72 6f 6d 20 74 Exception from t
0100: 68 69 73 20 6d 6f 64 75 6c 65 0d 0a 0d 0a 63 6c his module....cl
0110: 61 73 73 20 4c 65 78 45 78 63 65 70 74 69 6f 6e ass LexException
0120: 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d : Exception..{.
0130: 0a 09 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 ..const LexPosit
0140: 69 6f 6e 20 70 6f 73 3b 0d 0a 0d 0a 09 70 72 69 ion pos;.....pri
0150: 76 61 74 65 20 74 68 69 73 28 20 63 6f 6e 73 74 vate this( const
0160: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 LexPosition pos
0170: 2c 20 73 74 72 69 6e 67 20 6d 73 67 20 29 0d 0a , string msg )..
0180: 09 09 7b 20 73 75 70 65 72 28 73 70 72 69 6e 74 ..{ super(sprint
0190: 66 21 22 25 73 20 5b 25 73 5d 22 28 6d 73 67 2c f!"%s [%s]"(msg,
01a0: 20 70 6f 73 29 29 3b 20 74 68 69 73 2e 70 6f 73 pos)); this.pos
01b0: 20 3d 20 70 6f 73 3b 20 7d 0d 0a 7d 3b 0a 0a 2f = pos; }..};../
01c0: 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 61 20 // Represents a
01d0: 70 6f 73 69 74 69 6f 6e 20 69 6e 20 61 20 73 6f position in a so
01e0: 75 72 63 65 20 63 6f 64 65 0a 0a 63 6c 61 73 73 urce code..class
01f0: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 LexPosition.{..
0200: 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e 67 immutable string
0210: 20 66 69 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e filename; /// n
0220: 61 6d 65 20 6f 66 20 74 68 65 20 73 6f 75 72 63 ame of the sourc
0230: 65 20 66 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c e file..immutabl
0240: 65 20 69 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b e int lineno;
0250: 20 20 20 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a /// 1-origin.
0260: 09 69 6d 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 .immutable int
0270: 20 20 63 6f 6c 75 6d 6e 3b 20 20 20 2f 2f 2f 20 column; ///
0280: 31 2d 6f 72 69 67 69 6e 0a 0a 09 6f 76 65 72 72 1-origin...overr
0290: 69 64 65 20 73 74 72 69 6e 67 20 74 6f 53 74 72 ide string toStr
02a0: 69 6e 67 28 29 20 63 6f 6e 73 74 0a 09 09 7b 20 ing() const...{
02b0: 72 65 74 75 72 6e 20 73 70 72 69 6e 74 66 21 22 return sprintf!"
02c0: 25 73 3a 25 64 3a 25 64 22 28 66 69 6c 65 6e 61 %s:%d:%d"(filena
02d0: 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 me, lineno, colu
02e0: 6d 6e 29 3b 20 7d 0a 0a 09 6d 69 78 69 6e 20 53 mn); }...mixin S
02f0: 69 6d 70 6c 65 43 6f 6e 73 74 72 75 63 74 6f 72 impleConstructor
0300: 3b 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 ;..mixin SimpleC
0310: 6f 6d 70 61 72 65 3b 0d 0a 0d 0a 09 73 74 61 74 ompare;.....stat
0320: 69 63 20 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 ic immutable Lex
0330: 50 6f 73 69 74 69 6f 6e 20 64 75 6d 6d 79 3b 0d Position dummy;.
0340: 0a 09 73 74 61 74 69 63 20 74 68 69 73 28 29 7b ..static this(){
0350: 20 64 75 6d 6d 79 20 3d 20 6e 65 77 20 69 6d 6d dummy = new imm
0360: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
0370: 6f 6e 29 28 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c on)("<unnamed>",
0380: 30 2c 30 29 3b 20 7d 0d 0a 7d 0a 0a 75 6e 69 74 0,0); }..}..unit
0390: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d test.{..auto p =
03a0: 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e new LexPosition
03b0: 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 ("hello.cpp", 12
03c0: 33 2c 20 34 35 29 3b 0a 09 61 75 74 6f 20 71 20 3, 45);..auto q
03d0: 3d 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f = new LexPositio
03e0: 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 n("hello.cpp", 1
03f0: 32 33 2c 20 34 36 29 3b 0a 0a 09 61 73 73 65 72 23, 46);...asser
0400: 74 5f 65 71 28 20 70 2e 66 69 6c 65 6e 61 6d 65 t_eq( p.filename
0410: 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 22 20 29 3b , "hello.cpp" );
0420: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e 6c ..assert_eq( p.l
0430: 69 6e 65 6e 6f 2c 20 31 32 33 20 29 3b 0a 09 61 ineno, 123 );..a
0440: 73 73 65 72 74 5f 65 71 28 20 70 2e 63 6f 6c 75 ssert_eq( p.colu
0450: 6d 6e 2c 20 34 35 20 29 3b 0a 09 61 73 73 65 72 mn, 45 );..asser
0460: 74 5f 65 71 28 20 74 6f 21 73 74 72 69 6e 67 28 t_eq( to!string(
0470: 70 29 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 3a 31 p), "hello.cpp:1
0480: 32 33 3a 34 35 22 20 29 3b 0a 09 61 73 73 65 72 23:45" );..asser
0490: 74 5f 6c 74 28 20 70 2c 20 71 20 29 3b 0a 09 61 t_lt( p, q );..a
04a0: 73 73 65 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 ssert_ne( p, q )
04b0: 3b 0a 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 ;...assert( !__t
04c0: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 raits(compiles,
04d0: 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 29 new LexPosition)
04e0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
04f0: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0500: 20 70 2e 66 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f p.filename="foo
0510: 22 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 ") );..assert( !
0520: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
0530: 73 2c 20 70 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 s, p.lineno =78
0540: 39 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 9) );..assert( !
0550: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
0560: 73 2c 20 70 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 s, p.column =22
0570: 32 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 52 65 70 2) );.}../// Rep
0580: 72 65 73 65 6e 74 73 20 61 20 6c 65 78 65 72 20 resents a lexer
0590: 74 6f 6b 65 6e 0a 0a 63 6c 61 73 73 20 54 6f 6b token..class Tok
05a0: 65 6e 0a 7b 0a 09 69 6d 6d 75 74 61 62 6c 65 20 en.{..immutable
05b0: 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 3b LexPosition pos;
05c0: 20 20 20 20 2f 2f 2f 20 50 6f 73 69 74 69 6f 6e /// Position
05d0: 20 77 68 65 72 65 20 74 68 65 20 74 6f 6b 65 6e where the token
05e0: 20 6f 63 63 75 72 72 65 64 20 69 6e 20 74 68 65 occurred in the
05f0: 20 73 6f 75 72 63 65 0a 09 69 6d 6d 75 74 61 62 source..immutab
0600: 6c 65 20 73 74 72 69 6e 67 20 20 20 20 20 20 73 le string s
0610: 74 72 3b 20 20 20 20 2f 2f 2f 20 54 68 65 20 74 tr; /// The t
0620: 6f 6b 65 6e 20 73 74 72 69 6e 67 20 69 74 73 65 oken string itse
0630: 6c 66 0a 09 69 6d 6d 75 74 61 62 6c 65 20 62 6f lf..immutable bo
0640: 6f 6c 20 20 20 20 20 20 20 20 71 75 6f 74 65 64 ol quoted
0650: 3b 20 2f 2f 2f 20 57 61 73 20 69 74 20 61 20 22 ; /// Was it a "
0660: 71 75 6f 74 65 64 22 20 74 6f 6b 65 6e 20 6f 72 quoted" token or
0670: 20 75 6e 71 75 6f 74 65 64 3f 0a 0a 09 6d 69 78 unquoted?...mix
0680: 69 6e 20 53 69 6d 70 6c 65 43 6f 6e 73 74 72 75 in SimpleConstru
0690: 63 74 6f 72 3b 0a 09 6d 69 78 69 6e 20 53 69 6d ctor;..mixin Sim
06a0: 70 6c 65 43 6f 6d 70 61 72 65 3b 0a 09 6d 69 78 pleCompare;..mix
06b0: 69 6e 20 53 69 6d 70 6c 65 54 6f 53 74 72 69 6e in SimpleToStrin
06c0: 67 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a g;..}..unittest.
06d0: 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 {..auto p = new
06e0: 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 immutable(LexPos
06f0: 69 74 69 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 ition)("hello.cp
0700: 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 09 61 p", 123, 45);..a
0710: 75 74 6f 20 74 20 3d 20 6e 65 77 20 54 6f 6b 65 uto t = new Toke
0720: 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 n(p, "class", fa
0730: 6c 73 65 29 3b 0a 09 61 75 74 6f 20 75 20 3d 20 lse);..auto u =
0740: 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c new Token(p, "cl
0750: 61 73 73 22 2c 20 74 72 75 65 29 3b 0a 0a 09 61 ass", true);...a
0760: 73 73 65 72 74 5f 65 71 28 20 74 2e 70 6f 73 2c ssert_eq( t.pos,
0770: 20 70 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 p );..assert_eq
0780: 28 20 74 2e 73 74 72 2c 20 22 63 6c 61 73 73 22 ( t.str, "class"
0790: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 74 2e );..assert( !t.
07a0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
07b0: 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_eq( t, new Tok
07c0: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 en(p, "class", f
07d0: 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 alse) );..assert
07e0: 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 _lt( t, new Toke
07f0: 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 66 n(p, "struct", f
0800: 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 alse) );..assert
0810: 5f 6e 65 28 20 74 2c 20 75 20 29 3b 0a 09 61 73 _ne( t, u );..as
0820: 73 65 72 74 28 20 75 2e 71 75 6f 74 65 64 20 29 sert( u.quoted )
0830: 3b 0a 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 ;...assert( !__t
0840: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 raits(compiles,
0850: 6e 65 77 20 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 new Token) );..a
0860: 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 ssert( !__traits
0870: 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 70 6f 73 (compiles, t.pos
0880: 3d 70 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 =p) );..assert(
0890: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
08a0: 65 73 2c 20 74 2e 73 74 72 3d 37 38 39 29 20 29 es, t.str=789) )
08b0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
08c0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 aits(compiles, t
08d0: 2e 71 75 6f 74 65 64 3d 74 72 75 65 29 20 29 3b .quoted=true) );
08e0: 0a 7d 0a 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f .}../// Named Co
08f0: 6e 73 74 72 75 74 6f 72 73 20 66 6f 72 20 4c 65 nstrutors for Le
0900: 78 65 72 0a 0a 61 75 74 6f 20 6c 65 78 65 72 46 xer..auto lexerF
0910: 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 romFile(T...)( s
0920: 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 tring filename,
0930: 54 20 72 65 73 74 20 29 0a 7b 0a 09 72 65 74 75 T rest ).{..retu
0940: 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 rn lexerFromStri
0950: 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 ng( std.file.rea
0960: 64 54 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c dText(filename),
0970: 20 66 69 6c 65 6e 61 6d 65 2c 20 72 65 73 74 20 filename, rest
0980: 29 3b 0a 7d 0a 09 0a 61 75 74 6f 20 6c 65 78 65 );.}...auto lexe
0990: 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 68 61 72 rFromString(Char
09a0: 53 65 71 29 28 20 43 68 61 72 53 65 71 20 73 74 Seq)( CharSeq st
09b0: 72 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 r, string filena
09c0: 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c 20 me="<unnamed>",
09d0: 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c 20 69 6e int lineno=1, in
09e0: 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a 7b 0a 20 t column=1 ).{.
09f0: 09 72 65 74 75 72 6e 20 6e 65 77 20 4c 65 78 65 .return new Lexe
0a00: 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 rT!(PositionedRe
0a10: 61 64 65 72 21 43 68 61 72 53 65 71 29 28 0d 0a ader!CharSeq)(..
0a20: 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 ..PositionedRead
0a30: 65 72 21 43 68 61 72 53 65 71 28 73 74 72 2c 20 er!CharSeq(str,
0a40: 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f filename, lineno
0a50: 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 3b 0a 7d , column)...);.}
0a60: 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 64 20 4c ../// Standard L
0a70: 65 78 65 72 20 54 79 70 65 20 28 61 6c 6c 20 79 exer Type (all y
0a80: 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e 6f 77 20 ou have to know
0a90: 69 73 20 74 68 61 74 20 74 68 69 73 20 69 73 20 is that this is
0aa0: 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 20 a forward range
0ab0: 6f 66 20 54 6f 6b 65 6e 73 29 0d 0a 0d 0a 61 6c of Tokens)....al
0ac0: 69 61 73 20 4c 65 78 65 72 54 21 28 50 6f 73 69 ias LexerT!(Posi
0ad0: 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 72 tionedReader!str
0ae0: 69 6e 67 29 20 4c 65 78 65 72 3b 0a 0a 2f 2f 2f ing) Lexer;..///
0af0: 20 4c 65 78 65 72 20 49 6d 70 6c 65 6d 65 6e 74 Lexer Implement
0b00: 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 73 73 20 4c ation....class L
0b10: 65 78 65 72 54 28 52 65 61 64 65 72 29 0d 0a 09 exerT(Reader)...
0b20: 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e if( isForwardRan
0b30: 67 65 21 28 52 65 61 64 65 72 29 20 26 26 20 69 ge!(Reader) && i
0b40: 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 52 s(ElementType!(R
0b50: 65 61 64 65 72 29 20 3d 3d 20 64 63 68 61 72 29 eader) == dchar)
0b60: 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 ).{../// Range
0b70: 70 72 69 6d 69 74 69 76 65 0a 09 62 6f 6f 6c 20 primitive..bool
0b80: 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 empty() /*@prope
0b90: 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 rty*/..{...retur
0ba0: 6e 20 63 75 72 72 65 6e 74 20 69 73 20 6e 75 6c n current is nul
0bb0: 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 l;..}.../// Rang
0bc0: 65 20 70 72 69 6d 69 74 69 76 65 0a 09 54 6f 6b e primitive..Tok
0bd0: 65 6e 20 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 en front() /*@pr
0be0: 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 operty*/..{...re
0bf0: 74 75 72 6e 20 73 74 64 2e 65 78 63 65 70 74 69 turn std.excepti
0c00: 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 65 on.enforce(curre
0c10: 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 61 nt, "Lexer has a
0c20: 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 20 74 lready reached t
0c30: 68 65 20 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 2f he end");..}.../
0c40: 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 // Range primiti
0c50: 76 65 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e ve..void popFron
0c60: 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a t() /*@property*
0c70: 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 78 63 65 70 /..{...std.excep
0c80: 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 tion.enforce(cur
0c90: 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 rent, "Lexer has
0ca0: 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 already reached
0cb0: 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 09 63 75 the end");...cu
0cc0: 72 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 78 74 rrent = readNext
0cd0: 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e ();..}.../// Ran
0ce0: 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 74 79 ge primitive..ty
0cf0: 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 peof(this) save(
0d00: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a ) /*@property*/.
0d10: 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 20 .{...return new
0d20: 74 79 70 65 6f 66 28 74 68 69 73 29 28 72 65 61 typeof(this)(rea
0d30: 64 65 72 2e 73 61 76 65 2c 20 63 75 72 72 65 6e der.save, curren
0d40: 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 65 3a t);..}..private:
0d50: 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 // implementati
0d60: 6f 6e 0a 0a 09 52 65 61 64 65 72 20 72 65 61 64 on...Reader read
0d70: 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 63 75 72 72 er;..Token curr
0d80: 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 69 61 6e 74 ent;...invariant
0d90: 28 29 0a 09 7b 0a 09 09 61 73 73 65 72 74 28 20 ()..{...assert(
0da0: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 7c 7c 20 reader.empty ||
0db0: 21 73 74 64 2e 63 74 79 70 65 2e 69 73 73 70 61 !std.ctype.isspa
0dc0: 63 65 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 ce(reader.front)
0dd0: 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 28 );..}.....this(
0de0: 20 52 65 61 64 65 72 20 72 65 61 64 65 72 2c 20 Reader reader,
0df0: 54 6f 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d 20 Token current =
0e00: 6e 75 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 68 null )...{....th
0e10: 69 73 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 is.reader = read
0e20: 65 72 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c 65 er;....readWhile
0e30: 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 74 !isSpace();....t
0e40: 68 69 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 his.current = (c
0e50: 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f urrent is null ?
0e60: 20 72 65 61 64 4e 65 78 74 28 29 20 3a 20 63 75 readNext() : cu
0e70: 72 72 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 rrent);...}.....
0e80: 70 75 62 6c 69 63 20 73 74 61 74 69 63 20 7b 0a public static {.
0e90: 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 20 20 ..bool isSpace
0ea0: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0eb0: 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e 69 73 urn std.ctype.is
0ec0: 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d 0a 09 space(c)!=0; }..
0ed0: 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c 20 20 .bool isSymbol
0ee0: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
0ef0: 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 63 3c rn 0x21<=c && c<
0f00: 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e 63 74 =0x7f && !std.ct
0f10: 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 20 26 ype.isalnum(c) &
0f20: 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 3d 27 & c!='_' && c!='
0f30: 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 \''; }....bool i
0f40: 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 sSSymbol (dchar
0f50: 63 29 20 7b 20 72 65 74 75 72 6e 20 21 66 69 6e c) { return !fin
0f60: 64 28 22 28 29 5b 5d 7b 7d 3b 22 2c 20 63 29 2e d("()[]{};", c).
0f70: 65 6d 70 74 79 3b 20 7d 0d 0a 09 09 62 6f 6f 6c empty; }....bool
0f80: 20 69 73 4d 53 79 6d 62 6f 6c 20 28 64 63 68 61 isMSymbol (dcha
0f90: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 69 73 r c) { return is
0fa0: 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 21 69 73 Symbol(c) && !is
0fb0: 53 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 63 21 SSymbol(c) && c!
0fc0: 3d 27 22 27 20 26 26 20 63 21 3d 27 23 27 3b 20 ='"' && c!='#';
0fd0: 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 74 }....bool isLett
0fe0: 65 72 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 er (dchar c) {
0ff0: 72 65 74 75 72 6e 20 21 69 73 53 70 61 63 65 28 return !isSpace(
1000: 63 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 c) && !isSymbol(
1010: 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 c); }...}.....st
1020: 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 28 ring readQuoted(
1030: 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f const LexPositio
1040: 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 75 n pos){char[] bu
1050: 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 51 75 f; return readQu
1060: 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d 0d oted(pos,buf);}.
1070: 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f ..string readQuo
1080: 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 ted(const LexPos
1090: 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 63 ition pos, ref c
10a0: 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a har[] buf)...{..
10b0: 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 ..if( reader.emp
10c0: 74 79 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 6e ty ).....throw n
10d0: 65 77 20 4c 65 78 45 78 63 65 70 74 69 6f 6e 28 ew LexException(
10e0: 70 6f 73 2c 20 22 45 4f 46 20 66 6f 75 6e 64 20 pos, "EOF found
10f0: 77 68 69 6c 65 20 6c 65 78 69 6e 67 20 61 20 71 while lexing a q
1100: 75 6f 74 65 64 2d 73 74 72 69 6e 67 22 29 3b 0d uoted-string");.
1110: 0a 09 09 64 63 68 61 72 20 63 20 3d 20 72 65 61 ...dchar c = rea
1120: 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 der.front;....re
1130: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a ader.popFront;..
1140: 09 09 69 66 28 20 63 20 3d 3d 20 27 22 27 20 29 ..if( c == '"' )
1150: 0d 0a 09 09 09 72 65 74 75 72 6e 20 61 73 73 75 .....return assu
1160: 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d 0a meUnique(buf);..
1170: 09 09 69 66 28 20 63 20 3d 3d 20 27 5c 5c 27 20 ..if( c == '\\'
1180: 26 26 20 21 72 65 61 64 65 72 2e 65 6d 70 74 79 && !reader.empty
1190: 20 29 20 7b 0d 0a 09 09 09 69 66 28 20 72 65 61 ) {.....if( rea
11a0: 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 27 20 29 der.front=='"' )
11b0: 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 72 2e 70 {......reader.p
11c0: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 opFront;......re
11d0: 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 turn readQuoted(
11e0: 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 22 27 29 pos,buf ~= '\"')
11f0: 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 69 66 28 20 ;.....}.....if(
1200: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c reader.front=='\
1210: 5c 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 64 \' ) {......read
1220: 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 er.popFront;....
1230: 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f ..return readQuo
1240: 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 27 ted(pos,buf ~= '
1250: 5c 5c 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 7d \\');.....}....}
1260: 0d 0a 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 ....return readQ
1270: 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d uoted(pos,buf ~=
1280: 20 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 c);...}.....str
1290: 69 6e 67 20 72 65 61 64 57 68 69 6c 65 28 61 6c ing readWhile(al
12a0: 69 61 73 20 66 6e 29 28 29 0d 0a 09 7b 0d 0a 09 ias fn)()...{...
12b0: 09 63 68 61 72 5b 5d 20 62 75 66 3b 0d 0a 09 09 .char[] buf;....
12c0: 66 6f 72 28 3b 20 21 72 65 61 64 65 72 2e 65 6d for(; !reader.em
12d0: 70 74 79 20 26 26 20 66 6e 28 72 65 61 64 65 72 pty && fn(reader
12e0: 2e 66 72 6f 6e 74 29 3b 20 72 65 61 64 65 72 2e .front); reader.
12f0: 70 6f 70 46 72 6f 6e 74 29 0d 0a 09 09 09 62 75 popFront).....bu
1300: 66 20 7e 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e f ~= reader.fron
1310: 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 61 73 73 t;....return ass
1320: 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d umeUnique(buf);.
1330: 0a 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 65 61 64 ..}...Token read
1340: 4e 65 78 74 28 29 0a 09 7b 0a 09 09 69 66 28 20 Next()..{...if(
1350: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 29 0a 09 reader.empty )..
1360: 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c 3b 0d 0a ..return null;..
1370: 09 09 73 63 6f 70 65 28 73 75 63 63 65 73 73 29 ..scope(success)
1380: 0d 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 .....readWhile!i
1390: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 69 66 28 sSpace();....if(
13a0: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d reader.front ==
13b0: 20 27 23 27 20 29 20 2f 2f 20 63 6f 6d 6d 65 6e '#' ) // commen
13c0: 74 0d 0a 09 09 7b 0d 0a 09 09 09 72 65 61 64 65 t....{.....reade
13d0: 72 20 3d 20 66 69 6e 64 28 72 65 61 64 65 72 2c r = find(reader,
13e0: 20 27 5c 6e 27 29 3b 0d 0a 09 09 09 72 65 61 64 '\n');.....read
13f0: 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b While!isSpace();
1400: 0d 0a 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 .....return read
1410: 4e 65 78 74 28 29 3b 0d 0a 09 09 7d 0a 09 09 65 Next();....}...e
1420: 6c 73 65 20 69 66 28 20 72 65 61 64 65 72 2e 66 lse if( reader.f
1430: 72 6f 6e 74 20 3d 3d 20 27 22 27 20 29 20 2f 2f ront == '"' ) //
1440: 20 71 75 6f 74 65 64 0d 0a 09 09 7b 0d 0a 09 09 quoted....{....
1450: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 .auto pos = read
1460: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 er.currentPositi
1470: 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 61 64 65 72 on();.....reader
1480: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 .popFront;.....r
1490: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 eturn new Token(
14a0: 70 6f 73 2c 20 72 65 61 64 51 75 6f 74 65 64 28 pos, readQuoted(
14b0: 70 6f 73 29 2c 20 74 72 75 65 29 3b 0d 0a 09 09 pos), true);....
14c0: 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 }....else if( is
14d0: 53 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 SSymbol(reader.f
14e0: 72 6f 6e 74 29 20 29 20 2f 2f 20 70 61 72 65 6e ront) ) // paren
14f0: 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 ....{.....auto p
1500: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
1510: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a entPosition();..
1520: 09 09 09 73 74 72 69 6e 67 20 73 3b 20 73 7e 3d ...string s; s~=
1530: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 20 72 65 reader.front; re
1540: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a ader.popFront;..
1550: 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f ...return new To
1560: 6b 65 6e 28 70 6f 73 2c 20 73 2c 20 66 61 6c 73 ken(pos, s, fals
1570: 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 e);....}....else
1580: 20 69 66 28 20 69 73 4d 53 79 6d 62 6f 6c 28 72 if( isMSymbol(r
1590: 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f eader.front) ) /
15a0: 2f 20 73 79 6d 62 6f 6c 0d 0a 09 09 7b 0a 09 09 / symbol....{...
15b0: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 .auto pos = read
15c0: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 er.currentPositi
15d0: 6f 6e 28 29 3b 0a 09 09 09 72 65 74 75 72 6e 20 on();....return
15e0: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 new Token(pos, r
15f0: 65 61 64 57 68 69 6c 65 21 69 73 4d 53 79 6d 62 eadWhile!isMSymb
1600: 6f 6c 28 29 2c 20 66 61 6c 73 65 29 3b 0a 09 09 ol(), false);...
1610: 7d 0a 09 09 65 6c 73 65 0a 09 09 7b 0a 09 09 09 }...else...{....
1620: 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 auto pos = reade
1630: 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f r.currentPositio
1640: 6e 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 n();.....return
1650: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 new Token(pos, r
1660: 65 61 64 57 68 69 6c 65 21 69 73 4c 65 74 74 65 eadWhile!isLette
1670: 72 28 29 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 r(), false);....
1680: 7d 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 }..}.}..unittest
1690: 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 2e .{..assert( std.
16a0: 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 52 range.isForwardR
16b0: 61 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b 0a ange!(Lexer) );.
16c0: 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 }..unittest.{..a
16d0: 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 uto lex = lexerF
16e0: 72 6f 6d 53 74 72 69 6e 67 28 22 74 68 69 73 09 romString("this.
16f0: 69 73 20 61 20 5c 74 5c 72 5c 6e 20 70 65 6e 20 is a \t\r\n pen
1700: 3a 2d 28 20 40 40 3b 20 20 22 29 3b 0a 09 54 6f :-( @@; ");..To
1710: 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 ken[] ts = std.a
1720: 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 29 3b rray.array(lex);
1730: 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
1740: 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [0].pos.lineno,
1750: 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 1 );..assert_eq(
1760: 20 74 73 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 6d ts[0].pos.colum
1770: 6e 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 28 n, 1 );..assert(
1780: 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 !ts[0].quoted
1790: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
17a0: 74 73 5b 30 5d 2e 73 74 72 2c 20 22 74 68 69 73 ts[0].str, "this
17b0: 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
17c0: 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[1].pos.line
17d0: 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 no, 1 );..assert
17e0: 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 63 _eq( ts[1].pos.c
17f0: 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 olumn, 6 );..ass
1800: 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 ert( !ts[1].qu
1810: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
1820: 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 eq( ts[1].str, "
1830: 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f is" );...assert_
1840: 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c 69 eq( ts[2].pos.li
1850: 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 neno, 1 );..asse
1860: 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 rt_eq( ts[2].pos
1870: 2e 63 6f 6c 75 6d 6e 2c 20 39 20 29 3b 0a 09 61 .column, 9 );..a
1880: 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e ssert( !ts[2].
1890: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
18a0: 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c t_eq( ts[2].str,
18b0: 20 22 61 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 "a" );...assert
18c0: 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 6c _eq( ts[3].pos.l
18d0: 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 ineno, 2 );..ass
18e0: 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f ert_eq( ts[3].po
18f0: 73 2e 63 6f 6c 75 6d 6e 2c 20 32 20 29 3b 0a 09 s.column, 2 );..
1900: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 33 5d assert( !ts[3]
1910: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
1920: 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 rt_eq( ts[3].str
1930: 2c 20 22 70 65 6e 22 20 29 3b 0a 0a 09 61 73 73 , "pen" );...ass
1940: 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f ert_eq( ts[4].po
1950: 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 s.lineno, 2 );..
1960: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d assert_eq( ts[4]
1970: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 .pos.column, 6 )
1980: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1990: 5b 34 5d 2e 73 74 72 2c 20 22 3a 2d 22 20 29 3b [4].str, ":-" );
19a0: 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
19b0: 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [5].pos.lineno,
19c0: 32 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 2 );...assert_eq
19d0: 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[5].pos.colu
19e0: 6d 6e 2c 20 38 20 29 3b 0d 0a 09 61 73 73 65 72 mn, 8 );...asser
19f0: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c t_eq( ts[5].str,
1a00: 20 22 28 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 "(" );...assert
1a10: 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 _eq( ts[6].str,
1a20: 22 40 40 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 "@@" );...assert
1a30: 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 _eq( ts[7].str,
1a40: 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 65 6e 20 ";" ); // paren
1a50: 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e 73 20 61 and simicolons a
1a60: 72 65 20 73 70 6c 69 74 0d 0a 0d 0a 09 61 73 73 re split.....ass
1a70: 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 74 ert_eq( ts.lengt
1a80: 68 2c 20 38 20 29 3b 0a 7d 0a 0a 75 6e 69 74 74 h, 8 );.}..unitt
1a90: 65 73 74 0a 7b 0a 09 2f 2f 20 21 21 20 62 65 20 est.{..// !! be
1aa0: 73 75 72 65 20 74 6f 20 72 75 6e 20 74 68 65 20 sure to run the
1ab0: 75 6e 69 74 74 65 73 74 20 6f 6e 20 74 68 65 20 unittest on the
1ac0: 72 6f 6f 74 20 6f 66 20 74 68 65 20 73 6f 75 72 root of the sour
1ad0: 63 65 20 64 69 72 65 63 74 6f 72 79 0a 09 61 75 ce directory..au
1ae0: 74 6f 20 6c 65 78 66 20 3d 20 6c 65 78 65 72 46 to lexf = lexerF
1af0: 72 6f 6d 46 69 6c 65 28 22 70 6f 6c 65 6d 79 2f romFile("polemy/
1b00: 6c 65 78 2e 64 22 29 3b 09 0a 09 6c 65 78 66 20 lex.d");...lexf
1b10: 3d 20 66 69 6e 64 21 60 61 2e 73 74 72 20 3d 3d = find!`a.str ==
1b20: 20 22 6d 6f 64 75 6c 65 22 60 28 6c 65 78 66 29 "module"`(lexf)
1b30: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1b40: 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 6d xf.front.str, "m
1b50: 6f 64 75 6c 65 22 20 29 3b 0a 09 61 73 73 65 72 odule" );..asser
1b60: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1b70: 2e 70 6f 73 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 .pos.filename, "
1b80: 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 20 29 3b polemy/lex.d" );
1b90: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1ba0: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 f.front.pos.line
1bb0: 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 74 no, 7 );..assert
1bc0: 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e _eq( lexf.front.
1bd0: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b pos.column, 1 );
1be0: 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b ..lexf.popFront;
1bf0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1c00: 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 70 6f f.front.str, "po
1c10: 6c 65 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 74 lemy" );..assert
1c20: 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e _eq( lexf.front.
1c30: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b pos.lineno, 7 );
1c40: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1c50: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 f.front.pos.colu
1c60: 6d 6e 2c 20 38 20 29 3b 0a 09 6c 65 78 66 2e 70 mn, 8 );..lexf.p
1c70: 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 opFront;..lexf.p
1c80: 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 opFront;..lexf.p
1c90: 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 opFront;..lexf.p
1ca0: 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 opFront;..assert
1cb0: 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e _eq( lexf.front.
1cc0: 73 74 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 3b str, "import" );
1cd0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1ce0: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 f.front.pos.line
1cf0: 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 74 no, 8 );..assert
1d00: 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e _eq( lexf.front.
1d10: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b pos.column, 1 );
1d20: 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b .}...unittest..{
1d30: 0d 0a 09 61 73 73 65 72 74 5f 74 68 72 6f 77 21 ...assert_throw!
1d40: 4c 65 78 45 78 63 65 70 74 69 6f 6e 28 20 6c 65 LexException( le
1d50: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 22 xerFromString(`"
1d60: 60 29 20 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 74 `) );..}...unitt
1d70: 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 est.{..auto lex
1d80: 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e = lexerFromStrin
1d90: 67 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 20 g(`my # comment
1da0: 73 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e 60 should`~"\r\n"~`
1db0: 23 20 68 65 79 21 21 0a 62 65 20 69 67 6e 6f 72 # hey!!.be ignor
1dc0: 65 64 2e 0a 68 61 68 61 68 61 22 68 69 68 69 68 ed..hahaha"hihih
1dd0: 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 31 i""hu\\\"huhu"#1
1de0: 32 33 20 61 61 0a 31 32 33 20 61 61 20 22 61 61 23 aa.123 aa "aa
1df0: 61 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 20 31 a`~"\n"~`bbb # 1
1e00: 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 22 23`~"\r\n"~`eee"
1e10: 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e 5b .zzz.`);..Token[
1e20: 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 79 ] ts = std.array
1e30: 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 61 73 .array(lex);..as
1e40: 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 sert_eq( ts[0].s
1e50: 74 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 73 73 tr, "my" );..ass
1e60: 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f ert_eq( ts[0].po
1e70: 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 s.lineno, 1 );..
1e80: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d assert( !ts[0]
1e90: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
1ea0: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 rt_eq( ts[1].str
1eb0: 2c 20 22 62 65 22 20 29 3b 0a 09 61 73 73 65 72 , "be" );..asser
1ec0: 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e t_eq( ts[1].pos.
1ed0: 6c 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 73 lineno, 3 );..as
1ee0: 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 sert( !ts[1].q
1ef0: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1f00: 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 _eq( ts[2].str,
1f10: 22 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 61 73 "ignored" );..as
1f20: 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 sert( !ts[2].q
1f30: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1f40: 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 _eq( ts[3].str,
1f50: 22 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 "." );..assert(
1f60: 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 !ts[3].quoted
1f70: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1f80: 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 61 68 s[4].str, "hahah
1f90: 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 a" );..assert_eq
1fa0: 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[4].pos.line
1fb0: 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 74 no, 4 );..assert
1fc0: 28 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f 74 65 ( !ts[4].quote
1fd0: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
1fe0: 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 69 68 ts[5].str, "hih
1ff0: 69 68 69 22 20 29 3b 0a 09 61 73 73 65 72 74 5f ihi" );..assert_
2000: 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 eq( ts[5].pos.li
2010: 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 neno, 4 );..asse
2020: 72 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 75 6f rt( ts[5].quo
2030: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ted );..assert_e
2040: 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 60 68 q( ts[6].str, `h
2050: 75 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 73 73 u\"huhu` );..ass
2060: 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 6f ert_eq( ts[6].po
2070: 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 s.lineno, 4 );..
2080: 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 36 5d assert( ts[6]
2090: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
20a0: 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 rt_eq( ts[7].str
20b0: 2c 20 22 31 32 33 22 20 29 3b 0a 09 61 73 73 65 , "123" );..asse
20c0: 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 6f 73 rt_eq( ts[7].pos
20d0: 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 .lineno, 5 );..a
20e0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e ssert_eq( ts[8].
20f0: 73 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 61 73 str, "aa" );..as
2100: 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 70 sert_eq( ts[9].p
2110: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a os.lineno, 5 );.
2120: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 .assert_eq( ts[9
2130: 5d 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 62 ].str, "aaa\nbbb
2140: 20 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b 0a # 123\neee" );.
2150: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 39 .assert( ts[9
2160: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
2170: 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e 70 ert_eq( ts[10].p
2180: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a os.lineno, 8 );.
2190: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 .assert( !ts[1
21a0: 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 0].quoted );..as
21b0: 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 sert_eq( ts.leng
21c0: 74 68 2c 20 31 31 20 29 3b 0a 7d 0a 0d 0a 75 6e th, 11 );.}...un
21d0: 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f ittest..{...auto
21e0: 20 6c 65 78 32 20 3d 20 6c 65 78 65 72 46 72 6f lex2 = lexerFro
21f0: 6d 53 74 72 69 6e 67 28 22 20 61 31 32 5c 6e 33 mString(" a12\n3
2200: 61 20 35 20 22 29 3b 0d 0a 09 61 73 73 65 72 74 a 5 ");...assert
2210: 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e _eq( lex2.front.
2220: 73 74 72 2c 20 22 61 31 32 22 20 29 3b 0d 0a 09 str, "a12" );...
2230: 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex2.popFront;..
2240: 09 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 78 .auto lex3 = lex
2250: 32 2e 73 61 76 65 3b 0d 0a 09 61 73 73 65 72 74 2.save;...assert
2260: 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e _eq( lex2.front.
2270: 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 6c str, "3a" );...l
2280: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 ex2.popFront;...
2290: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 2e assert_eq( lex3.
22a0: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 front.str, "3a"
22b0: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
22c0: 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 lex2.front.str,
22d0: 22 35 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f "5" );...lex2.po
22e0: 70 46 72 6f 6e 74 3b 0d 0a 09 6c 65 78 33 2e 70 pFront;...lex3.p
22f0: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 opFront;...asser
2300: 74 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 3b t( lex2.empty );
2310: 0d 0a 09 61 73 73 65 72 74 28 20 21 6c 65 78 33 ...assert( !lex3
2320: 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 .empty );...asse
2330: 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f 6e rt_eq( lex3.fron
2340: 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a 7d t.str, "5" );..}
2350: 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d ....unittest..{.
2360: 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 ..auto lex = lex
2370: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 3d 22 erFromString(`="
2380: 22 60 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 "`);...assert_eq
2390: 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 (lex.front.str,
23a0: 22 3d 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f "="); lex.popFro
23b0: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 nt;...assert_eq(
23c0: 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 lex.front.str, "
23d0: 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 "); lex.popFront
23e0: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 2e ;...assert( lex.
23f0: 65 6d 70 74 79 20 29 3b 0d 0a 7d 0d 0a 0d 0a 2f empty );..}..../
2400: 2f 2f 20 46 6f 72 77 61 72 64 20 72 61 6e 67 65 // Forward range
2410: 20 66 6f 72 20 72 65 61 64 65 72 20 63 68 61 72 for reader char
2420: 61 63 74 65 72 20 62 79 20 63 68 61 72 61 63 74 acter by charact
2430: 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 70 69 6e 67 er,../// keeping
2440: 20 74 72 61 63 6b 20 6f 66 20 70 6f 73 69 74 69 track of positi
2450: 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 61 on information a
2460: 6e 64 20 63 61 72 69 6e 67 20 5c 72 5c 6e 20 2d nd caring \r\n -
2470: 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 69 6f 6e 2e > \n conversion.
2480: 0d 0a 0d 0a 70 72 69 76 61 74 65 0d 0a 73 74 72 ....private..str
2490: 75 63 74 20 50 6f 73 69 74 69 6f 6e 65 64 52 65 uct PositionedRe
24a0: 61 64 65 72 28 43 68 61 72 53 65 71 29 0d 0a 09 ader(CharSeq)...
24b0: 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e if( isForwardRan
24c0: 67 65 21 28 43 68 61 72 53 65 71 29 20 26 26 20 ge!(CharSeq) &&
24d0: 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 is(ElementType!(
24e0: 43 68 61 72 53 65 71 29 20 3d 3d 20 64 63 68 61 CharSeq) == dcha
24f0: 72 29 20 29 0d 0a 7b 0d 0a 09 43 68 61 72 53 65 r) )..{...CharSe
2500: 71 20 62 75 66 66 65 72 3b 0d 0a 09 73 74 72 69 q buffer;...stri
2510: 6e 67 20 20 66 69 6c 65 6e 61 6d 65 3b 0d 0a 09 ng filename;...
2520: 69 6e 74 20 20 20 20 20 6c 69 6e 65 6e 6f 3b 0d int lineno;.
2530: 0a 09 69 6e 74 20 20 20 20 20 63 6f 6c 75 6d 6e ..int column
2540: 3b 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 ;...../// Range
2550: 70 72 69 6d 69 74 69 76 65 0d 0a 09 62 6f 6f 6c primitive...bool
2560: 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 empty() /*@prop
2570: 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 65 erty*/...{....re
2580: 74 75 72 6e 20 62 75 66 66 65 72 2e 65 6d 70 74 turn buffer.empt
2590: 79 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 y;...}...../// R
25a0: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a ange primitive..
25b0: 09 64 63 68 61 72 20 66 72 6f 6e 74 28 29 20 2f .dchar front() /
25c0: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b *@property*/...{
25d0: 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75 ....dchar c = bu
25e0: 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 ffer.front;....r
25f0: 65 74 75 72 6e 20 28 63 3d 3d 27 5c 72 27 20 3f eturn (c=='\r' ?
2600: 20 27 5c 6e 27 20 3a 20 63 29 3b 0d 0a 09 7d 0d '\n' : c);...}.
2610: 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 ..../// Range pr
2620: 69 6d 69 74 69 76 65 0d 0a 09 76 6f 69 64 20 70 imitive...void p
2630: 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f opFront() /*@pro
2640: 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 perty*/...{....d
2650: 63 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 2e char c = buffer.
2660: 66 72 6f 6e 74 3b 0d 0a 09 09 62 75 66 66 65 72 front;....buffer
2670: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 .popFront;....if
2680: 28 20 63 3d 3d 27 5c 72 27 20 29 0d 0a 09 09 7b ( c=='\r' )....{
2690: 0d 0a 09 09 09 69 66 28 20 21 62 75 66 66 65 72 .....if( !buffer
26a0: 2e 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 72 .empty && buffer
26b0: 2e 66 72 6f 6e 74 3d 3d 27 5c 6e 27 20 29 0d 0a .front=='\n' )..
26c0: 09 09 09 09 62 75 66 66 65 72 2e 70 6f 70 46 72 ....buffer.popFr
26d0: 6f 6e 74 3b 0d 0a 09 09 09 63 20 3d 20 27 5c 6e ont;.....c = '\n
26e0: 27 3b 0d 0a 09 09 7d 0d 0a 09 09 69 66 28 20 63 ';....}....if( c
26f0: 3d 3d 27 5c 6e 27 20 29 0d 0a 09 09 7b 0d 0a 09 =='\n' )....{...
2700: 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b 0d 0a 09 09 ..lineno ++;....
2710: 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 .column = 1;....
2720: 7d 0d 0a 09 09 65 6c 73 65 0d 0a 09 09 09 63 6f }....else.....co
2730: 6c 75 6d 6e 20 2b 2b 3b 0d 0a 09 7d 0d 0a 0d 0a lumn ++;...}....
2740: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
2750: 74 69 76 65 0d 0a 09 74 79 70 65 6f 66 28 74 68 tive...typeof(th
2760: 69 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 72 is) save() /*@pr
2770: 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 operty*/...{....
2780: 72 65 74 75 72 6e 20 74 68 69 73 3b 0d 0a 09 7d return this;...}
2790: 0d 0a 0d 0a 09 2f 2f 2f 20 47 65 74 20 74 68 65 ...../// Get the
27a0: 20 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69 6f current positio
27b0: 6e 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 28 4c 65 n...immutable(Le
27c0: 78 50 6f 73 69 74 69 6f 6e 29 20 63 75 72 72 65 xPosition) curre
27d0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 20 63 6f 6e ntPosition() con
27e0: 73 74 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e st...{....return
27f0: 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c new immutable(L
2800: 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c 65 exPosition)(file
2810: 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f name, lineno, co
2820: 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a 0d lumn);...}..}...
2830: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 .unittest..{...a
2840: 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72 64 ssert( isForward
2850: 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e 65 Range!(Positione
2860: 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 dReader!string)
2870: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 28 );...assert( is(
2880: 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f 73 ElementType!(Pos
2890: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
28a0: 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29 20 ring) == dchar)
28b0: 29 3b 0d 0a 7d 0d 0a );..}..