0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2a 6d 69 isalnum;..../*mi
00f0: 78 69 6e 2a 2f 0d 0a 74 65 6d 70 6c 61 74 65 20 xin*/..template
0100: 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f 73 ExceptionWithPos
0110: 69 74 69 6f 6e 28 29 0d 0a 7b 0d 0a 09 63 6f 6e ition()..{...con
0120: 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 st LexPosition p
0130: 6f 73 3b 0d 0a 09 74 68 69 73 28 20 63 6f 6e 73 os;...this( cons
0140: 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f t LexPosition po
0150: 73 2c 20 73 74 72 69 6e 67 20 6d 73 67 2c 20 73 s, string msg, s
0160: 74 72 69 6e 67 20 66 69 6c 65 3d 6e 75 6c 6c 2c tring file=null,
0170: 20 73 69 7a 65 5f 74 20 6c 69 6e 65 3d 30 2c 20 size_t line=0,
0180: 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 3d 6e Throwable next=n
0190: 75 6c 6c 20 29 0d 0a 09 09 7b 20 73 75 70 65 72 ull )....{ super
01a0: 28 73 70 72 69 6e 74 66 21 22 5b 25 73 5d 20 25 (sprintf!"[%s] %
01b0: 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c 20 66 69 s"(pos, msg), fi
01c0: 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 29 3b le, line, next);
01d0: 20 74 68 69 73 2e 70 6f 73 20 3d 20 70 6f 73 3b this.pos = pos;
01e0: 20 7d 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 54 68 72 }..}..../// Thr
01f0: 6f 77 6e 20 77 68 65 6e 20 65 6e 63 6f 75 6e 74 own when encount
0200: 65 72 65 64 20 61 6e 20 45 4f 46 20 69 6e 20 74 ered an EOF in t
0210: 68 65 20 6d 69 64 64 6c 65 20 6f 66 20 61 20 6c he middle of a l
0220: 65 78 69 63 61 6c 20 74 6f 6b 65 6e 0d 0a 0d 0a exical token....
0230: 63 6c 61 73 73 20 55 6e 65 78 70 65 63 74 65 64 class Unexpected
0240: 45 4f 46 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d EOF : Exception.
0250: 0a 7b 0d 0a 09 6d 69 78 69 6e 20 45 78 63 65 70 .{...mixin Excep
0260: 74 69 6f 6e 57 69 74 68 50 6f 73 69 74 69 6f 6e tionWithPosition
0270: 3b 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 54 68 72 6f ;..}..../// Thro
0280: 77 6e 20 77 68 65 6e 20 65 6e 63 6f 75 6e 74 65 wn when encounte
0290: 72 65 64 20 61 20 6c 65 78 69 63 61 6c 20 65 72 red a lexical er
02a0: 72 6f 72 0d 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 ror....class Lex
02b0: 45 78 63 65 70 74 69 6f 6e 20 3a 20 45 78 63 65 Exception : Exce
02c0: 70 74 69 6f 6e 0d 0a 7b 0d 0a 09 6d 69 78 69 6e ption..{...mixin
02d0: 20 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f ExceptionWithPo
02e0: 73 69 74 69 6f 6e 3b 0d 0a 7d 3b 0d 0a 0d 0a 2f sition;..};..../
02f0: 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 61 20 // Represents a
0300: 70 6f 73 69 74 69 6f 6e 20 69 6e 20 73 6f 75 72 position in sour
0310: 63 65 20 63 6f 64 65 73 0a 0a 63 6c 61 73 73 20 ce codes..class
0320: 4c 65 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 LexPosition.{..i
0330: 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 mmutable string
0340: 66 69 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 filename; /// na
0350: 6d 65 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 me of the source
0360: 20 66 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 file..immutable
0370: 20 69 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 int lineno;
0380: 20 20 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a 09 /// 1-origin..
0390: 69 6d 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 20 immutable int
03a0: 20 63 6f 6c 75 6d 6e 3b 20 20 20 2f 2f 2f 20 31 column; /// 1
03b0: 2d 6f 72 69 67 69 6e 0a 0d 0a 09 6d 69 78 69 6e -origin....mixin
03c0: 20 53 69 6d 70 6c 65 43 6c 61 73 73 3b 0a 09 6f SimpleClass;..o
03d0: 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 20 74 verride string t
03e0: 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 74 0a oString() const.
03f0: 09 09 7b 20 72 65 74 75 72 6e 20 73 70 72 69 6e ..{ return sprin
0400: 74 66 21 22 25 73 3a 25 64 3a 25 64 22 28 66 69 tf!"%s:%d:%d"(fi
0410: 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 lename, lineno,
0420: 63 6f 6c 75 6d 6e 29 3b 20 7d 0a 0d 0a 09 73 74 column); }....st
0430: 61 74 69 63 20 69 6d 6d 75 74 61 62 6c 65 20 4c atic immutable L
0440: 65 78 50 6f 73 69 74 69 6f 6e 20 64 75 6d 6d 79 exPosition dummy
0450: 3b 0d 0a 09 73 74 61 74 69 63 20 74 68 69 73 28 ;...static this(
0460: 29 7b 20 64 75 6d 6d 79 20 3d 20 6e 65 77 20 69 ){ dummy = new i
0470: 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 mmutable(LexPosi
0480: 74 69 6f 6e 29 28 22 3c 75 6e 6e 61 6d 65 64 3e tion)("<unnamed>
0490: 22 2c 30 2c 30 29 3b 20 7d 0d 0a 7d 0a 0a 75 6e ",0,0); }..}..un
04a0: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 ittest.{..auto p
04b0: 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 = new LexPositi
04c0: 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 on("hello.cpp",
04d0: 31 32 33 2c 20 34 35 29 3b 0a 0a 09 61 73 73 65 123, 45);...asse
04e0: 72 74 5f 65 71 28 20 70 2e 66 69 6c 65 6e 61 6d rt_eq( p.filenam
04f0: 65 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 22 20 29 e, "hello.cpp" )
0500: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e ;..assert_eq( p.
0510: 6c 69 6e 65 6e 6f 2c 20 31 32 33 20 29 3b 0a 09 lineno, 123 );..
0520: 61 73 73 65 72 74 5f 65 71 28 20 70 2e 63 6f 6c assert_eq( p.col
0530: 75 6d 6e 2c 20 34 35 20 29 3b 0a 09 61 73 73 65 umn, 45 );..asse
0540: 72 74 5f 65 71 28 20 74 6f 21 73 74 72 69 6e 67 rt_eq( to!string
0550: 28 70 29 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 3a (p), "hello.cpp:
0560: 31 32 33 3a 34 35 22 20 29 3b 0a 0a 09 61 73 73 123:45" );...ass
0570: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
0580: 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 4c 65 78 ompiles, new Lex
0590: 50 6f 73 69 74 69 6f 6e 29 20 29 3b 0a 09 61 73 Position) );..as
05a0: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
05b0: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 66 69 6c 65 compiles, p.file
05c0: 6e 61 6d 65 3d 22 66 6f 6f 22 29 20 29 3b 0a 09 name="foo") );..
05d0: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
05e0: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 6c 69 s(compiles, p.li
05f0: 6e 65 6e 6f 20 20 3d 37 38 39 29 20 29 3b 0a 09 neno =789) );..
0600: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0610: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 63 6f s(compiles, p.co
0620: 6c 75 6d 6e 20 20 3d 32 32 32 29 20 29 3b 0a 0d lumn =222) );..
0630: 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c ..auto q = new L
0640: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
0650: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 o.cpp", 123, 46)
0660: 3b 0d 0a 09 61 73 73 65 72 74 5f 6c 74 28 20 70 ;...assert_lt( p
0670: 2c 20 71 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f , q );...assert_
0680: 6e 65 28 20 70 2c 20 71 20 29 3b 0d 0a 7d 0a 0a ne( p, q );..}..
0690: 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 61 /// Represents a
06a0: 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a 0a 63 6c lexer token..cl
06b0: 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a 09 69 6d 6d ass Token.{..imm
06c0: 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 utable LexPositi
06d0: 6f 6e 20 70 6f 73 3b 20 20 20 20 2f 2f 2f 20 50 on pos; /// P
06e0: 6f 73 69 74 69 6f 6e 20 77 68 65 72 65 20 74 68 osition where th
06f0: 65 20 74 6f 6b 65 6e 20 6f 63 63 75 72 72 65 64 e token occurred
0700: 20 69 6e 20 74 68 65 20 73 6f 75 72 63 65 0a 09 in the source..
0710: 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e 67 immutable string
0720: 20 20 20 20 20 20 73 74 72 3b 20 20 20 20 2f 2f str; //
0730: 2f 20 54 68 65 20 74 6f 6b 65 6e 20 73 74 72 69 / The token stri
0740: 6e 67 20 69 74 73 65 6c 66 0a 09 69 6d 6d 75 74 ng itself..immut
0750: 61 62 6c 65 20 62 6f 6f 6c 20 20 20 20 20 20 20 able bool
0760: 20 71 75 6f 74 65 64 3b 20 2f 2f 2f 20 57 61 73 quoted; /// Was
0770: 20 69 74 20 61 20 22 71 75 6f 74 65 64 22 20 74 it a "quoted" t
0780: 6f 6b 65 6e 20 6f 72 20 75 6e 71 75 6f 74 65 64 oken or unquoted
0790: 3f 0a 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 ?...mixin Simple
07a0: 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e 69 74 74 65 Class;.}..unitte
07b0: 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e st.{..auto p = n
07c0: 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 ew immutable(Lex
07d0: 50 6f 73 69 74 69 6f 6e 29 28 22 68 65 6c 6c 6f Position)("hello
07e0: 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b .cpp", 123, 45);
07f0: 0a 09 61 75 74 6f 20 74 20 3d 20 6e 65 77 20 54 ..auto t = new T
0800: 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c oken(p, "class",
0810: 20 66 61 6c 73 65 29 3b 0a 09 61 75 74 6f 20 75 false);..auto u
0820: 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 = new Token(p,
0830: 22 63 6c 61 73 73 22 2c 20 74 72 75 65 29 3b 0a "class", true);.
0840: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2e 70 ..assert_eq( t.p
0850: 6f 73 2c 20 70 20 29 3b 0a 09 61 73 73 65 72 74 os, p );..assert
0860: 5f 65 71 28 20 74 2e 73 74 72 2c 20 22 63 6c 61 _eq( t.str, "cla
0870: 73 73 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 ss" );..assert(
0880: 21 74 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 !t.quoted );..as
0890: 73 65 72 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 sert_eq( t, new
08a0: 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 Token(p, "class"
08b0: 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 , false) );..ass
08c0: 65 72 74 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 ert_lt( t, new T
08d0: 6f 6b 65 6e 28 70 2c 20 22 73 74 72 75 63 74 22 oken(p, "struct"
08e0: 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 , false) );..ass
08f0: 65 72 74 5f 6e 65 28 20 74 2c 20 75 20 29 3b 0a ert_ne( t, u );.
0900: 09 61 73 73 65 72 74 28 20 75 2e 71 75 6f 74 65 .assert( u.quote
0910: 64 20 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 21 d );...assert( !
0920: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
0930: 73 2c 20 6e 65 77 20 54 6f 6b 65 6e 29 20 29 3b s, new Token) );
0940: 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 ..assert( !__tra
0950: 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e its(compiles, t.
0960: 70 6f 73 3d 70 29 20 29 3b 0a 09 61 73 73 65 72 pos=p) );..asser
0970: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
0980: 70 69 6c 65 73 2c 20 74 2e 73 74 72 3d 37 38 39 piles, t.str=789
0990: 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f ) );..assert( !_
09a0: 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 _traits(compiles
09b0: 2c 20 74 2e 71 75 6f 74 65 64 3d 74 72 75 65 29 , t.quoted=true)
09c0: 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 4e 61 6d 65 64 );.}../// Named
09d0: 20 43 6f 6e 73 74 72 75 74 6f 72 73 20 66 6f 72 Construtors for
09e0: 20 4c 65 78 65 72 0a 0a 4c 65 78 65 72 20 6c 65 Lexer..Lexer le
09f0: 78 65 72 46 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e xerFromFile(T...
0a00: 29 28 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 )( string filena
0a10: 6d 65 2c 20 54 20 6c 6e 5f 63 6e 20 29 0a 7b 0a me, T ln_cn ).{.
0a20: 09 72 65 74 75 72 6e 20 6c 65 78 65 72 46 72 6f .return lexerFro
0a30: 6d 53 74 72 69 6e 67 28 20 73 74 64 2e 66 69 6c mString( std.fil
0a40: 65 2e 72 65 61 64 54 65 78 74 28 66 69 6c 65 6e e.readText(filen
0a50: 61 6d 65 29 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 ame), filename,
0a60: 6c 6e 5f 63 6e 20 29 3b 0a 7d 0a 09 0a 2f 2f 2f ln_cn );.}...///
0a70: 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f Named Construto
0a80: 72 20 66 6f 72 20 4c 65 78 65 72 0d 0a 0d 0a 4c r for Lexer....L
0a90: 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 exerT!(Positione
0aa0: 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71 29 dReader!CharSeq)
0ab0: 20 2f 2a 20 64 64 6f 63 20 64 6f 65 73 6e 27 74 /* ddoc doesn't
0ac0: 20 72 65 63 6f 67 6e 69 7a 65 20 61 75 74 6f 20 recognize auto
0ad0: 72 65 74 75 72 6e 2e 2e 2e 20 62 75 67 7a 69 6c return... bugzil
0ae0: 6c 61 3a 32 35 38 31 20 2a 2f 0d 0a 6c 65 78 65 la:2581 */..lexe
0af0: 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 68 61 72 rFromString(Char
0b00: 53 65 71 29 28 20 43 68 61 72 53 65 71 20 73 74 Seq)( CharSeq st
0b10: 72 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 r, string filena
0b20: 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c 20 me="<unnamed>",
0b30: 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c 20 69 6e int lineno=1, in
0b40: 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a 7b 0a 20 t column=1 ).{.
0b50: 09 72 65 74 75 72 6e 20 6e 65 77 20 4c 65 78 65 .return new Lexe
0b60: 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 rT!(PositionedRe
0b70: 61 64 65 72 21 43 68 61 72 53 65 71 29 28 0d 0a ader!CharSeq)(..
0b80: 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 ..PositionedRead
0b90: 65 72 21 43 68 61 72 53 65 71 28 73 74 72 2c 20 er!CharSeq(str,
0ba0: 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f filename, lineno
0bb0: 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 3b 0a 7d , column)...);.}
0bc0: 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 64 20 4c ../// Standard L
0bd0: 65 78 65 72 20 54 79 70 65 20 28 61 6c 6c 20 79 exer Type (all y
0be0: 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e 6f 77 20 ou have to know
0bf0: 69 73 20 74 68 61 74 20 74 68 69 73 20 69 73 20 is that this is
0c00: 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 20 a forward range
0c10: 6f 66 20 54 6f 6b 65 6e 73 21 29 0d 0a 0d 0a 61 of Tokens!)....a
0c20: 6c 69 61 73 20 4c 65 78 65 72 54 21 28 50 6f 73 lias LexerT!(Pos
0c30: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
0c40: 72 69 6e 67 29 20 4c 65 78 65 72 3b 0a 0a 2f 2f ring) Lexer;..//
0c50: 2f 20 4c 65 78 65 72 20 49 6d 70 6c 65 6d 65 6e / Lexer Implemen
0c60: 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 73 73 20 tation....class
0c70: 4c 65 78 65 72 54 28 52 65 61 64 65 72 29 0d 0a LexerT(Reader)..
0c80: 09 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 .if( isForwardRa
0c90: 6e 67 65 21 28 52 65 61 64 65 72 29 20 26 26 20 nge!(Reader) &&
0ca0: 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 is(ElementType!(
0cb0: 52 65 61 64 65 72 29 3d 3d 64 63 68 61 72 29 20 Reader)==dchar)
0cc0: 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 ).{../// Range p
0cd0: 72 69 6d 69 74 69 76 65 0a 09 62 6f 6f 6c 20 65 rimitive..bool e
0ce0: 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 72 mpty() /*@proper
0cf0: 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e ty*/..{...return
0d00: 20 63 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c current is null
0d10: 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 ;..}.../// Range
0d20: 20 70 72 69 6d 69 74 69 76 65 0a 09 54 6f 6b 65 primitive..Toke
0d30: 6e 20 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f n front() /*@pro
0d40: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 perty*/..{...ret
0d50: 75 72 6e 20 73 74 64 2e 65 78 63 65 70 74 69 6f urn std.exceptio
0d60: 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 65 6e n.enforce(curren
0d70: 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 61 6c t, "Lexer has al
0d80: 72 65 61 64 79 20 72 65 61 63 68 65 64 20 74 68 ready reached th
0d90: 65 20 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 2f 2f e end");..}...//
0da0: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
0db0: 65 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 e..void popFront
0dc0: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
0dd0: 0a 09 7b 0a 09 09 73 74 64 2e 65 78 63 65 70 74 ..{...std.except
0de0: 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 ion.enforce(curr
0df0: 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 ent, "Lexer has
0e00: 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 20 already reached
0e10: 74 68 65 20 65 6e 64 22 29 3b 0a 09 09 63 75 72 the end");...cur
0e20: 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 78 74 28 rent = readNext(
0e30: 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 );..}.../// Rang
0e40: 65 20 70 72 69 6d 69 74 69 76 65 0a 09 74 79 70 e primitive..typ
0e50: 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 29 eof(this) save()
0e60: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 /*@property*/..
0e70: 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 20 74 {...return new t
0e80: 79 70 65 6f 66 28 74 68 69 73 29 28 72 65 61 64 ypeof(this)(read
0e90: 65 72 2e 73 61 76 65 2c 20 63 75 72 72 65 6e 74 er.save, current
0ea0: 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 65 3a 20 );..}..private:
0eb0: 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f // implementatio
0ec0: 6e 0a 0a 09 52 65 61 64 65 72 20 72 65 61 64 65 n...Reader reade
0ed0: 72 3b 0a 09 54 6f 6b 65 6e 20 20 63 75 72 72 65 r;..Token curre
0ee0: 6e 74 3b 0a 0a 09 69 6e 76 61 72 69 61 6e 74 28 nt;...invariant(
0ef0: 29 0a 09 7b 0a 09 09 61 73 73 65 72 74 28 20 72 )..{...assert( r
0f00: 65 61 64 65 72 2e 65 6d 70 74 79 20 7c 7c 20 21 eader.empty || !
0f10: 69 73 53 70 61 63 65 28 72 65 61 64 65 72 2e 66 isSpace(reader.f
0f20: 72 6f 6e 74 29 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 ront) );..}.....
0f30: 74 68 69 73 28 20 52 65 61 64 65 72 20 72 65 61 this( Reader rea
0f40: 64 65 72 2c 20 54 6f 6b 65 6e 20 63 75 72 72 65 der, Token curre
0f50: 6e 74 20 3d 20 6e 75 6c 6c 20 29 0d 0a 09 7b 0d nt = null )...{.
0f60: 0a 09 09 74 68 69 73 2e 72 65 61 64 65 72 20 3d ...this.reader =
0f70: 20 72 65 61 64 65 72 3b 0d 0a 09 09 72 65 61 64 reader;....read
0f80: 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b While!isSpace();
0f90: 0d 0a 09 09 74 68 69 73 2e 63 75 72 72 65 6e 74 ....this.current
0fa0: 20 3d 20 28 63 75 72 72 65 6e 74 20 69 73 20 6e = (current is n
0fb0: 75 6c 6c 20 3f 20 72 65 61 64 4e 65 78 74 28 29 ull ? readNext()
0fc0: 20 3a 20 63 75 72 72 65 6e 74 29 3b 0d 0a 09 7d : current);...}
0fd0: 0d 0a 0d 0a 09 70 75 62 6c 69 63 20 73 74 61 74 .....public stat
0fe0: 69 63 0d 0a 09 7b 0a 09 09 62 6f 6f 6c 20 69 73 ic...{...bool is
0ff0: 53 70 61 63 65 20 20 20 28 64 63 68 61 72 20 63 Space (dchar c
1000: 29 20 7b 20 72 65 74 75 72 6e 20 73 74 64 2e 63 ) { return std.c
1010: 74 79 70 65 2e 69 73 73 70 61 63 65 28 63 29 21 type.isspace(c)!
1020: 3d 30 3b 20 7d 0a 09 09 62 6f 6f 6c 20 69 73 53 =0; }...bool isS
1030: 79 6d 62 6f 6c 20 20 28 64 63 68 61 72 20 63 29 ymbol (dchar c)
1040: 20 7b 20 72 65 74 75 72 6e 20 30 78 32 31 3c 3d { return 0x21<=
1050: 63 20 26 26 20 63 3c 3d 30 78 37 66 20 26 26 20 c && c<=0x7f &&
1060: 21 73 74 64 2e 63 74 79 70 65 2e 69 73 61 6c 6e !std.ctype.isaln
1070: 75 6d 28 63 29 20 26 26 20 63 21 3d 27 5f 27 20 um(c) && c!='_'
1080: 26 26 20 63 21 3d 27 5c 27 27 3b 20 7d 0d 0a 09 && c!='\''; }...
1090: 09 62 6f 6f 6c 20 69 73 53 53 79 6d 62 6f 6c 20 .bool isSSymbol
10a0: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
10b0: 72 6e 20 22 28 29 5b 5d 7b 7d 3b 40 22 2e 63 61 rn "()[]{};@".ca
10c0: 6e 46 69 6e 64 28 63 29 3b 20 7d 0d 0a 09 09 62 nFind(c); }....b
10d0: 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f 6c 20 28 64 ool isMSymbol (d
10e0: 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e char c) { return
10f0: 20 69 73 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 isSymbol(c) &&
1100: 21 69 73 53 53 79 6d 62 6f 6c 28 63 29 20 26 26 !isSSymbol(c) &&
1110: 20 63 21 3d 27 22 27 20 26 26 20 63 21 3d 27 23 c!='"' && c!='#
1120: 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c '; }....bool isL
1130: 65 74 74 65 72 20 20 28 64 63 68 61 72 20 63 29 etter (dchar c)
1140: 20 7b 20 72 65 74 75 72 6e 20 21 69 73 53 70 61 { return !isSpa
1150: 63 65 28 63 29 20 26 26 20 21 69 73 53 79 6d 62 ce(c) && !isSymb
1160: 6f 6c 28 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a ol(c); }...}....
1170: 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 .string readQuot
1180: 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 ed(const LexPosi
1190: 74 69 6f 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d tion pos){char[]
11a0: 20 62 75 66 3b 20 72 65 74 75 72 6e 20 72 65 61 buf; return rea
11b0: 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 dQuoted(pos,buf)
11c0: 3b 7d 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 ;}...string read
11d0: 51 75 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 Quoted(const Lex
11e0: 50 6f 73 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 Position pos, re
11f0: 66 20 63 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 f char[] buf)...
1200: 7b 0d 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e {....if( reader.
1210: 65 6d 70 74 79 20 29 0d 0a 09 09 09 74 68 72 6f empty ).....thro
1220: 77 20 67 65 6e 65 78 21 55 6e 65 78 70 65 63 74 w genex!Unexpect
1230: 65 64 45 4f 46 28 70 6f 73 2c 20 22 51 75 6f 74 edEOF(pos, "Quot
1240: 65 64 20 73 74 72 69 6e 67 20 6e 6f 74 20 74 65 ed string not te
1250: 72 6d 69 6e 61 74 65 64 22 29 3b 0d 0a 09 09 64 rminated");....d
1260: 63 68 61 72 20 63 20 3d 20 72 65 61 64 65 72 2e char c = reader.
1270: 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 61 64 65 72 front;....reader
1280: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 .popFront;....if
1290: 28 20 63 20 3d 3d 20 27 22 27 20 29 0d 0a 09 09 ( c == '"' )....
12a0: 09 72 65 74 75 72 6e 20 61 73 73 75 6d 65 55 6e .return assumeUn
12b0: 69 71 75 65 28 62 75 66 29 3b 0d 0a 09 09 69 66 ique(buf);....if
12c0: 28 20 63 20 3d 3d 20 27 5c 5c 27 20 26 26 20 21 ( c == '\\' && !
12d0: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 29 20 7b reader.empty ) {
12e0: 0d 0a 09 09 09 69 66 28 20 72 65 61 64 65 72 2e .....if( reader.
12f0: 66 72 6f 6e 74 3d 3d 27 22 27 20 29 20 7b 0d 0a front=='"' ) {..
1300: 09 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 ....reader.popFr
1310: 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e ont;......return
1320: 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c readQuoted(pos,
1330: 62 75 66 20 7e 3d 20 27 5c 22 27 29 3b 0d 0a 09 buf ~= '\"');...
1340: 09 09 7d 0d 0a 09 09 09 69 66 28 20 72 65 61 64 ..}.....if( read
1350: 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c 5c 27 20 29 er.front=='\\' )
1360: 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 72 2e 70 {......reader.p
1370: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 opFront;......re
1380: 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 turn readQuoted(
1390: 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 5c 27 29 pos,buf ~= '\\')
13a0: 3b 0d 0a 09 09 09 7d 0d 0a 09 09 7d 0d 0a 09 09 ;.....}....}....
13b0: 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 return readQuote
13c0: 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 63 29 3b d(pos,buf ~= c);
13d0: 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 69 6e 67 20 ...}.....string
13e0: 72 65 61 64 57 68 69 6c 65 28 61 6c 69 61 73 20 readWhile(alias
13f0: 66 6e 29 28 29 0d 0a 09 7b 0d 0a 09 09 63 68 61 fn)()...{....cha
1400: 72 5b 5d 20 62 75 66 3b 0d 0a 09 09 66 6f 72 28 r[] buf;....for(
1410: 3b 20 21 72 65 61 64 65 72 2e 65 6d 70 74 79 20 ; !reader.empty
1420: 26 26 20 66 6e 28 72 65 61 64 65 72 2e 66 72 6f && fn(reader.fro
1430: 6e 74 29 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 nt); reader.popF
1440: 72 6f 6e 74 29 0d 0a 09 09 09 62 75 66 20 7e 3d ront).....buf ~=
1450: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a reader.front;..
1460: 09 09 72 65 74 75 72 6e 20 61 73 73 75 6d 65 55 ..return assumeU
1470: 6e 69 71 75 65 28 62 75 66 29 3b 0d 0a 09 7d 0a nique(buf);...}.
1480: 0a 09 54 6f 6b 65 6e 20 72 65 61 64 4e 65 78 74 ..Token readNext
1490: 28 29 0a 09 7b 0a 09 09 69 66 28 20 72 65 61 64 ()..{...if( read
14a0: 65 72 2e 65 6d 70 74 79 20 29 0a 09 09 09 72 65 er.empty )....re
14b0: 74 75 72 6e 20 6e 75 6c 6c 3b 0d 0a 09 09 73 63 turn null;....sc
14c0: 6f 70 65 28 73 75 63 63 65 73 73 29 0d 0a 09 09 ope(success)....
14d0: 09 72 65 61 64 57 68 69 6c 65 21 69 73 53 70 61 .readWhile!isSpa
14e0: 63 65 28 29 3b 0d 0a 09 09 69 66 28 20 72 65 61 ce();....if( rea
14f0: 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 23 27 der.front == '#'
1500: 20 29 20 2f 2f 20 63 6f 6d 6d 65 6e 74 0d 0a 09 ) // comment...
1510: 09 7b 0d 0a 09 09 09 72 65 61 64 65 72 20 3d 20 .{.....reader =
1520: 66 69 6e 64 28 72 65 61 64 65 72 2c 20 27 5c 6e find(reader, '\n
1530: 27 29 3b 0d 0a 09 09 09 72 65 61 64 57 68 69 6c ');.....readWhil
1540: 65 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 e!isSpace();....
1550: 09 72 65 74 75 72 6e 20 72 65 61 64 4e 65 78 74 .return readNext
1560: 28 29 3b 0d 0a 09 09 7d 0a 09 09 65 6c 73 65 20 ();....}...else
1570: 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 if( reader.front
1580: 20 3d 3d 20 27 22 27 20 29 20 2f 2f 20 71 75 6f == '"' ) // quo
1590: 74 65 64 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 ted....{.....aut
15a0: 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 o pos = reader.c
15b0: 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 urrentPosition()
15c0: 3b 0d 0a 09 09 09 72 65 61 64 65 72 2e 70 6f 70 ;.....reader.pop
15d0: 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 Front;.....retur
15e0: 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c n new Token(pos,
15f0: 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 29 readQuoted(pos)
1600: 2c 20 74 72 75 65 29 3b 0d 0a 09 09 7d 0d 0a 09 , true);....}...
1610: 09 65 6c 73 65 20 69 66 28 20 69 73 53 53 79 6d .else if( isSSym
1620: 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 bol(reader.front
1630: 29 20 29 20 2f 2f 20 70 61 72 65 6e 0d 0a 09 09 ) ) // paren....
1640: 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d {.....auto pos =
1650: 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 reader.currentP
1660: 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 73 osition();.....s
1670: 74 72 69 6e 67 20 73 3b 20 73 7e 3d 72 65 61 64 tring s; s~=read
1680: 65 72 2e 66 72 6f 6e 74 3b 20 72 65 61 64 65 72 er.front; reader
1690: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 .popFront;.....r
16a0: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 eturn new Token(
16b0: 70 6f 73 2c 20 73 2c 20 66 61 6c 73 65 29 3b 0d pos, s, false);.
16c0: 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 ...}....else if(
16d0: 20 69 73 4d 53 79 6d 62 6f 6c 28 72 65 61 64 65 isMSymbol(reade
16e0: 72 2e 66 72 6f 6e 74 29 20 29 20 2f 2f 20 73 79 r.front) ) // sy
16f0: 6d 62 6f 6c 0d 0a 09 09 7b 0a 09 09 09 61 75 74 mbol....{....aut
1700: 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 o pos = reader.c
1710: 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 urrentPosition()
1720: 3b 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 ;....return new
1730: 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 Token(pos, readW
1740: 68 69 6c 65 21 69 73 4d 53 79 6d 62 6f 6c 28 29 hile!isMSymbol()
1750: 2c 20 66 61 6c 73 65 29 3b 0a 09 09 7d 0a 09 09 , false);...}...
1760: 65 6c 73 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f else...{....auto
1770: 20 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 pos = reader.cu
1780: 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b rrentPosition();
1790: 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 .....return new
17a0: 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 Token(pos, readW
17b0: 68 69 6c 65 21 69 73 4c 65 74 74 65 72 28 29 2c hile!isLetter(),
17c0: 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d 0a 09 7d false);....}..}
17d0: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
17e0: 61 73 73 65 72 74 28 20 73 74 64 2e 72 61 6e 67 assert( std.rang
17f0: 65 2e 69 73 46 6f 72 77 61 72 64 52 61 6e 67 65 e.isForwardRange
1800: 21 28 4c 65 78 65 72 29 20 29 3b 0a 09 61 73 73 !(Lexer) );..ass
1810: 65 72 74 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 ert( is(ElementT
1820: 79 70 65 21 28 4c 65 78 65 72 29 20 3d 3d 20 54 ype!(Lexer) == T
1830: 6f 6b 65 6e 29 20 29 3b 0d 0a 7d 0a 0a 75 6e 69 oken) );..}..uni
1840: 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 ttest.{..auto le
1850: 78 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 x = lexerFromStr
1860: 69 6e 67 28 22 74 68 69 73 09 69 73 20 61 20 5c ing("this.is a \
1870: 74 5c 72 5c 6e 20 70 65 6e 20 3a 2d 28 20 40 40 t\r\n pen :-( @@
1880: 3b 20 20 22 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 ; ");..Token[]
1890: 74 73 20 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 ts = std.array.a
18a0: 72 72 61 79 28 6c 65 78 29 3b 0a 0a 09 61 73 73 rray(lex);...ass
18b0: 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f ert_eq( ts[0].po
18c0: 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 s.lineno, 1 );..
18d0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d assert_eq( ts[0]
18e0: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
18f0: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
1900: 5b 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [0].quoted );..a
1910: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e ssert_eq( ts[0].
1920: 73 74 72 2c 20 22 74 68 69 73 22 20 29 3b 0a 0a str, "this" );..
1930: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 .assert_eq( ts[1
1940: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 ].pos.lineno, 1
1950: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1960: 73 5b 31 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c s[1].pos.column,
1970: 20 36 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 6 );..assert(
1980: 20 21 74 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 !ts[1].quoted )
1990: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
19a0: 5b 31 5d 2e 73 74 72 2c 20 22 69 73 22 20 29 3b [1].str, "is" );
19b0: 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
19c0: 5b 32 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [2].pos.lineno,
19d0: 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 1 );..assert_eq(
19e0: 20 74 73 5b 32 5d 2e 70 6f 73 2e 63 6f 6c 75 6d ts[2].pos.colum
19f0: 6e 2c 20 39 20 29 3b 0a 09 61 73 73 65 72 74 28 n, 9 );..assert(
1a00: 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 !ts[2].quoted
1a10: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1a20: 74 73 5b 32 5d 2e 73 74 72 2c 20 22 61 22 20 29 ts[2].str, "a" )
1a30: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1a40: 73 5b 33 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[3].pos.lineno,
1a50: 20 32 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 2 );..assert_eq
1a60: 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[3].pos.colu
1a70: 6d 6e 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 74 mn, 2 );..assert
1a80: 28 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 ( !ts[3].quote
1a90: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
1aa0: 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 70 65 6e ts[3].str, "pen
1ab0: 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
1ac0: 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[4].pos.line
1ad0: 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 74 no, 2 );..assert
1ae0: 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 63 _eq( ts[4].pos.c
1af0: 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 olumn, 6 );..ass
1b00: 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 ert_eq( ts[4].st
1b10: 72 2c 20 22 3a 2d 22 20 29 3b 0a 0a 09 61 73 73 r, ":-" );...ass
1b20: 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f ert_eq( ts[5].po
1b30: 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0d 0a s.lineno, 2 );..
1b40: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 .assert_eq( ts[5
1b50: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 ].pos.column, 8
1b60: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
1b70: 74 73 5b 35 5d 2e 73 74 72 2c 20 22 28 22 20 29 ts[5].str, "(" )
1b80: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1b90: 73 5b 36 5d 2e 73 74 72 2c 20 22 40 22 20 29 3b s[6].str, "@" );
1ba0: 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
1bb0: 5b 37 5d 2e 73 74 72 2c 20 22 40 22 20 29 3b 0d [7].str, "@" );.
1bc0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1bd0: 38 5d 2e 73 74 72 2c 20 22 3b 22 20 29 3b 20 2f 8].str, ";" ); /
1be0: 2f 20 70 61 72 65 6e 20 61 6e 64 20 73 69 6d 69 / paren and simi
1bf0: 63 6f 6c 6f 6e 73 2c 20 61 74 6d 61 72 6b 73 20 colons, atmarks
1c00: 61 72 65 20 73 70 6c 69 74 0d 0a 0d 0a 09 61 73 are split.....as
1c10: 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 sert_eq( ts.leng
1c20: 74 68 2c 20 39 20 29 3b 0a 7d 0a 0a 75 6e 69 74 th, 9 );.}..unit
1c30: 74 65 73 74 0a 7b 0a 09 2f 2f 20 21 21 20 62 65 test.{..// !! be
1c40: 20 73 75 72 65 20 74 6f 20 72 75 6e 20 74 68 65 sure to run the
1c50: 20 75 6e 69 74 74 65 73 74 20 6f 6e 20 74 68 65 unittest on the
1c60: 20 72 6f 6f 74 20 6f 66 20 74 68 65 20 73 6f 75 root of the sou
1c70: 72 63 65 20 64 69 72 65 63 74 6f 72 79 0a 09 61 rce directory..a
1c80: 75 74 6f 20 6c 65 78 66 20 3d 20 6c 65 78 65 72 uto lexf = lexer
1c90: 46 72 6f 6d 46 69 6c 65 28 22 70 6f 6c 65 6d 79 FromFile("polemy
1ca0: 2f 6c 65 78 2e 64 22 29 3b 09 0a 09 6c 65 78 66 /lex.d");...lexf
1cb0: 20 3d 20 66 69 6e 64 21 60 61 2e 73 74 72 20 3d = find!`a.str =
1cc0: 3d 20 22 6d 6f 64 75 6c 65 22 60 28 6c 65 78 66 = "module"`(lexf
1cd0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1ce0: 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 exf.front.str, "
1cf0: 6d 6f 64 75 6c 65 22 20 29 3b 0a 09 61 73 73 65 module" );..asse
1d00: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1d10: 74 2e 70 6f 73 2e 66 69 6c 65 6e 61 6d 65 2c 20 t.pos.filename,
1d20: 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 20 29 "polemy/lex.d" )
1d30: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1d40: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1d50: 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 eno, 7 );..asser
1d60: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1d70: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1d80: 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ;..lexf.popFront
1d90: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1da0: 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 70 xf.front.str, "p
1db0: 6f 6c 65 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 olemy" );..asser
1dc0: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1dd0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 .pos.lineno, 7 )
1de0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1df0: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c xf.front.pos.col
1e00: 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c 65 78 66 2e umn, 8 );..lexf.
1e10: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1e20: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1e30: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1e40: 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 popFront;..asser
1e50: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1e60: 2e 73 74 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 .str, "import" )
1e70: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1e80: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1e90: 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 eno, 8 );..asser
1ea0: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1eb0: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1ec0: 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a ;.}...unittest..
1ed0: 7b 0d 0a 09 61 73 73 65 72 74 5f 74 68 72 6f 77 {...assert_throw
1ee0: 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 28 20 !UnexpectedEOF(
1ef0: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
1f00: 60 22 60 29 20 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 `"`) );..}...uni
1f10: 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 ttest.{..auto le
1f20: 78 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 x = lexerFromStr
1f30: 69 6e 67 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e ing(`my # commen
1f40: 74 20 73 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 t should`~"\r\n"
1f50: 7e 60 23 20 68 65 79 21 21 0a 62 65 20 69 67 6e ~`# hey!!.be ign
1f60: 6f 72 65 64 2e 0a 68 61 68 61 68 61 22 68 69 68 ored..hahaha"hih
1f70: 69 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 ihi""hu\\\"huhu"
1f80: 23 31 32 33 20 61 61 0a 31 32 33 20 61 61 20 22 #123 aa.123 aa "
1f90: 61 61 61 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 aaa`~"\n"~`bbb #
1fa0: 20 31 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 123`~"\r\n"~`ee
1fb0: 65 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 e".zzz.`);..Toke
1fc0: 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 n[] ts = std.arr
1fd0: 61 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 ay.array(lex);..
1fe0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d assert_eq( ts[0]
1ff0: 2e 73 74 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 .str, "my" );..a
2000: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e ssert_eq( ts[0].
2010: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b pos.lineno, 1 );
2020: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
2030: 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 0].quoted );..as
2040: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 sert_eq( ts[1].s
2050: 74 72 2c 20 22 62 65 22 20 29 3b 0a 09 61 73 73 tr, "be" );..ass
2060: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f ert_eq( ts[1].po
2070: 73 2e 6c 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 s.lineno, 3 );..
2080: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d assert( !ts[1]
2090: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
20a0: 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 rt_eq( ts[2].str
20b0: 2c 20 22 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 , "ignored" );..
20c0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d assert( !ts[2]
20d0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
20e0: 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 rt_eq( ts[3].str
20f0: 2c 20 22 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 , "." );..assert
2100: 28 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 ( !ts[3].quote
2110: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
2120: 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 ts[4].str, "hah
2130: 61 68 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f aha" );..assert_
2140: 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 eq( ts[4].pos.li
2150: 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 neno, 4 );..asse
2160: 72 74 28 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f rt( !ts[4].quo
2170: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ted );..assert_e
2180: 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 q( ts[5].str, "h
2190: 69 68 69 68 69 22 20 29 3b 0a 09 61 73 73 65 72 ihihi" );..asser
21a0: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e t_eq( ts[5].pos.
21b0: 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 lineno, 4 );..as
21c0: 73 65 72 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 sert( ts[5].q
21d0: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
21e0: 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 _eq( ts[6].str,
21f0: 60 68 75 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 `hu\"huhu` );..a
2200: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e ssert_eq( ts[6].
2210: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b pos.lineno, 4 );
2220: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b ..assert( ts[
2230: 36 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 6].quoted );..as
2240: 73 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 sert_eq( ts[7].s
2250: 74 72 2c 20 22 31 32 33 22 20 29 3b 0a 09 61 73 tr, "123" );..as
2260: 73 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 sert_eq( ts[7].p
2270: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a os.lineno, 5 );.
2280: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 .assert_eq( ts[8
2290: 5d 2e 73 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 ].str, "aa" );..
22a0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d assert_eq( ts[9]
22b0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 .pos.lineno, 5 )
22c0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
22d0: 5b 39 5d 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 [9].str, "aaa\nb
22e0: 62 62 20 23 20 31 32 33 5c 6e 65 65 65 22 20 29 bb # 123\neee" )
22f0: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 ;..assert( ts
2300: 5b 39 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [9].quoted );..a
2310: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d ssert_eq( ts[10]
2320: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 .pos.lineno, 8 )
2330: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
2340: 5b 31 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 [10].quoted );..
2350: 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 assert_eq( ts.le
2360: 6e 67 74 68 2c 20 31 31 20 29 3b 0a 7d 0a 0d 0a ngth, 11 );.}...
2370: 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 unittest..{...au
2380: 74 6f 20 6c 65 78 32 20 3d 20 6c 65 78 65 72 46 to lex2 = lexerF
2390: 72 6f 6d 53 74 72 69 6e 67 28 22 20 61 31 32 5c romString(" a12\
23a0: 6e 33 61 20 35 20 22 29 3b 0d 0a 09 61 73 73 65 n3a 5 ");...asse
23b0: 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e rt_eq( lex2.fron
23c0: 74 2e 73 74 72 2c 20 22 61 31 32 22 20 29 3b 0d t.str, "a12" );.
23d0: 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b ..lex2.popFront;
23e0: 0d 0a 09 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c ...auto lex3 = l
23f0: 65 78 32 2e 73 61 76 65 3b 0d 0a 09 61 73 73 65 ex2.save;...asse
2400: 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e rt_eq( lex2.fron
2410: 74 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a t.str, "3a" );..
2420: 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d .lex2.popFront;.
2430: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
2440: 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 3.front.str, "3a
2450: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
2460: 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 ( lex2.front.str
2470: 2c 20 22 35 22 20 29 3b 0d 0a 09 6c 65 78 32 2e , "5" );...lex2.
2480: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 6c 65 78 33 popFront;...lex3
2490: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 .popFront;...ass
24a0: 65 72 74 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 ert( lex2.empty
24b0: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 21 6c 65 );...assert( !le
24c0: 78 33 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 x3.empty );...as
24d0: 73 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 sert_eq( lex3.fr
24e0: 6f 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d ont.str, "5" );.
24f0: 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a .}....unittest..
2500: 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c {...auto lex = l
2510: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 exerFromString(`
2520: 3d 22 22 60 29 3b 0d 0a 09 61 73 73 65 72 74 5f =""`);...assert_
2530: 65 71 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 eq(lex.front.str
2540: 2c 20 22 3d 22 29 3b 20 6c 65 78 2e 70 6f 70 46 , "="); lex.popF
2550: 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ront;...assert_e
2560: 71 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c q(lex.front.str,
2570: 20 22 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f ""); lex.popFro
2580: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 nt;...assert( le
2590: 78 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 x.empty );...ass
25a0: 65 72 74 5f 65 71 28 20 6c 65 78 65 72 46 72 6f ert_eq( lexerFro
25b0: 6d 53 74 72 69 6e 67 28 60 2d 40 60 29 2e 66 72 mString(`-@`).fr
25c0: 6f 6e 74 2e 73 74 72 2c 20 22 2d 22 20 29 3b 0d ont.str, "-" );.
25d0: 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f 72 77 61 72 .}..../// Forwar
25e0: 64 20 72 61 6e 67 65 20 66 6f 72 20 72 65 61 64 d range for read
25f0: 65 72 20 63 68 61 72 61 63 74 65 72 20 62 79 20 er character by
2600: 63 68 61 72 61 63 74 65 72 2c 0d 0a 2f 2f 2f 20 character,..///
2610: 6b 65 65 70 69 6e 67 20 74 72 61 63 6b 20 6f 66 keeping track of
2620: 20 70 6f 73 69 74 69 6f 6e 20 69 6e 66 6f 72 6d position inform
2630: 61 74 69 6f 6e 20 61 6e 64 20 63 61 72 69 6e 67 ation and caring
2640: 20 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 6f 6e 76 \r\n -> \n conv
2650: 65 72 73 69 6f 6e 2e 0d 0a 0d 0a 73 74 72 75 63 ersion.....struc
2660: 74 20 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 t PositionedRead
2670: 65 72 28 43 68 61 72 53 65 71 29 0d 0a 09 69 66 er(CharSeq)...if
2680: 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e 67 65 ( isForwardRange
2690: 21 28 43 68 61 72 53 65 71 29 20 26 26 20 69 73 !(CharSeq) && is
26a0: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 43 68 (ElementType!(Ch
26b0: 61 72 53 65 71 29 3d 3d 64 63 68 61 72 29 20 29 arSeq)==dchar) )
26c0: 0d 0a 7b 0d 0a 09 43 68 61 72 53 65 71 20 62 75 ..{...CharSeq bu
26d0: 66 66 65 72 3b 0d 0a 09 73 74 72 69 6e 67 20 20 ffer;...string
26e0: 66 69 6c 65 6e 61 6d 65 3b 0d 0a 09 69 6e 74 20 filename;...int
26f0: 20 20 20 20 6c 69 6e 65 6e 6f 3b 0d 0a 09 69 6e lineno;...in
2700: 74 20 20 20 20 20 63 6f 6c 75 6d 6e 3b 0d 0a 0d t column;...
2710: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d ../// Range prim
2720: 69 74 69 76 65 0d 0a 09 62 6f 6f 6c 20 65 6d 70 itive...bool emp
2730: 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 ty() /*@property
2740: 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e */...{....return
2750: 20 62 75 66 66 65 72 2e 65 6d 70 74 79 3b 0d 0a buffer.empty;..
2760: 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 .}...../// Range
2770: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 64 63 68 primitive...dch
2780: 61 72 20 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 ar front() /*@pr
2790: 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 operty*/...{....
27a0: 64 63 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 dchar c = buffer
27b0: 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 74 75 72 .front;....retur
27c0: 6e 20 28 63 3d 3d 27 5c 72 27 20 3f 20 27 5c 6e n (c=='\r' ? '\n
27d0: 27 20 3a 20 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 ' : c);...}.....
27e0: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
27f0: 69 76 65 0d 0a 09 76 6f 69 64 20 70 6f 70 46 72 ive...void popFr
2800: 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 ont() /*@propert
2810: 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 y*/...{....dchar
2820: 20 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e c = buffer.fron
2830: 74 3b 0d 0a 09 09 62 75 66 66 65 72 2e 70 6f 70 t;....buffer.pop
2840: 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 3d Front;....if( c=
2850: 3d 27 5c 72 27 20 29 0d 0a 09 09 7b 0d 0a 09 09 ='\r' )....{....
2860: 09 69 66 28 20 21 62 75 66 66 65 72 2e 65 6d 70 .if( !buffer.emp
2870: 74 79 20 26 26 20 62 75 66 66 65 72 2e 66 72 6f ty && buffer.fro
2880: 6e 74 3d 3d 27 5c 6e 27 20 29 0d 0a 09 09 09 09 nt=='\n' )......
2890: 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b buffer.popFront;
28a0: 0d 0a 09 09 09 63 20 3d 20 27 5c 6e 27 3b 0d 0a .....c = '\n';..
28b0: 09 09 7d 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c ..}....if( c=='\
28c0: 6e 27 20 29 0d 0a 09 09 7b 0d 0a 09 09 09 6c 69 n' )....{.....li
28d0: 6e 65 6e 6f 20 2b 2b 3b 0d 0a 09 09 09 63 6f 6c neno ++;.....col
28e0: 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 7d 0d 0a 09 umn = 1;....}...
28f0: 09 65 6c 73 65 0d 0a 09 09 09 63 6f 6c 75 6d 6e .else.....column
2900: 20 2b 2b 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f ++;...}.....///
2910: 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 Range primitive
2920: 0d 0a 09 74 79 70 65 6f 66 28 74 68 69 73 29 20 ...typeof(this)
2930: 73 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 save() /*@proper
2940: 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 ty*/...{....retu
2950: 72 6e 20 74 68 69 73 3b 0d 0a 09 7d 0d 0a 0d 0a rn this;...}....
2960: 09 2f 2f 2f 20 47 65 74 20 74 68 65 20 63 75 72 ./// Get the cur
2970: 72 65 6e 74 20 70 6f 73 69 74 69 6f 6e 0d 0a 09 rent position...
2980: 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 immutable(LexPos
2990: 69 74 69 6f 6e 29 20 63 75 72 72 65 6e 74 50 6f ition) currentPo
29a0: 73 69 74 69 6f 6e 28 29 20 63 6f 6e 73 74 0d 0a sition() const..
29b0: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 .{....return new
29c0: 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f immutable(LexPo
29d0: 73 69 74 69 6f 6e 29 28 66 69 6c 65 6e 61 6d 65 sition)(filename
29e0: 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e , lineno, column
29f0: 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a 0d 0a 75 6e 69 );...}..}....uni
2a00: 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 ttest..{...asser
2a10: 74 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e 67 t( isForwardRang
2a20: 65 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 e!(PositionedRea
2a30: 64 65 72 21 73 74 72 69 6e 67 29 20 29 3b 0d 0a der!string) );..
2a40: 09 61 73 73 65 72 74 28 20 69 73 28 45 6c 65 6d .assert( is(Elem
2a50: 65 6e 74 54 79 70 65 21 28 50 6f 73 69 74 69 6f entType!(Positio
2a60: 6e 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 nedReader!string
2a70: 29 20 3d 3d 20 64 63 68 61 72 29 20 29 3b 0d 0a ) == dchar) );..
2a80: 7d 0d 0a }..