0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2a 6d 69 isalnum;..../*mi
00f0: 78 69 6e 2a 2f 0d 0a 74 65 6d 70 6c 61 74 65 20 xin*/..template
0100: 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f 73 ExceptionWithPos
0110: 69 74 69 6f 6e 28 29 0d 0a 7b 0d 0a 09 63 6f 6e ition()..{...con
0120: 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 st LexPosition p
0130: 6f 73 3b 0d 0a 09 74 68 69 73 28 20 63 6f 6e 73 os;...this( cons
0140: 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f t LexPosition po
0150: 73 2c 20 73 74 72 69 6e 67 20 6d 73 67 2c 20 73 s, string msg, s
0160: 74 72 69 6e 67 20 66 69 6c 65 3d 6e 75 6c 6c 2c tring file=null,
0170: 20 73 69 7a 65 5f 74 20 6c 69 6e 65 3d 30 2c 20 size_t line=0,
0180: 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 3d 6e Throwable next=n
0190: 75 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 69 66 28 ull )...{....if(
01a0: 70 6f 73 20 69 73 20 6e 75 6c 6c 29 0d 0a 09 09 pos is null)....
01b0: 09 73 75 70 65 72 28 73 70 72 69 6e 74 66 21 22 .super(sprintf!"
01c0: 5b 3f 3f 5d 20 25 73 22 28 6d 73 67 29 2c 20 66 [??] %s"(msg), f
01d0: 69 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 29 ile, line, next)
01e0: 3b 0d 0a 09 09 65 6c 73 65 0d 0a 09 09 09 73 75 ;....else.....su
01f0: 70 65 72 28 73 70 72 69 6e 74 66 21 22 5b 25 73 per(sprintf!"[%s
0200: 5d 20 25 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c ] %s"(pos, msg),
0210: 20 66 69 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 file, line, nex
0220: 74 29 3b 0d 0a 09 09 74 68 69 73 2e 70 6f 73 20 t);....this.pos
0230: 3d 20 70 6f 73 3b 0d 0a 09 7d 0d 0a 7d 0d 0a 0d = pos;...}..}...
0240: 0a 2f 2f 2f 20 54 68 72 6f 77 6e 20 77 68 65 6e ./// Thrown when
0250: 20 65 6e 63 6f 75 6e 74 65 72 65 64 20 61 6e 20 encountered an
0260: 45 4f 46 20 69 6e 20 74 68 65 20 6d 69 64 64 6c EOF in the middl
0270: 65 20 6f 66 20 61 20 6c 65 78 69 63 61 6c 20 74 e of a lexical t
0280: 6f 6b 65 6e 0d 0a 0d 0a 63 6c 61 73 73 20 55 6e oken....class Un
0290: 65 78 70 65 63 74 65 64 45 4f 46 20 3a 20 45 78 expectedEOF : Ex
02a0: 63 65 70 74 69 6f 6e 0d 0a 7b 0d 0a 09 6d 69 78 ception..{...mix
02b0: 69 6e 20 45 78 63 65 70 74 69 6f 6e 57 69 74 68 in ExceptionWith
02c0: 50 6f 73 69 74 69 6f 6e 3b 0d 0a 7d 0d 0a 0d 0a Position;..}....
02d0: 2f 2f 2f 20 54 68 72 6f 77 6e 20 77 68 65 6e 20 /// Thrown when
02e0: 65 6e 63 6f 75 6e 74 65 72 65 64 20 61 20 6c 65 encountered a le
02f0: 78 69 63 61 6c 20 65 72 72 6f 72 0d 0a 0d 0a 63 xical error....c
0300: 6c 61 73 73 20 4c 65 78 45 78 63 65 70 74 69 6f lass LexExceptio
0310: 6e 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b n : Exception..{
0320: 0d 0a 09 6d 69 78 69 6e 20 45 78 63 65 70 74 69 ...mixin Excepti
0330: 6f 6e 57 69 74 68 50 6f 73 69 74 69 6f 6e 3b 0d onWithPosition;.
0340: 0a 7d 3b 0d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 65 .};..../// Repre
0350: 73 65 6e 74 73 20 61 20 70 6f 73 69 74 69 6f 6e sents a position
0360: 20 69 6e 20 73 6f 75 72 63 65 20 63 6f 64 65 73 in source codes
0370: 0a 0a 63 6c 61 73 73 20 4c 65 78 50 6f 73 69 74 ..class LexPosit
0380: 69 6f 6e 0a 7b 0a 09 69 6d 6d 75 74 61 62 6c 65 ion.{..immutable
0390: 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 string filename
03a0: 3b 20 2f 2f 2f 20 6e 61 6d 65 20 6f 66 20 74 68 ; /// name of th
03b0: 65 20 73 6f 75 72 63 65 20 66 69 6c 65 0a 09 69 e source file..i
03c0: 6d 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 20 20 mmutable int
03d0: 6c 69 6e 65 6e 6f 3b 20 20 20 2f 2f 2f 20 31 2d lineno; /// 1-
03e0: 6f 72 69 67 69 6e 0a 09 69 6d 6d 75 74 61 62 6c origin..immutabl
03f0: 65 20 69 6e 74 20 20 20 20 63 6f 6c 75 6d 6e 3b e int column;
0400: 20 20 20 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a /// 1-origin.
0410: 0d 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 ...mixin SimpleC
0420: 6c 61 73 73 3b 0a 09 6f 76 65 72 72 69 64 65 20 lass;..override
0430: 73 74 72 69 6e 67 20 74 6f 53 74 72 69 6e 67 28 string toString(
0440: 29 20 63 6f 6e 73 74 0a 09 09 7b 20 72 65 74 75 ) const...{ retu
0450: 72 6e 20 73 70 72 69 6e 74 66 21 22 25 73 3a 25 rn sprintf!"%s:%
0460: 64 3a 25 64 22 28 66 69 6c 65 6e 61 6d 65 2c 20 d:%d"(filename,
0470: 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b lineno, column);
0480: 20 7d 0a 0d 0a 09 73 74 61 74 69 63 20 69 6d 6d }....static imm
0490: 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 utable LexPositi
04a0: 6f 6e 20 64 75 6d 6d 79 3b 0d 0a 09 73 74 61 74 on dummy;...stat
04b0: 69 63 20 74 68 69 73 28 29 7b 20 64 75 6d 6d 79 ic this(){ dummy
04c0: 20 3d 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 = new immutable
04d0: 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 3c (LexPosition)("<
04e0: 75 6e 6e 61 6d 65 64 3e 22 2c 30 2c 30 29 3b 20 unnamed>",0,0);
04f0: 7d 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b }..}..unittest.{
0500: 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c ..auto p = new L
0510: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
0520: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 o.cpp", 123, 45)
0530: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 70 ;...assert_eq( p
0540: 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 68 65 6c 6c .filename, "hell
0550: 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 73 65 72 o.cpp" );..asser
0560: 74 5f 65 71 28 20 70 2e 6c 69 6e 65 6e 6f 2c 20 t_eq( p.lineno,
0570: 31 32 33 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 123 );..assert_e
0580: 71 28 20 70 2e 63 6f 6c 75 6d 6e 2c 20 34 35 20 q( p.column, 45
0590: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
05a0: 65 78 74 28 70 29 2c 20 22 68 65 6c 6c 6f 2e 63 ext(p), "hello.c
05b0: 70 70 3a 31 32 33 3a 34 35 22 20 29 3b 0a 0a 09 pp:123:45" );...
05c0: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
05d0: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 s(compiles, new
05e0: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 3b 0a LexPosition) );.
05f0: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
0600: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 66 ts(compiles, p.f
0610: 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 20 29 ilename="foo") )
0620: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0630: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0640: 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 20 29 .lineno =789) )
0650: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0660: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0670: 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 20 29 .column =222) )
0680: 3b 0a 0d 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 ;....auto q = ne
0690: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 w LexPosition("h
06a0: 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 ello.cpp", 123,
06b0: 34 36 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6c 74 46);...assert_lt
06c0: 28 20 70 2c 20 71 20 29 3b 0d 0a 09 61 73 73 65 ( p, q );...asse
06d0: 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b 0d 0a rt_ne( p, q );..
06e0: 7d 0a 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 }../// Represent
06f0: 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a s a lexer token.
0700: 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a 09 .class Token.{..
0710: 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 immutable LexPos
0720: 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f 2f ition pos; //
0730: 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 72 65 / Position where
0740: 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75 72 the token occur
0750: 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 72 63 red in the sourc
0760: 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 e..immutable str
0770: 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 20 20 ing str;
0780: 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20 73 /// The token s
0790: 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 69 6d tring itself..im
07a0: 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20 20 mutable bool
07b0: 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f 20 quoted; ///
07c0: 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 65 64 Was it a "quoted
07d0: 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75 6f " token or unquo
07e0: 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69 6d ted?...mixin Sim
07f0: 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e 69 pleClass;.}..uni
0800: 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 ttest.{..auto p
0810: 3d 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 = new immutable(
0820: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 68 65 LexPosition)("he
0830: 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 llo.cpp", 123, 4
0840: 35 29 3b 0a 09 61 75 74 6f 20 74 20 3d 20 6e 65 5);..auto t = ne
0850: 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 w Token(p, "clas
0860: 73 22 2c 20 66 61 6c 73 65 29 3b 0a 09 61 75 74 s", false);..aut
0870: 6f 20 75 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 o u = new Token(
0880: 70 2c 20 22 63 6c 61 73 73 22 2c 20 74 72 75 65 p, "class", true
0890: 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
08a0: 74 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 61 73 73 t.pos, p );..ass
08b0: 65 72 74 5f 65 71 28 20 74 2e 73 74 72 2c 20 22 ert_eq( t.str, "
08c0: 63 6c 61 73 73 22 20 29 3b 0a 09 61 73 73 65 72 class" );..asser
08d0: 74 28 20 21 74 2e 71 75 6f 74 65 64 20 29 3b 0a t( !t.quoted );.
08e0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 2c 20 6e .assert_eq( t, n
08f0: 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 ew Token(p, "cla
0900: 73 73 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 ss", false) );..
0910: 61 73 73 65 72 74 5f 6c 74 28 20 74 2c 20 6e 65 assert_lt( t, ne
0920: 77 20 54 6f 6b 65 6e 28 70 2c 20 22 73 74 72 75 w Token(p, "stru
0930: 63 74 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 ct", false) );..
0940: 61 73 73 65 72 74 5f 6e 65 28 20 74 2c 20 75 20 assert_ne( t, u
0950: 29 3b 0a 09 61 73 73 65 72 74 28 20 75 2e 71 75 );..assert( u.qu
0960: 6f 74 65 64 20 29 3b 0a 0a 09 61 73 73 65 72 74 oted );...assert
0970: 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 ( !__traits(comp
0980: 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b 65 6e 29 iles, new Token)
0990: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
09a0: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
09b0: 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 61 73 t.pos=p) );..as
09c0: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
09d0: 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 74 72 3d compiles, t.str=
09e0: 37 38 39 29 20 29 3b 0a 09 61 73 73 65 72 74 28 789) );..assert(
09f0: 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 !__traits(compi
0a00: 6c 65 73 2c 20 74 2e 71 75 6f 74 65 64 3d 74 72 les, t.quoted=tr
0a10: 75 65 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 4e 61 ue) );.}../// Na
0a20: 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 73 20 med Construtors
0a30: 66 6f 72 20 4c 65 78 65 72 0a 0a 4c 65 78 65 72 for Lexer..Lexer
0a40: 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 54 lexerFromFile(T
0a50: 2e 2e 2e 29 28 20 73 74 72 69 6e 67 20 66 69 6c ...)( string fil
0a60: 65 6e 61 6d 65 2c 20 54 20 6c 6e 5f 63 6e 20 29 ename, T ln_cn )
0a70: 0a 7b 0a 09 72 65 74 75 72 6e 20 6c 65 78 65 72 .{..return lexer
0a80: 46 72 6f 6d 53 74 72 69 6e 67 28 20 73 74 64 2e FromString( std.
0a90: 66 69 6c 65 2e 72 65 61 64 54 65 78 74 28 66 69 file.readText(fi
0aa0: 6c 65 6e 61 6d 65 29 2c 20 66 69 6c 65 6e 61 6d lename), filenam
0ab0: 65 2c 20 6c 6e 5f 63 6e 20 29 3b 0a 7d 0a 09 0a e, ln_cn );.}...
0ac0: 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 /// Named Constr
0ad0: 75 74 6f 72 20 66 6f 72 20 4c 65 78 65 72 0d 0a utor for Lexer..
0ae0: 0d 0a 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 ..LexerT!(Positi
0af0: 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72 53 onedReader!CharS
0b00: 65 71 29 20 2f 2a 20 64 64 6f 63 20 64 6f 65 73 eq) /* ddoc does
0b10: 6e 27 74 20 72 65 63 6f 67 6e 69 7a 65 20 61 75 n't recognize au
0b20: 74 6f 20 72 65 74 75 72 6e 2e 2e 2e 20 62 75 67 to return... bug
0b30: 7a 69 6c 6c 61 3a 32 35 38 31 20 2a 2f 0d 0a 6c zilla:2581 */..l
0b40: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 exerFromString(C
0b50: 68 61 72 53 65 71 29 28 20 43 68 61 72 53 65 71 harSeq)( CharSeq
0b60: 20 73 74 72 2c 20 73 74 72 69 6e 67 20 66 69 6c str, string fil
0b70: 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e ename="<unnamed>
0b80: 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c ", int lineno=1,
0b90: 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a int column=1 ).
0ba0: 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 77 20 4c {. .return new L
0bb0: 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 exerT!(Positione
0bc0: 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71 29 dReader!CharSeq)
0bd0: 28 0d 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 (....PositionedR
0be0: 65 61 64 65 72 21 43 68 61 72 53 65 71 28 73 74 eader!CharSeq(st
0bf0: 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e r, filename, lin
0c00: 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 eno, column)...)
0c10: 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 ;.}../// Standar
0c20: 64 20 4c 65 78 65 72 20 54 79 70 65 20 28 61 6c d Lexer Type (al
0c30: 6c 20 79 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e l you have to kn
0c40: 6f 77 20 69 73 20 74 68 61 74 20 74 68 69 73 20 ow is that this
0c50: 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 61 6e is a forward ran
0c60: 67 65 20 6f 66 20 54 6f 6b 65 6e 73 21 29 0d 0a ge of Tokens!)..
0c70: 0d 0a 61 6c 69 61 73 20 4c 65 78 65 72 54 21 28 ..alias LexerT!(
0c80: 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 PositionedReader
0c90: 21 73 74 72 69 6e 67 29 20 4c 65 78 65 72 3b 0a !string) Lexer;.
0ca0: 0a 2f 2f 2f 20 4c 65 78 65 72 20 49 6d 70 6c 65 ./// Lexer Imple
0cb0: 6d 65 6e 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 mentation....cla
0cc0: 73 73 20 4c 65 78 65 72 54 28 52 65 61 64 65 72 ss LexerT(Reader
0cd0: 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 61 72 )...if( isForwar
0ce0: 64 52 61 6e 67 65 21 28 52 65 61 64 65 72 29 20 dRange!(Reader)
0cf0: 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 && is(ElementTyp
0d00: 65 21 28 52 65 61 64 65 72 29 3d 3d 64 63 68 61 e!(Reader)==dcha
0d10: 72 29 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e 67 r) ).{../// Rang
0d20: 65 20 70 72 69 6d 69 74 69 76 65 0a 09 62 6f 6f e primitive..boo
0d30: 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f l empty() /*@pro
0d40: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 perty*/..{...ret
0d50: 75 72 6e 20 63 75 72 72 65 6e 74 20 69 73 20 6e urn current is n
0d60: 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 ull;..}.../// Ra
0d70: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 54 nge primitive..T
0d80: 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 20 2f 2a 40 oken front() /*@
0d90: 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 property*/..{...
0da0: 72 65 74 75 72 6e 20 73 74 64 2e 65 78 63 65 70 return std.excep
0db0: 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 tion.enforce(cur
0dc0: 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 rent, "Lexer has
0dd0: 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 already reached
0de0: 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 7d 0a 0a the end");..}..
0df0: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
0e00: 74 69 76 65 0a 09 76 6f 69 64 20 70 6f 70 46 72 tive..void popFr
0e10: 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 ont() /*@propert
0e20: 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 78 63 y*/..{...std.exc
0e30: 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 eption.enforce(c
0e40: 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 urrent, "Lexer h
0e50: 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 as already reach
0e60: 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 09 ed the end");...
0e70: 63 75 72 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 current = readNe
0e80: 78 74 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 xt();..}.../// R
0e90: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 ange primitive..
0ea0: 74 79 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 typeof(this) sav
0eb0: 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a e() /*@property*
0ec0: 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 /..{...return ne
0ed0: 77 20 74 79 70 65 6f 66 28 74 68 69 73 29 28 72 w typeof(this)(r
0ee0: 65 61 64 65 72 2e 73 61 76 65 2c 20 63 75 72 72 eader.save, curr
0ef0: 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 ent);..}..privat
0f00: 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 e: // implementa
0f10: 74 69 6f 6e 0a 0a 09 52 65 61 64 65 72 20 72 65 tion...Reader re
0f20: 61 64 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 63 75 ader;..Token cu
0f30: 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 69 61 rrent;...invaria
0f40: 6e 74 28 29 0a 09 7b 0a 09 09 61 73 73 65 72 74 nt()..{...assert
0f50: 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20 7c ( reader.empty |
0f60: 7c 20 21 69 73 53 70 61 63 65 28 72 65 61 64 65 | !isSpace(reade
0f70: 72 2e 66 72 6f 6e 74 29 20 29 3b 0a 09 7d 0d 0a r.front) );..}..
0f80: 0d 0a 09 74 68 69 73 28 20 52 65 61 64 65 72 20 ...this( Reader
0f90: 72 65 61 64 65 72 2c 20 54 6f 6b 65 6e 20 63 75 reader, Token cu
0fa0: 72 72 65 6e 74 20 3d 20 6e 75 6c 6c 20 29 0d 0a rrent = null )..
0fb0: 09 7b 0d 0a 09 09 74 68 69 73 2e 72 65 61 64 65 .{....this.reade
0fc0: 72 20 3d 20 72 65 61 64 65 72 3b 0d 0a 09 09 72 r = reader;....r
0fd0: 65 61 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 eadWhile!isSpace
0fe0: 28 29 3b 0d 0a 09 09 74 68 69 73 2e 63 75 72 72 ();....this.curr
0ff0: 65 6e 74 20 3d 20 28 63 75 72 72 65 6e 74 20 69 ent = (current i
1000: 73 20 6e 75 6c 6c 20 3f 20 72 65 61 64 4e 65 78 s null ? readNex
1010: 74 28 29 20 3a 20 63 75 72 72 65 6e 74 29 3b 0d t() : current);.
1020: 0a 09 7d 0d 0a 0d 0a 09 70 75 62 6c 69 63 20 73 ..}.....public s
1030: 74 61 74 69 63 0d 0a 09 7b 0a 09 09 62 6f 6f 6c tatic...{...bool
1040: 20 69 73 53 70 61 63 65 20 20 20 28 64 63 68 61 isSpace (dcha
1050: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 73 74 r c) { return st
1060: 64 2e 63 74 79 70 65 2e 69 73 73 70 61 63 65 28 d.ctype.isspace(
1070: 63 29 21 3d 30 3b 20 7d 0a 09 09 62 6f 6f 6c 20 c)!=0; }...bool
1080: 69 73 53 79 6d 62 6f 6c 20 20 28 64 63 68 61 72 isSymbol (dchar
1090: 20 63 29 20 7b 20 72 65 74 75 72 6e 20 30 78 32 c) { return 0x2
10a0: 31 3c 3d 63 20 26 26 20 63 3c 3d 30 78 37 66 20 1<=c && c<=0x7f
10b0: 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e 69 73 && !std.ctype.is
10c0: 61 6c 6e 75 6d 28 63 29 20 26 26 20 63 21 3d 27 alnum(c) && c!='
10d0: 5f 27 20 26 26 20 63 21 3d 27 5c 27 27 3b 20 7d _' && c!='\''; }
10e0: 0d 0a 09 09 62 6f 6f 6c 20 69 73 53 53 79 6d 62 ....bool isSSymb
10f0: 6f 6c 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 ol (dchar c) { r
1100: 65 74 75 72 6e 20 22 28 29 5b 5d 7b 7d 3b 40 22 eturn "()[]{};@"
1110: 2e 63 61 6e 46 69 6e 64 28 63 29 3b 20 7d 0d 0a .canFind(c); }..
1120: 09 09 62 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f 6c ..bool isMSymbol
1130: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
1140: 75 72 6e 20 69 73 53 79 6d 62 6f 6c 28 63 29 20 urn isSymbol(c)
1150: 26 26 20 21 69 73 53 53 79 6d 62 6f 6c 28 63 29 && !isSSymbol(c)
1160: 20 26 26 20 63 21 3d 27 22 27 20 26 26 20 63 21 && c!='"' && c!
1170: 3d 27 23 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 ='#'; }....bool
1180: 69 73 4c 65 74 74 65 72 20 20 28 64 63 68 61 72 isLetter (dchar
1190: 20 63 29 20 7b 20 72 65 74 75 72 6e 20 21 69 73 c) { return !is
11a0: 53 70 61 63 65 28 63 29 20 26 26 20 21 69 73 53 Space(c) && !isS
11b0: 79 6d 62 6f 6c 28 63 29 3b 20 7d 0d 0a 09 7d 0d ymbol(c); }...}.
11c0: 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 ....string readQ
11d0: 75 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 uoted(const LexP
11e0: 6f 73 69 74 69 6f 6e 20 70 6f 73 29 7b 63 68 61 osition pos){cha
11f0: 72 5b 5d 20 62 75 66 3b 20 72 65 74 75 72 6e 20 r[] buf; return
1200: 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 readQuoted(pos,b
1210: 75 66 29 3b 7d 0d 0a 09 73 74 72 69 6e 67 20 72 uf);}...string r
1220: 65 61 64 51 75 6f 74 65 64 28 63 6f 6e 73 74 20 eadQuoted(const
1230: 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 2c LexPosition pos,
1240: 20 72 65 66 20 63 68 61 72 5b 5d 20 62 75 66 29 ref char[] buf)
1250: 0d 0a 09 7b 0d 0a 09 09 69 66 28 20 72 65 61 64 ...{....if( read
1260: 65 72 2e 65 6d 70 74 79 20 29 0d 0a 09 09 09 74 er.empty ).....t
1270: 68 72 6f 77 20 67 65 6e 65 78 21 55 6e 65 78 70 hrow genex!Unexp
1280: 65 63 74 65 64 45 4f 46 28 70 6f 73 2c 20 22 51 ectedEOF(pos, "Q
1290: 75 6f 74 65 64 20 73 74 72 69 6e 67 20 6e 6f 74 uoted string not
12a0: 20 74 65 72 6d 69 6e 61 74 65 64 22 29 3b 0d 0a terminated");..
12b0: 09 09 64 63 68 61 72 20 63 20 3d 20 72 65 61 64 ..dchar c = read
12c0: 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 61 er.front;....rea
12d0: 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 der.popFront;...
12e0: 09 69 66 28 20 63 20 3d 3d 20 27 22 27 20 29 0d .if( c == '"' ).
12f0: 0a 09 09 09 72 65 74 75 72 6e 20 61 73 73 75 6d ....return assum
1300: 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d 0a 09 eUnique(buf);...
1310: 09 69 66 28 20 63 20 3d 3d 20 27 5c 5c 27 20 26 .if( c == '\\' &
1320: 26 20 21 72 65 61 64 65 72 2e 65 6d 70 74 79 20 & !reader.empty
1330: 29 20 7b 0d 0a 09 09 09 69 66 28 20 72 65 61 64 ) {.....if( read
1340: 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 27 20 29 20 er.front=='"' )
1350: 7b 0d 0a 09 09 09 09 72 65 61 64 65 72 2e 70 6f {......reader.po
1360: 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65 74 pFront;......ret
1370: 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 urn readQuoted(p
1380: 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 22 27 29 3b os,buf ~= '\"');
1390: 0d 0a 09 09 09 7d 0d 0a 09 09 09 69 66 28 20 72 .....}.....if( r
13a0: 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c 5c eader.front=='\\
13b0: 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 ' ) {......reade
13c0: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 r.popFront;.....
13d0: 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 .return readQuot
13e0: 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c ed(pos,buf ~= '\
13f0: 5c 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 7d 0d \');.....}....}.
1400: 0a 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 ...return readQu
1410: 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 oted(pos,buf ~=
1420: 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 69 c);...}.....stri
1430: 6e 67 20 72 65 61 64 57 68 69 6c 65 28 61 6c 69 ng readWhile(ali
1440: 61 73 20 66 6e 29 28 29 0d 0a 09 7b 0d 0a 09 09 as fn)()...{....
1450: 63 68 61 72 5b 5d 20 62 75 66 3b 0d 0a 09 09 66 char[] buf;....f
1460: 6f 72 28 3b 20 21 72 65 61 64 65 72 2e 65 6d 70 or(; !reader.emp
1470: 74 79 20 26 26 20 66 6e 28 72 65 61 64 65 72 2e ty && fn(reader.
1480: 66 72 6f 6e 74 29 3b 20 72 65 61 64 65 72 2e 70 front); reader.p
1490: 6f 70 46 72 6f 6e 74 29 0d 0a 09 09 09 62 75 66 opFront).....buf
14a0: 20 7e 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 ~= reader.front
14b0: 3b 0d 0a 09 09 72 65 74 75 72 6e 20 61 73 73 75 ;....return assu
14c0: 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d 0a meUnique(buf);..
14d0: 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 65 61 64 4e .}...Token readN
14e0: 65 78 74 28 29 0a 09 7b 0a 09 09 69 66 28 20 72 ext()..{...if( r
14f0: 65 61 64 65 72 2e 65 6d 70 74 79 20 29 0a 09 09 eader.empty )...
1500: 09 72 65 74 75 72 6e 20 6e 75 6c 6c 3b 0d 0a 09 .return null;...
1510: 09 73 63 6f 70 65 28 73 75 63 63 65 73 73 29 0d .scope(success).
1520: 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 73 ....readWhile!is
1530: 53 70 61 63 65 28 29 3b 0d 0a 09 09 69 66 28 20 Space();....if(
1540: 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 reader.front ==
1550: 27 23 27 20 29 20 2f 2f 20 63 6f 6d 6d 65 6e 74 '#' ) // comment
1560: 0d 0a 09 09 7b 0d 0a 09 09 09 72 65 61 64 65 72 ....{.....reader
1570: 20 3d 20 66 69 6e 64 28 72 65 61 64 65 72 2c 20 = find(reader,
1580: 27 5c 6e 27 29 3b 0d 0a 09 09 09 72 65 61 64 57 '\n');.....readW
1590: 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b 0d hile!isSpace();.
15a0: 0a 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 4e ....return readN
15b0: 65 78 74 28 29 3b 0d 0a 09 09 7d 0a 09 09 65 6c ext();....}...el
15c0: 73 65 20 69 66 28 20 72 65 61 64 65 72 2e 66 72 se if( reader.fr
15d0: 6f 6e 74 20 3d 3d 20 27 22 27 20 29 20 2f 2f 20 ont == '"' ) //
15e0: 71 75 6f 74 65 64 0d 0a 09 09 7b 0d 0a 09 09 09 quoted....{.....
15f0: 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 auto pos = reade
1600: 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f r.currentPositio
1610: 6e 28 29 3b 0d 0a 09 09 09 72 65 61 64 65 72 2e n();.....reader.
1620: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 popFront;.....re
1630: 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 turn new Token(p
1640: 6f 73 2c 20 72 65 61 64 51 75 6f 74 65 64 28 70 os, readQuoted(p
1650: 6f 73 29 2c 20 74 72 75 65 29 3b 0d 0a 09 09 7d os), true);....}
1660: 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 53 ....else if( isS
1670: 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 Symbol(reader.fr
1680: 6f 6e 74 29 20 29 20 2f 2f 20 70 61 72 65 6e 0d ont) ) // paren.
1690: 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f ...{.....auto po
16a0: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
16b0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 ntPosition();...
16c0: 09 09 73 74 72 69 6e 67 20 73 3b 20 73 7e 3d 72 ..string s; s~=r
16d0: 65 61 64 65 72 2e 66 72 6f 6e 74 3b 20 72 65 61 eader.front; rea
16e0: 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 der.popFront;...
16f0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
1700: 65 6e 28 70 6f 73 2c 20 73 2c 20 66 61 6c 73 65 en(pos, s, false
1710: 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 20 );....}....else
1720: 69 66 28 20 69 73 4d 53 79 6d 62 6f 6c 28 72 65 if( isMSymbol(re
1730: 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f 2f ader.front) ) //
1740: 20 73 79 6d 62 6f 6c 0d 0a 09 09 7b 0a 09 09 09 symbol....{....
1750: 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 auto pos = reade
1760: 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f r.currentPositio
1770: 6e 28 29 3b 0a 09 09 09 72 65 74 75 72 6e 20 6e n();....return n
1780: 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 ew Token(pos, re
1790: 61 64 57 68 69 6c 65 21 69 73 4d 53 79 6d 62 6f adWhile!isMSymbo
17a0: 6c 28 29 2c 20 66 61 6c 73 65 29 3b 0a 09 09 7d l(), false);...}
17b0: 0a 09 09 65 6c 73 65 0a 09 09 7b 0a 09 09 09 61 ...else...{....a
17c0: 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 72 uto pos = reader
17d0: 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e .currentPosition
17e0: 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e ();.....return n
17f0: 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 ew Token(pos, re
1800: 61 64 57 68 69 6c 65 21 69 73 4c 65 74 74 65 72 adWhile!isLetter
1810: 28 29 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d (), false);....}
1820: 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a ..}.}..unittest.
1830: 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 2e 72 {..assert( std.r
1840: 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 52 61 ange.isForwardRa
1850: 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b 0a 09 nge!(Lexer) );..
1860: 61 73 73 65 72 74 28 20 69 73 28 45 6c 65 6d 65 assert( is(Eleme
1870: 6e 74 54 79 70 65 21 28 4c 65 78 65 72 29 20 3d ntType!(Lexer) =
1880: 3d 20 54 6f 6b 65 6e 29 20 29 3b 0d 0a 7d 0a 0a = Token) );..}..
1890: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f unittest.{..auto
18a0: 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f 6d lex = lexerFrom
18b0: 53 74 72 69 6e 67 28 22 74 68 69 73 09 69 73 20 String("this.is
18c0: 61 20 5c 74 5c 72 5c 6e 20 70 65 6e 20 3a 2d 28 a \t\r\n pen :-(
18d0: 20 40 40 3b 20 20 22 29 3b 0a 09 54 6f 6b 65 6e @@; ");..Token
18e0: 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 [] ts = std.arra
18f0: 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 0a 09 y.array(lex);...
1900: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d assert_eq( ts[0]
1910: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 .pos.lineno, 1 )
1920: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1930: 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 [0].pos.column,
1940: 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 1 );..assert(
1950: 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 29 3b !ts[0].quoted );
1960: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1970: 30 5d 2e 73 74 72 2c 20 22 74 68 69 73 22 20 29 0].str, "this" )
1980: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1990: 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[1].pos.lineno,
19a0: 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 1 );..assert_eq
19b0: 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[1].pos.colu
19c0: 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 mn, 6 );..assert
19d0: 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74 65 ( !ts[1].quote
19e0: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
19f0: 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 69 73 22 ts[1].str, "is"
1a00: 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
1a10: 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[2].pos.linen
1a20: 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f o, 1 );..assert_
1a30: 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 63 6f eq( ts[2].pos.co
1a40: 6c 75 6d 6e 2c 20 39 20 29 3b 0a 09 61 73 73 65 lumn, 9 );..asse
1a50: 72 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f rt( !ts[2].quo
1a60: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ted );..assert_e
1a70: 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 61 q( ts[2].str, "a
1a80: 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
1a90: 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[3].pos.line
1aa0: 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 74 no, 2 );..assert
1ab0: 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 63 _eq( ts[3].pos.c
1ac0: 6f 6c 75 6d 6e 2c 20 32 20 29 3b 0a 09 61 73 73 olumn, 2 );..ass
1ad0: 65 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71 75 ert( !ts[3].qu
1ae0: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
1af0: 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 eq( ts[3].str, "
1b00: 70 65 6e 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 pen" );...assert
1b10: 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c _eq( ts[4].pos.l
1b20: 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 ineno, 2 );..ass
1b30: 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f ert_eq( ts[4].po
1b40: 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 s.column, 6 );..
1b50: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d assert_eq( ts[4]
1b60: 2e 73 74 72 2c 20 22 3a 2d 22 20 29 3b 0a 0a 09 .str, ":-" );...
1b70: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d assert_eq( ts[5]
1b80: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 .pos.lineno, 2 )
1b90: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1ba0: 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c s[5].pos.column,
1bb0: 20 38 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 8 );...assert_e
1bc0: 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 28 q( ts[5].str, "(
1bd0: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
1be0: 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 22 40 22 ( ts[6].str, "@"
1bf0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
1c00: 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 40 22 20 ts[7].str, "@"
1c10: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
1c20: 74 73 5b 38 5d 2e 73 74 72 2c 20 22 3b 22 20 29 ts[8].str, ";" )
1c30: 3b 20 2f 2f 20 70 61 72 65 6e 20 61 6e 64 20 73 ; // paren and s
1c40: 69 6d 69 63 6f 6c 6f 6e 73 2c 20 61 74 6d 61 72 imicolons, atmar
1c50: 6b 73 20 61 72 65 20 73 70 6c 69 74 0d 0a 0d 0a ks are split....
1c60: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c .assert_eq( ts.l
1c70: 65 6e 67 74 68 2c 20 39 20 29 3b 0a 7d 0a 0a 75 ength, 9 );.}..u
1c80: 6e 69 74 74 65 73 74 0a 7b 0a 09 2f 2f 20 21 21 nittest.{..// !!
1c90: 20 62 65 20 73 75 72 65 20 74 6f 20 72 75 6e 20 be sure to run
1ca0: 74 68 65 20 75 6e 69 74 74 65 73 74 20 6f 6e 20 the unittest on
1cb0: 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 68 65 20 the root of the
1cc0: 73 6f 75 72 63 65 20 64 69 72 65 63 74 6f 72 79 source directory
1cd0: 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d 20 6c 65 ..auto lexf = le
1ce0: 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 70 6f 6c xerFromFile("pol
1cf0: 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 0a 09 6c emy/lex.d");...l
1d00: 65 78 66 20 3d 20 66 69 6e 64 21 60 61 2e 73 74 exf = find!`a.st
1d10: 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 60 28 6c r == "module"`(l
1d20: 65 78 66 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 exf);..assert_eq
1d30: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 ( lexf.front.str
1d40: 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b 0a 09 61 , "module" );..a
1d50: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
1d60: 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e 61 6d ront.pos.filenam
1d70: 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 e, "polemy/lex.d
1d80: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
1d90: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1da0: 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 lineno, 7 );..as
1db0: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1dc0: 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 ont.pos.column,
1dd0: 31 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 1 );..lexf.popFr
1de0: 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 ont;..assert_eq(
1df0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c lexf.front.str,
1e00: 20 22 70 6f 6c 65 6d 79 22 20 29 3b 0a 09 61 73 "polemy" );..as
1e10: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1e20: 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 ont.pos.lineno,
1e30: 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 7 );..assert_eq(
1e40: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1e50: 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c 65 column, 8 );..le
1e60: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 xf.popFront;..le
1e70: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 xf.popFront;..le
1e80: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 xf.popFront;..le
1e90: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 xf.popFront;..as
1ea0: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1eb0: 6f 6e 74 2e 73 74 72 2c 20 22 69 6d 70 6f 72 74 ont.str, "import
1ec0: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
1ed0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1ee0: 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 lineno, 8 );..as
1ef0: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1f00: 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 ont.pos.column,
1f10: 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 1 );.}...unittes
1f20: 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 5f 74 68 t..{...assert_th
1f30: 72 6f 77 21 55 6e 65 78 70 65 63 74 65 64 45 4f row!UnexpectedEO
1f40: 46 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 F( lexerFromStri
1f50: 6e 67 28 60 22 60 29 20 29 3b 0d 0a 7d 0d 0a 0a ng(`"`) );..}...
1f60: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f unittest.{..auto
1f70: 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f 6d lex = lexerFrom
1f80: 53 74 72 69 6e 67 28 60 6d 79 20 23 20 63 6f 6d String(`my # com
1f90: 6d 65 6e 74 20 73 68 6f 75 6c 64 60 7e 22 5c 72 ment should`~"\r
1fa0: 5c 6e 22 7e 60 23 20 68 65 79 21 21 0a 62 65 20 \n"~`# hey!!.be
1fb0: 69 67 6e 6f 72 65 64 2e 0a 68 61 68 61 68 61 22 ignored..hahaha"
1fc0: 68 69 68 69 68 69 22 22 68 75 5c 5c 5c 22 68 75 hihihi""hu\\\"hu
1fd0: 68 75 22 23 31 32 33 20 61 61 0a 31 32 33 20 61 hu"#123 aa.123 a
1fe0: 61 20 22 61 61 61 60 7e 22 5c 6e 22 7e 60 62 62 a "aaa`~"\n"~`bb
1ff0: 62 20 23 20 31 32 33 60 7e 22 5c 72 5c 6e 22 7e b # 123`~"\r\n"~
2000: 60 65 65 65 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 `eee".zzz.`);..T
2010: 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e oken[] ts = std.
2020: 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 29 array.array(lex)
2030: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
2040: 5b 30 5d 2e 73 74 72 2c 20 22 6d 79 22 20 29 3b [0].str, "my" );
2050: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
2060: 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 0].pos.lineno, 1
2070: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
2080: 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[0].quoted );.
2090: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 .assert_eq( ts[1
20a0: 5d 2e 73 74 72 2c 20 22 62 65 22 20 29 3b 0a 09 ].str, "be" );..
20b0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d assert_eq( ts[1]
20c0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 33 20 29 .pos.lineno, 3 )
20d0: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
20e0: 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [1].quoted );..a
20f0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e ssert_eq( ts[2].
2100: 73 74 72 2c 20 22 69 67 6e 6f 72 65 64 22 20 29 str, "ignored" )
2110: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
2120: 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [2].quoted );..a
2130: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e ssert_eq( ts[3].
2140: 73 74 72 2c 20 22 2e 22 20 29 3b 0a 09 61 73 73 str, "." );..ass
2150: 65 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71 75 ert( !ts[3].qu
2160: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2170: 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 eq( ts[4].str, "
2180: 68 61 68 61 68 61 22 20 29 3b 0a 09 61 73 73 65 hahaha" );..asse
2190: 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 rt_eq( ts[4].pos
21a0: 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 .lineno, 4 );..a
21b0: 73 73 65 72 74 28 20 20 20 21 74 73 5b 34 5d 2e ssert( !ts[4].
21c0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
21d0: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c t_eq( ts[5].str,
21e0: 20 22 68 69 68 69 68 69 22 20 29 3b 0a 09 61 73 "hihihi" );..as
21f0: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 sert_eq( ts[5].p
2200: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a os.lineno, 4 );.
2210: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 35 .assert( ts[5
2220: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
2230: 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 ert_eq( ts[6].st
2240: 72 2c 20 60 68 75 5c 22 68 75 68 75 60 20 29 3b r, `hu\"huhu` );
2250: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
2260: 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 6].pos.lineno, 4
2270: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 20 );..assert(
2280: 74 73 5b 36 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[6].quoted );.
2290: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 37 .assert_eq( ts[7
22a0: 5d 2e 73 74 72 2c 20 22 31 32 33 22 20 29 3b 0a ].str, "123" );.
22b0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 37 .assert_eq( ts[7
22c0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 ].pos.lineno, 5
22d0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
22e0: 73 5b 38 5d 2e 73 74 72 2c 20 22 61 61 22 20 29 s[8].str, "aa" )
22f0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
2300: 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [9].pos.lineno,
2310: 35 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 5 );..assert_eq(
2320: 20 74 73 5b 39 5d 2e 73 74 72 2c 20 22 61 61 61 ts[9].str, "aaa
2330: 5c 6e 62 62 62 20 23 20 31 32 33 5c 6e 65 65 65 \nbbb # 123\neee
2340: 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 " );..assert(
2350: 20 74 73 5b 39 5d 2e 71 75 6f 74 65 64 20 29 3b ts[9].quoted );
2360: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
2370: 31 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 10].pos.lineno,
2380: 38 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 8 );..assert(
2390: 21 74 73 5b 31 30 5d 2e 71 75 6f 74 65 64 20 29 !ts[10].quoted )
23a0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
23b0: 2e 6c 65 6e 67 74 68 2c 20 31 31 20 29 3b 0a 7d .length, 11 );.}
23c0: 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a ...unittest..{..
23d0: 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 6c 65 78 .auto lex2 = lex
23e0: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 20 61 erFromString(" a
23f0: 31 32 5c 6e 33 61 20 35 20 22 29 3b 0d 0a 09 61 12\n3a 5 ");...a
2400: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 ssert_eq( lex2.f
2410: 72 6f 6e 74 2e 73 74 72 2c 20 22 61 31 32 22 20 ront.str, "a12"
2420: 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f );...lex2.popFro
2430: 6e 74 3b 0d 0a 09 61 75 74 6f 20 6c 65 78 33 20 nt;...auto lex3
2440: 3d 20 6c 65 78 32 2e 73 61 76 65 3b 0d 0a 09 61 = lex2.save;...a
2450: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 ssert_eq( lex2.f
2460: 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 29 ront.str, "3a" )
2470: 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e ;...lex2.popFron
2480: 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 t;...assert_eq(
2490: 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 lex3.front.str,
24a0: 22 33 61 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 "3a" );...assert
24b0: 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e _eq( lex2.front.
24c0: 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a 09 6c 65 str, "5" );...le
24d0: 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 6c x2.popFront;...l
24e0: 65 78 33 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 ex3.popFront;...
24f0: 61 73 73 65 72 74 28 20 6c 65 78 32 2e 65 6d 70 assert( lex2.emp
2500: 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 ty );...assert(
2510: 21 6c 65 78 33 2e 65 6d 70 74 79 20 29 3b 0d 0a !lex3.empty );..
2520: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 .assert_eq( lex3
2530: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22 20 .front.str, "5"
2540: 29 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 );..}....unittes
2550: 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 20 t..{...auto lex
2560: 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e = lexerFromStrin
2570: 67 28 60 3d 22 22 60 29 3b 0d 0a 09 61 73 73 65 g(`=""`);...asse
2580: 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74 2e rt_eq(lex.front.
2590: 73 74 72 2c 20 22 3d 22 29 3b 20 6c 65 78 2e 70 str, "="); lex.p
25a0: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 opFront;...asser
25b0: 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 t_eq(lex.front.s
25c0: 74 72 2c 20 22 22 29 3b 20 6c 65 78 2e 70 6f 70 tr, ""); lex.pop
25d0: 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 Front;...assert(
25e0: 20 6c 65 78 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 lex.empty );...
25f0: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 65 72 assert_eq( lexer
2600: 46 72 6f 6d 53 74 72 69 6e 67 28 60 2d 40 60 29 FromString(`-@`)
2610: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 2d 22 20 .front.str, "-"
2620: 29 3b 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f 72 );..}..../// For
2630: 77 61 72 64 20 72 61 6e 67 65 20 66 6f 72 20 72 ward range for r
2640: 65 61 64 65 72 20 63 68 61 72 61 63 74 65 72 20 eader character
2650: 62 79 20 63 68 61 72 61 63 74 65 72 2c 0d 0a 2f by character,../
2660: 2f 2f 20 6b 65 65 70 69 6e 67 20 74 72 61 63 6b // keeping track
2670: 20 6f 66 20 70 6f 73 69 74 69 6f 6e 20 69 6e 66 of position inf
2680: 6f 72 6d 61 74 69 6f 6e 20 61 6e 64 20 63 61 72 ormation and car
2690: 69 6e 67 20 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 ing \r\n -> \n c
26a0: 6f 6e 76 65 72 73 69 6f 6e 2e 0d 0a 0d 0a 73 74 onversion.....st
26b0: 72 75 63 74 20 50 6f 73 69 74 69 6f 6e 65 64 52 ruct PositionedR
26c0: 65 61 64 65 72 28 43 68 61 72 53 65 71 29 0d 0a eader(CharSeq)..
26d0: 09 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 .if( isForwardRa
26e0: 6e 67 65 21 28 43 68 61 72 53 65 71 29 20 26 26 nge!(CharSeq) &&
26f0: 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 is(ElementType!
2700: 28 43 68 61 72 53 65 71 29 3d 3d 64 63 68 61 72 (CharSeq)==dchar
2710: 29 20 29 0d 0a 7b 0d 0a 09 43 68 61 72 53 65 71 ) )..{...CharSeq
2720: 20 62 75 66 66 65 72 3b 0d 0a 09 73 74 72 69 6e buffer;...strin
2730: 67 20 20 66 69 6c 65 6e 61 6d 65 3b 0d 0a 09 69 g filename;...i
2740: 6e 74 20 20 20 20 20 6c 69 6e 65 6e 6f 3b 0d 0a nt lineno;..
2750: 09 69 6e 74 20 20 20 20 20 63 6f 6c 75 6d 6e 3b .int column;
2760: 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 ...../// Range p
2770: 72 69 6d 69 74 69 76 65 0d 0a 09 62 6f 6f 6c 20 rimitive...bool
2780: 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 empty() /*@prope
2790: 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 65 74 rty*/...{....ret
27a0: 75 72 6e 20 62 75 66 66 65 72 2e 65 6d 70 74 79 urn buffer.empty
27b0: 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 ;...}...../// Ra
27c0: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 nge primitive...
27d0: 64 63 68 61 72 20 66 72 6f 6e 74 28 29 20 2f 2a dchar front() /*
27e0: 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d @property*/...{.
27f0: 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75 66 ...dchar c = buf
2800: 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 fer.front;....re
2810: 74 75 72 6e 20 28 63 3d 3d 27 5c 72 27 20 3f 20 turn (c=='\r' ?
2820: 27 5c 6e 27 20 3a 20 63 29 3b 0d 0a 09 7d 0d 0a '\n' : c);...}..
2830: 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 .../// Range pri
2840: 6d 69 74 69 76 65 0d 0a 09 76 6f 69 64 20 70 6f mitive...void po
2850: 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 pFront() /*@prop
2860: 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 erty*/...{....dc
2870: 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 2e 66 har c = buffer.f
2880: 72 6f 6e 74 3b 0d 0a 09 09 62 75 66 66 65 72 2e ront;....buffer.
2890: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 popFront;....if(
28a0: 20 63 3d 3d 27 5c 72 27 20 29 0d 0a 09 09 7b 0d c=='\r' )....{.
28b0: 0a 09 09 09 69 66 28 20 21 62 75 66 66 65 72 2e ....if( !buffer.
28c0: 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 72 2e empty && buffer.
28d0: 66 72 6f 6e 74 3d 3d 27 5c 6e 27 20 29 0d 0a 09 front=='\n' )...
28e0: 09 09 09 62 75 66 66 65 72 2e 70 6f 70 46 72 6f ...buffer.popFro
28f0: 6e 74 3b 0d 0a 09 09 09 63 20 3d 20 27 5c 6e 27 nt;.....c = '\n'
2900: 3b 0d 0a 09 09 7d 0d 0a 09 09 69 66 28 20 63 3d ;....}....if( c=
2910: 3d 27 5c 6e 27 20 29 0d 0a 09 09 7b 0d 0a 09 09 ='\n' )....{....
2920: 09 6c 69 6e 65 6e 6f 20 2b 2b 3b 09 0d 0a 09 09 .lineno ++;.....
2930: 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 .column = 1;....
2940: 7d 0d 0a 09 09 65 6c 73 65 0d 0a 09 09 09 63 6f }....else.....co
2950: 6c 75 6d 6e 20 2b 2b 3b 0d 0a 09 7d 0d 0a 0d 0a lumn ++;...}....
2960: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
2970: 74 69 76 65 0d 0a 09 74 79 70 65 6f 66 28 74 68 tive...typeof(th
2980: 69 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 72 is) save() /*@pr
2990: 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 operty*/...{....
29a0: 72 65 74 75 72 6e 20 74 68 69 73 3b 0d 0a 09 7d return this;...}
29b0: 0d 0a 0d 0a 09 2f 2f 2f 20 47 65 74 20 74 68 65 ...../// Get the
29c0: 20 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69 6f current positio
29d0: 6e 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 28 4c 65 n...immutable(Le
29e0: 78 50 6f 73 69 74 69 6f 6e 29 20 63 75 72 72 65 xPosition) curre
29f0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 20 63 6f 6e ntPosition() con
2a00: 73 74 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e st...{....return
2a10: 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c new immutable(L
2a20: 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c 65 exPosition)(file
2a30: 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f name, lineno, co
2a40: 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a 0d lumn);...}..}...
2a50: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 .unittest..{...a
2a60: 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72 64 ssert( isForward
2a70: 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e 65 Range!(Positione
2a80: 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 dReader!string)
2a90: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 28 );...assert( is(
2aa0: 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f 73 ElementType!(Pos
2ab0: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
2ac0: 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29 20 ring) == dchar)
2ad0: 29 3b 0d 0a 7d 0d 0a );..}..