0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 70 6f ommon;.import po
00b0: 6c 65 6d 79 2e 66 61 69 6c 75 72 65 3b 0a 69 6d lemy.failure;.im
00c0: 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 20 3a port std.file :
00d0: 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f 72 readText;.impor
00e0: 74 20 73 74 64 2e 63 74 79 70 65 20 3a 20 69 73 t std.ctype : is
00f0: 73 70 61 63 65 2c 20 69 73 61 6c 6e 75 6d 3b 0a space, isalnum;.
0100: 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 ./// Represents
0110: 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a 0a 63 a lexer token..c
0120: 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a 09 69 6d lass Token.{..im
0130: 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 69 74 mutable LexPosit
0140: 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f 2f 2f 20 ion pos; ///
0150: 50 6f 73 69 74 69 6f 6e 20 77 68 65 72 65 20 74 Position where t
0160: 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75 72 72 65 he token occurre
0170: 64 20 69 6e 20 74 68 65 20 73 6f 75 72 63 65 0a d in the source.
0180: 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e .immutable strin
0190: 67 20 20 20 20 20 20 73 74 72 3b 20 20 20 20 2f g str; /
01a0: 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20 73 74 72 // The token str
01b0: 69 6e 67 20 69 74 73 65 6c 66 0a 09 69 6d 6d 75 ing itself..immu
01c0: 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20 20 20 20 table bool
01d0: 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f 20 57 61 quoted; /// Wa
01e0: 73 20 69 74 20 61 20 22 71 75 6f 74 65 64 22 20 s it a "quoted"
01f0: 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75 6f 74 65 token or unquote
0200: 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c d?...mixin Simpl
0210: 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e 69 74 74 eClass;.}..unitt
0220: 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 est.{..auto p =
0230: 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 new LexPosition(
0240: 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 "hello.cpp", 123
0250: 2c 20 34 35 29 3b 0a 09 61 75 74 6f 20 74 20 3d , 45);..auto t =
0260: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 new Token(p, "c
0270: 6c 61 73 73 22 2c 20 66 61 6c 73 65 29 3b 0a 09 lass", false);..
0280: 61 75 74 6f 20 75 20 3d 20 6e 65 77 20 54 6f 6b auto u = new Tok
0290: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 74 en(p, "class", t
02a0: 72 75 65 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 rue);...assert_e
02b0: 71 28 20 74 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 q( t.pos, p );..
02c0: 61 73 73 65 72 74 5f 65 71 28 20 74 2e 73 74 72 assert_eq( t.str
02d0: 2c 20 22 63 6c 61 73 73 22 20 29 3b 0a 09 61 73 , "class" );..as
02e0: 73 65 72 74 28 20 21 74 2e 71 75 6f 74 65 64 20 sert( !t.quoted
02f0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
0300: 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 , new Token(p, "
0310: 63 6c 61 73 73 22 2c 20 66 61 6c 73 65 29 20 29 class", false) )
0320: 3b 0a 09 61 73 73 65 72 74 5f 6c 74 28 20 74 2c ;..assert_lt( t,
0330: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 73 new Token(p, "s
0340: 74 72 75 63 74 22 2c 20 66 61 6c 73 65 29 20 29 truct", false) )
0350: 3b 0a 09 61 73 73 65 72 74 5f 6e 65 28 20 74 2c ;..assert_ne( t,
0360: 20 75 20 29 3b 0a 09 61 73 73 65 72 74 28 20 75 u );..assert( u
0370: 2e 71 75 6f 74 65 64 20 29 3b 0a 0a 09 61 73 73 .quoted );...ass
0380: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
0390: 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b ompiles, new Tok
03a0: 65 6e 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 en) );..assert(
03b0: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
03c0: 65 73 2c 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a es, t.pos=p) );.
03d0: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
03e0: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 ts(compiles, t.s
03f0: 74 72 3d 22 37 38 39 22 29 20 29 3b 0a 09 61 73 tr="789") );..as
0400: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0410: 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 71 75 6f 74 compiles, t.quot
0420: 65 64 3d 74 72 75 65 29 20 29 3b 0a 7d 0a 0a 2f ed=true) );.}../
0430: 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 // Named Constru
0440: 74 6f 72 73 20 66 6f 72 20 4c 65 78 65 72 0a 0a tors for Lexer..
0450: 4c 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d 46 Lexer lexerFromF
0460: 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 72 69 6e ile(T...)( strin
0470: 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 20 6c 6e g filename, T ln
0480: 5f 63 6e 20 29 0a 7b 0a 09 72 65 74 75 72 6e 20 _cn ).{..return
0490: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
04a0: 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 64 54 65 std.file.readTe
04b0: 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c 20 66 69 xt(filename), fi
04c0: 6c 65 6e 61 6d 65 2c 20 6c 6e 5f 63 6e 20 29 3b lename, ln_cn );
04d0: 0a 7d 0a 09 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 .}.../// Named C
04e0: 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 20 4c 65 onstrutor for Le
04f0: 78 65 72 0a 0a 4c 65 78 65 72 54 21 28 50 6f 73 xer..LexerT!(Pos
0500: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 itionedReader!Ch
0510: 61 72 53 65 71 29 20 2f 2a 20 64 64 6f 63 20 64 arSeq) /* ddoc d
0520: 6f 65 73 6e 27 74 20 72 65 63 6f 67 6e 69 7a 65 oesn't recognize
0530: 20 61 75 74 6f 20 72 65 74 75 72 6e 2e 2e 2e 20 auto return...
0540: 62 75 67 7a 69 6c 6c 61 3a 32 35 38 31 20 2a 2f bugzilla:2581 */
0550: 0a 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 .lexerFromString
0560: 28 43 68 61 72 53 65 71 29 28 20 43 68 61 72 53 (CharSeq)( CharS
0570: 65 71 20 73 74 72 2c 20 73 74 72 69 6e 67 20 66 eq str, string f
0580: 69 6c 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 ilename="<unname
0590: 64 3e 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d d>", int lineno=
05a0: 31 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 1, int column=1
05b0: 29 0a 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 77 ).{. .return new
05c0: 20 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f LexerT!(Positio
05d0: 6e 65 64 52 65 61 64 65 72 21 43 68 61 72 53 65 nedReader!CharSe
05e0: 71 29 28 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64 q)(...Positioned
05f0: 52 65 61 64 65 72 21 43 68 61 72 53 65 71 28 73 Reader!CharSeq(s
0600: 74 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 tr, filename, li
0610: 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0a 09 29 neno, column)..)
0620: 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 ;.}../// Standar
0630: 64 20 4c 65 78 65 72 20 54 79 70 65 20 28 61 6c d Lexer Type (al
0640: 6c 20 79 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e l you have to kn
0650: 6f 77 20 69 73 20 74 68 61 74 20 74 68 69 73 20 ow is that this
0660: 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 61 6e is a forward ran
0670: 67 65 20 6f 66 20 54 6f 6b 65 6e 73 21 29 0a 0a ge of Tokens!)..
0680: 61 6c 69 61 73 20 4c 65 78 65 72 54 21 28 50 6f alias LexerT!(Po
0690: 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 sitionedReader!s
06a0: 74 72 69 6e 67 29 20 4c 65 78 65 72 3b 0a 0a 2f tring) Lexer;../
06b0: 2f 2f 20 4c 65 78 65 72 20 49 6d 70 6c 65 6d 65 // Lexer Impleme
06c0: 6e 74 61 74 69 6f 6e 0a 0a 63 6c 61 73 73 20 4c ntation..class L
06d0: 65 78 65 72 54 28 52 65 61 64 65 72 29 0a 09 69 exerT(Reader)..i
06e0: 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e 67 f( isForwardRang
06f0: 65 21 28 52 65 61 64 65 72 29 20 26 26 20 69 73 e!(Reader) && is
0700: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 52 65 (ElementType!(Re
0710: 61 64 65 72 29 3d 3d 64 63 68 61 72 29 20 29 0a ader)==dchar) ).
0720: 7b 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 {../// Range pri
0730: 6d 69 74 69 76 65 0a 09 62 6f 6f 6c 20 65 6d 70 mitive..bool emp
0740: 74 79 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 ty() /*@property
0750: 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 63 */..{...return c
0760: 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 3b 0a urrent is null;.
0770: 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 .}.../// Range p
0780: 72 69 6d 69 74 69 76 65 0a 09 54 6f 6b 65 6e 20 rimitive..Token
0790: 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 front() /*@prope
07a0: 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 rty*/..{...retur
07b0: 6e 20 73 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e n std.exception.
07c0: 65 6e 66 6f 72 63 65 28 63 75 72 72 65 6e 74 2c enforce(current,
07d0: 20 22 4c 65 78 65 72 20 68 61 73 20 61 6c 72 65 "Lexer has alre
07e0: 61 64 79 20 72 65 61 63 68 65 64 20 74 68 65 20 ady reached the
07f0: 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 end");..}...///
0800: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a Range primitive.
0810: 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 .void popFront()
0820: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 /*@property*/..
0830: 7b 0a 09 09 73 74 64 2e 65 78 63 65 70 74 69 6f {...std.exceptio
0840: 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 65 6e n.enforce(curren
0850: 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 61 6c t, "Lexer has al
0860: 72 65 61 64 79 20 72 65 61 63 68 65 64 20 74 68 ready reached th
0870: 65 20 65 6e 64 22 29 3b 0a 09 09 63 75 72 72 65 e end");...curre
0880: 6e 74 20 3d 20 72 65 61 64 4e 65 78 74 28 29 3b nt = readNext();
0890: 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 ..}.../// Range
08a0: 70 72 69 6d 69 74 69 76 65 0a 09 74 79 70 65 6f primitive..typeo
08b0: 66 28 74 68 69 73 29 20 73 61 76 65 28 29 20 2f f(this) save() /
08c0: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a *@property*/..{.
08d0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 74 79 70 ..return new typ
08e0: 65 6f 66 28 74 68 69 73 29 28 72 65 61 64 65 72 eof(this)(reader
08f0: 2e 73 61 76 65 2c 20 63 75 72 72 65 6e 74 29 3b .save, current);
0900: 0a 09 7d 0a 0a 70 72 69 76 61 74 65 3a 20 2f 2f ..}..private: //
0910: 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 0a implementation.
0920: 0a 09 52 65 61 64 65 72 20 72 65 61 64 65 72 3b ..Reader reader;
0930: 0a 09 54 6f 6b 65 6e 20 20 63 75 72 72 65 6e 74 ..Token current
0940: 3b 0a 0a 09 69 6e 76 61 72 69 61 6e 74 28 29 0a ;...invariant().
0950: 09 7b 0a 09 09 61 73 73 65 72 74 28 20 72 65 61 .{...assert( rea
0960: 64 65 72 2e 65 6d 70 74 79 20 7c 7c 20 21 69 73 der.empty || !is
0970: 53 70 61 63 65 28 72 65 61 64 65 72 2e 66 72 6f Space(reader.fro
0980: 6e 74 29 20 29 3b 0a 09 7d 0a 0a 09 74 68 69 73 nt) );..}...this
0990: 28 20 52 65 61 64 65 72 20 72 65 61 64 65 72 2c ( Reader reader,
09a0: 20 54 6f 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d Token current =
09b0: 20 6e 75 6c 6c 20 29 0a 09 7b 0a 09 09 74 68 69 null )..{...thi
09c0: 73 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 65 s.reader = reade
09d0: 72 3b 0a 09 09 72 65 61 64 57 68 69 6c 65 21 69 r;...readWhile!i
09e0: 73 53 70 61 63 65 28 29 3b 0a 09 09 74 68 69 73 sSpace();...this
09f0: 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 75 72 72 .current = (curr
0a00: 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72 65 ent is null ? re
0a10: 61 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72 65 adNext() : curre
0a20: 6e 74 29 3b 0a 09 7d 0a 0a 09 70 75 62 6c 69 63 nt);..}...public
0a30: 20 73 74 61 74 69 63 0a 09 7b 0a 09 09 62 6f 6f static..{...boo
0a40: 6c 20 69 73 53 70 61 63 65 20 20 20 28 64 63 68 l isSpace (dch
0a50: 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 73 ar c) { return s
0a60: 74 64 2e 63 74 79 70 65 2e 69 73 73 70 61 63 65 td.ctype.isspace
0a70: 28 63 29 21 3d 30 3b 20 7d 0a 09 09 62 6f 6f 6c (c)!=0; }...bool
0a80: 20 69 73 53 79 6d 62 6f 6c 20 20 28 64 63 68 61 isSymbol (dcha
0a90: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 30 78 r c) { return 0x
0aa0: 32 31 3c 3d 63 20 26 26 20 63 3c 3d 30 78 37 66 21<=c && c<=0x7f
0ab0: 20 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e 69 && !std.ctype.i
0ac0: 73 61 6c 6e 75 6d 28 63 29 20 26 26 20 63 21 3d salnum(c) && c!=
0ad0: 27 5f 27 20 26 26 20 63 21 3d 27 5c 27 27 3b 20 '_' && c!='\'';
0ae0: 7d 0a 09 09 62 6f 6f 6c 20 69 73 53 53 79 6d 62 }...bool isSSymb
0af0: 6f 6c 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 ol (dchar c) { r
0b00: 65 74 75 72 6e 20 22 28 29 5b 5d 7b 7d 3b 2c 40 eturn "()[]{};,@
0b10: 22 2e 63 61 6e 46 69 6e 64 28 63 29 3b 20 7d 0a ".canFind(c); }.
0b20: 09 09 62 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f 6c ..bool isMSymbol
0b30: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0b40: 75 72 6e 20 69 73 53 79 6d 62 6f 6c 28 63 29 20 urn isSymbol(c)
0b50: 26 26 20 21 69 73 53 53 79 6d 62 6f 6c 28 63 29 && !isSSymbol(c)
0b60: 20 26 26 20 63 21 3d 27 22 27 20 26 26 20 63 21 && c!='"' && c!
0b70: 3d 27 23 27 3b 20 7d 0a 09 09 62 6f 6f 6c 20 69 ='#'; }...bool i
0b80: 73 4c 65 74 74 65 72 20 20 28 64 63 68 61 72 20 sLetter (dchar
0b90: 63 29 20 7b 20 72 65 74 75 72 6e 20 21 69 73 53 c) { return !isS
0ba0: 70 61 63 65 28 63 29 20 26 26 20 21 69 73 53 79 pace(c) && !isSy
0bb0: 6d 62 6f 6c 28 63 29 3b 20 7d 0a 09 7d 0a 0a 09 mbol(c); }..}...
0bc0: 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 string readQuote
0bd0: 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 d(const LexPosit
0be0: 69 6f 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 ion pos){char[]
0bf0: 62 75 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 buf; return read
0c00: 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b Quoted(pos,buf);
0c10: 7d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 }..string readQu
0c20: 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f oted(const LexPo
0c30: 73 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 sition pos, ref
0c40: 63 68 61 72 5b 5d 20 62 75 66 29 0a 09 7b 0a 09 char[] buf)..{..
0c50: 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 74 .if( reader.empt
0c60: 79 20 29 0a 09 09 09 74 68 72 6f 77 20 67 65 6e y )....throw gen
0c70: 65 78 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 ex!UnexpectedEOF
0c80: 28 70 6f 73 2c 20 22 51 75 6f 74 65 64 20 73 74 (pos, "Quoted st
0c90: 72 69 6e 67 20 6e 6f 74 20 74 65 72 6d 69 6e 61 ring not termina
0ca0: 74 65 64 22 29 3b 0a 09 09 64 63 68 61 72 20 63 ted");...dchar c
0cb0: 20 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b = reader.front;
0cc0: 0a 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f ...reader.popFro
0cd0: 6e 74 3b 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 nt;...if( c == '
0ce0: 22 27 20 29 0a 09 09 09 72 65 74 75 72 6e 20 61 "' )....return a
0cf0: 73 73 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 ssumeUnique(buf)
0d00: 3b 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 5c 5c ;...if( c == '\\
0d10: 27 20 26 26 20 21 72 65 61 64 65 72 2e 65 6d 70 ' && !reader.emp
0d20: 74 79 20 29 20 7b 0a 09 09 09 69 66 28 20 72 65 ty ) {....if( re
0d30: 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 27 20 ader.front=='"'
0d40: 29 20 7b 0a 09 09 09 09 72 65 61 64 65 72 2e 70 ) {.....reader.p
0d50: 6f 70 46 72 6f 6e 74 3b 0a 09 09 09 09 72 65 74 opFront;.....ret
0d60: 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 urn readQuoted(p
0d70: 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 22 27 29 3b os,buf ~= '\"');
0d80: 0a 09 09 09 7d 0a 09 09 09 69 66 28 20 72 65 61 ....}....if( rea
0d90: 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c 5c 27 20 der.front=='\\'
0da0: 29 20 7b 0a 09 09 09 09 72 65 61 64 65 72 2e 70 ) {.....reader.p
0db0: 6f 70 46 72 6f 6e 74 3b 0a 09 09 09 09 72 65 74 opFront;.....ret
0dc0: 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 urn readQuoted(p
0dd0: 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 5c 27 29 3b os,buf ~= '\\');
0de0: 0a 09 09 09 7d 0a 09 09 7d 0a 09 09 72 65 74 75 ....}...}...retu
0df0: 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f rn readQuoted(po
0e00: 73 2c 62 75 66 20 7e 3d 20 63 29 3b 0a 09 7d 0a s,buf ~= c);..}.
0e10: 0a 09 73 74 72 69 6e 67 20 72 65 61 64 57 68 69 ..string readWhi
0e20: 6c 65 28 61 6c 69 61 73 20 66 6e 29 28 29 0a 09 le(alias fn)()..
0e30: 7b 0a 09 09 63 68 61 72 5b 5d 20 62 75 66 3b 0a {...char[] buf;.
0e40: 09 09 66 6f 72 28 3b 20 21 72 65 61 64 65 72 2e ..for(; !reader.
0e50: 65 6d 70 74 79 20 26 26 20 66 6e 28 72 65 61 64 empty && fn(read
0e60: 65 72 2e 66 72 6f 6e 74 29 3b 20 72 65 61 64 65 er.front); reade
0e70: 72 2e 70 6f 70 46 72 6f 6e 74 29 0a 09 09 09 62 r.popFront)....b
0e80: 75 66 20 7e 3d 20 72 65 61 64 65 72 2e 66 72 6f uf ~= reader.fro
0e90: 6e 74 3b 0a 09 09 72 65 74 75 72 6e 20 61 73 73 nt;...return ass
0ea0: 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0a umeUnique(buf);.
0eb0: 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 65 61 64 4e .}...Token readN
0ec0: 65 78 74 28 29 0a 09 7b 0a 09 09 69 66 28 20 72 ext()..{...if( r
0ed0: 65 61 64 65 72 2e 65 6d 70 74 79 20 29 0a 09 09 eader.empty )...
0ee0: 09 72 65 74 75 72 6e 20 6e 75 6c 6c 3b 0a 09 09 .return null;...
0ef0: 73 63 6f 70 65 28 73 75 63 63 65 73 73 29 0a 09 scope(success)..
0f00: 09 09 72 65 61 64 57 68 69 6c 65 21 69 73 53 70 ..readWhile!isSp
0f10: 61 63 65 28 29 3b 0a 09 09 69 66 28 20 72 65 61 ace();...if( rea
0f20: 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 23 27 der.front == '#'
0f30: 20 29 20 2f 2f 20 63 6f 6d 6d 65 6e 74 0a 09 09 ) // comment...
0f40: 7b 0a 09 09 09 72 65 61 64 65 72 20 3d 20 66 69 {....reader = fi
0f50: 6e 64 28 72 65 61 64 65 72 2c 20 27 5c 6e 27 29 nd(reader, '\n')
0f60: 3b 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 ;....readWhile!i
0f70: 73 53 70 61 63 65 28 29 3b 0a 09 09 09 72 65 74 sSpace();....ret
0f80: 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b 0a urn readNext();.
0f90: 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 72 ..}...else if( r
0fa0: 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 eader.front == '
0fb0: 22 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 0a 09 "' ) // quoted..
0fc0: 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d .{....auto pos =
0fd0: 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 reader.currentP
0fe0: 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 09 72 65 osition();....re
0ff0: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 ader.popFront;..
1000: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
1010: 65 6e 28 70 6f 73 2c 20 72 65 61 64 51 75 6f 74 en(pos, readQuot
1020: 65 64 28 70 6f 73 29 2c 20 74 72 75 65 29 3b 0a ed(pos), true);.
1030: 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 ..}...else if( i
1040: 73 53 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e sSSymbol(reader.
1050: 66 72 6f 6e 74 29 20 29 20 2f 2f 20 70 61 72 65 front) ) // pare
1060: 6e 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f n...{....auto po
1070: 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 s = reader.curre
1080: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 ntPosition();...
1090: 09 73 74 72 69 6e 67 20 73 3b 20 73 7e 3d 72 65 .string s; s~=re
10a0: 61 64 65 72 2e 66 72 6f 6e 74 3b 20 72 65 61 64 ader.front; read
10b0: 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 09 09 er.popFront;....
10c0: 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e return new Token
10d0: 28 70 6f 73 2c 20 73 2c 20 66 61 6c 73 65 29 3b (pos, s, false);
10e0: 0a 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 ...}...else if(
10f0: 69 73 4d 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 isMSymbol(reader
1100: 2e 66 72 6f 6e 74 29 20 29 20 2f 2f 20 73 79 6d .front) ) // sym
1110: 62 6f 6c 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 bol...{....auto
1120: 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 pos = reader.cur
1130: 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a rentPosition();.
1140: 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f ...return new To
1150: 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 ken(pos, readWhi
1160: 6c 65 21 69 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 le!isMSymbol(),
1170: 66 61 6c 73 65 29 3b 0a 09 09 7d 0a 09 09 65 6c false);...}...el
1180: 73 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 se...{....auto p
1190: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 os = reader.curr
11a0: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 entPosition();..
11b0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
11c0: 65 6e 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c en(pos, readWhil
11d0: 65 21 69 73 4c 65 74 74 65 72 28 29 2c 20 66 61 e!isLetter(), fa
11e0: 6c 73 65 29 3b 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a lse);...}..}.}..
11f0: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 unittest.{..asse
1200: 72 74 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 rt( std.range.is
1210: 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 4c 65 ForwardRange!(Le
1220: 78 65 72 29 20 29 3b 0a 09 61 73 73 65 72 74 28 xer) );..assert(
1230: 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 is(ElementType!
1240: 28 4c 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 6e (Lexer) == Token
1250: 29 20 29 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 ) );.}..unittest
1260: 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c .{..auto lex = l
1270: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 exerFromString("
1280: 74 68 69 73 09 69 73 20 61 20 5c 74 5c 72 5c 6e this.is a \t\r\n
1290: 20 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 22 29 pen :-( @@; ")
12a0: 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 ;..Token[] ts =
12b0: 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 std.array.array(
12c0: 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 lex);...assert_e
12d0: 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e q( ts[0].pos.lin
12e0: 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 eno, 1 );..asser
12f0: 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e t_eq( ts[0].pos.
1300: 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 column, 1 );..as
1310: 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 sert( !ts[0].q
1320: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1330: 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20 _eq( ts[0].str,
1340: 22 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 "this" );...asse
1350: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 rt_eq( ts[1].pos
1360: 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 .lineno, 1 );..a
1370: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e ssert_eq( ts[1].
1380: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b pos.column, 6 );
1390: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
13a0: 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 1].quoted );..as
13b0: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 sert_eq( ts[1].s
13c0: 74 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 61 73 tr, "is" );...as
13d0: 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 sert_eq( ts[2].p
13e0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
13f0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 .assert_eq( ts[2
1400: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 ].pos.column, 9
1410: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
1420: 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[2].quoted );..
1430: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d assert_eq( ts[2]
1440: 2e 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 09 61 .str, "a" );...a
1450: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e ssert_eq( ts[3].
1460: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b pos.lineno, 2 );
1470: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1480: 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 3].pos.column, 2
1490: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
14a0: 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[3].quoted );.
14b0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 .assert_eq( ts[3
14c0: 5d 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 3b 0a ].str, "pen" );.
14d0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
14e0: 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 4].pos.lineno, 2
14f0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1500: 74 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e ts[4].pos.column
1510: 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 6 );..assert_e
1520: 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 3a q( ts[4].str, ":
1530: 2d 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 -" );...assert_e
1540: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e q( ts[5].pos.lin
1550: 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 eno, 2 );..asser
1560: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e t_eq( ts[5].pos.
1570: 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a 09 61 73 column, 8 );..as
1580: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 sert_eq( ts[5].s
1590: 74 72 2c 20 22 28 22 20 29 3b 0a 09 61 73 73 65 tr, "(" );..asse
15a0: 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 rt_eq( ts[6].str
15b0: 2c 20 22 40 22 20 29 3b 0a 09 61 73 73 65 72 74 , "@" );..assert
15c0: 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 _eq( ts[7].str,
15d0: 22 40 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 "@" );..assert_e
15e0: 71 28 20 74 73 5b 38 5d 2e 73 74 72 2c 20 22 3b q( ts[8].str, ";
15f0: 22 20 29 3b 20 2f 2f 20 70 61 72 65 6e 20 61 6e " ); // paren an
1600: 64 20 73 69 6d 69 63 6f 6c 6f 6e 73 2c 20 61 74 d simicolons, at
1610: 6d 61 72 6b 73 20 61 72 65 20 73 70 6c 69 74 0a marks are split.
1620: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e ..assert_eq( ts.
1630: 6c 65 6e 67 74 68 2c 20 39 20 29 3b 0a 7d 0a 0a length, 9 );.}..
1640: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 2f 2f 20 21 unittest.{..// !
1650: 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 75 6e ! be sure to run
1660: 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 6f 6e the unittest on
1670: 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 68 65 the root of the
1680: 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 6f 72 source director
1690: 79 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d 20 6c y..auto lexf = l
16a0: 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 70 6f exerFromFile("po
16b0: 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 0a 09 lemy/lex.d");...
16c0: 6c 65 78 66 20 3d 20 66 69 6e 64 21 60 61 2e 73 lexf = find!`a.s
16d0: 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 60 28 tr == "module"`(
16e0: 6c 65 78 66 29 3b 0a 09 61 73 73 65 72 74 5f 65 lexf);..assert_e
16f0: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 q( lexf.front.st
1700: 72 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b 0a 09 r, "module" );..
1710: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e assert_eq( lexf.
1720: 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e 61 front.pos.filena
1730: 6d 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e me, "polemy/lex.
1740: 64 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 d" );..assert_eq
1750: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 ( lexf.front.pos
1760: 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 .lineno, 7 );..a
1770: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
1780: 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c ront.pos.column,
1790: 20 31 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 1 );..lexf.popF
17a0: 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 71 ront;..assert_eq
17b0: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 ( lexf.front.str
17c0: 2c 20 22 70 6f 6c 65 6d 79 22 20 29 3b 0a 09 61 , "polemy" );..a
17d0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
17e0: 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c ront.pos.lineno,
17f0: 20 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 7 );..assert_eq
1800: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 ( lexf.front.pos
1810: 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c .column, 8 );..l
1820: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c exf.popFront;..l
1830: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c exf.popFront;..l
1840: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c exf.popFront;..l
1850: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 exf.popFront;..a
1860: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
1870: 72 6f 6e 74 2e 73 74 72 2c 20 22 69 6d 70 6f 72 ront.str, "impor
1880: 74 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 t" );..assert_eq
1890: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 ( lexf.front.pos
18a0: 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 .lineno, 8 );..a
18b0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
18c0: 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c ront.pos.column,
18d0: 20 31 20 29 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 1 );.}..unittes
18e0: 74 0a 7b 0a 09 61 73 73 65 72 74 5f 74 68 72 6f t.{..assert_thro
18f0: 77 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 28 w!UnexpectedEOF(
1900: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
1910: 28 60 22 60 29 20 29 3b 0a 7d 0a 0a 75 6e 69 74 (`"`) );.}..unit
1920: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 test.{..auto lex
1930: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
1940: 6e 67 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 ng(`my # comment
1950: 20 73 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e should`~"\r\n"~
1960: 60 23 20 68 65 79 21 21 0a 62 65 20 69 67 6e 6f `# hey!!.be igno
1970: 72 65 64 2e 0a 68 61 68 61 68 61 22 68 69 68 69 red..hahaha"hihi
1980: 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 hi""hu\\\"huhu"#
1990: 31 32 33 20 61 61 0a 31 32 33 20 61 61 20 22 61 123 aa.123 aa "a
19a0: 61 61 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 20 aa`~"\n"~`bbb #
19b0: 31 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 123`~"\r\n"~`eee
19c0: 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e ".zzz.`);..Token
19d0: 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 [] ts = std.arra
19e0: 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 61 y.array(lex);..a
19f0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e ssert_eq( ts[0].
1a00: 73 74 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 73 str, "my" );..as
1a10: 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 sert_eq( ts[0].p
1a20: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
1a30: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 .assert( !ts[0
1a40: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
1a50: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 ert_eq( ts[1].st
1a60: 72 2c 20 22 62 65 22 20 29 3b 0a 09 61 73 73 65 r, "be" );..asse
1a70: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 rt_eq( ts[1].pos
1a80: 2e 6c 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 .lineno, 3 );..a
1a90: 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e ssert( !ts[1].
1aa0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1ab0: 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c t_eq( ts[2].str,
1ac0: 20 22 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 61 "ignored" );..a
1ad0: 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e ssert( !ts[2].
1ae0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1af0: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c t_eq( ts[3].str,
1b00: 20 22 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 28 "." );..assert(
1b10: 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 !ts[3].quoted
1b20: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1b30: 74 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 61 ts[4].str, "haha
1b40: 68 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ha" );..assert_e
1b50: 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e q( ts[4].pos.lin
1b60: 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 eno, 4 );..asser
1b70: 74 28 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f 74 t( !ts[4].quot
1b80: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
1b90: 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 69 ( ts[5].str, "hi
1ba0: 68 69 68 69 22 20 29 3b 0a 09 61 73 73 65 72 74 hihi" );..assert
1bb0: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c _eq( ts[5].pos.l
1bc0: 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 ineno, 4 );..ass
1bd0: 65 72 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 75 ert( ts[5].qu
1be0: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
1bf0: 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 60 eq( ts[6].str, `
1c00: 68 75 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 73 hu\"huhu` );..as
1c10: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 sert_eq( ts[6].p
1c20: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a os.lineno, 4 );.
1c30: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 36 .assert( ts[6
1c40: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
1c50: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 ert_eq( ts[7].st
1c60: 72 2c 20 22 31 32 33 22 20 29 3b 0a 09 61 73 73 r, "123" );..ass
1c70: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 6f ert_eq( ts[7].po
1c80: 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 s.lineno, 5 );..
1c90: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d assert_eq( ts[8]
1ca0: 2e 73 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 61 .str, "aa" );..a
1cb0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e ssert_eq( ts[9].
1cc0: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b pos.lineno, 5 );
1cd0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1ce0: 39 5d 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 9].str, "aaa\nbb
1cf0: 62 20 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b b # 123\neee" );
1d00: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b ..assert( ts[
1d10: 39 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 9].quoted );..as
1d20: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e sert_eq( ts[10].
1d30: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b pos.lineno, 8 );
1d40: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
1d50: 31 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 10].quoted );..a
1d60: 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e ssert_eq( ts.len
1d70: 67 74 68 2c 20 31 31 20 29 3b 0a 7d 0a 0a 75 6e gth, 11 );.}..un
1d80: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c ittest.{..auto l
1d90: 65 78 32 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 ex2 = lexerFromS
1da0: 74 72 69 6e 67 28 22 20 61 31 32 5c 6e 33 61 20 tring(" a12\n3a
1db0: 35 20 22 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 5 ");..assert_eq
1dc0: 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 ( lex2.front.str
1dd0: 2c 20 22 61 31 32 22 20 29 3b 0a 09 6c 65 78 32 , "a12" );..lex2
1de0: 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 75 74 6f .popFront;..auto
1df0: 20 6c 65 78 33 20 3d 20 6c 65 78 32 2e 73 61 76 lex3 = lex2.sav
1e00: 65 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c e;..assert_eq( l
1e10: 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 ex2.front.str, "
1e20: 33 61 22 20 29 3b 0a 09 6c 65 78 32 2e 70 6f 70 3a" );..lex2.pop
1e30: 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 Front;..assert_e
1e40: 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 q( lex3.front.st
1e50: 72 2c 20 22 33 61 22 20 29 3b 0a 09 61 73 73 65 r, "3a" );..asse
1e60: 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e rt_eq( lex2.fron
1e70: 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0a 09 6c t.str, "5" );..l
1e80: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c ex2.popFront;..l
1e90: 65 78 33 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 ex3.popFront;..a
1ea0: 73 73 65 72 74 28 20 6c 65 78 32 2e 65 6d 70 74 ssert( lex2.empt
1eb0: 79 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 6c y );..assert( !l
1ec0: 65 78 33 2e 65 6d 70 74 79 20 29 3b 0a 09 61 73 ex3.empty );..as
1ed0: 73 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 sert_eq( lex3.fr
1ee0: 6f 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0a ont.str, "5" );.
1ef0: 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 }..unittest.{..a
1f00: 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 uto lex = lexerF
1f10: 72 6f 6d 53 74 72 69 6e 67 28 60 3d 22 22 60 29 romString(`=""`)
1f20: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 ;..assert_eq(lex
1f30: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 3d 22 29 .front.str, "=")
1f40: 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0a ; lex.popFront;.
1f50: 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 2e 66 .assert_eq(lex.f
1f60: 72 6f 6e 74 2e 73 74 72 2c 20 22 22 29 3b 20 6c ront.str, ""); l
1f70: 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 ex.popFront;..as
1f80: 73 65 72 74 28 20 6c 65 78 2e 65 6d 70 74 79 20 sert( lex.empty
1f90: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1fa0: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 exerFromString(`
1fb0: 2d 40 60 29 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 -@`).front.str,
1fc0: 22 2d 22 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 46 6f "-" );.}../// Fo
1fd0: 72 77 61 72 64 20 72 61 6e 67 65 20 66 6f 72 20 rward range for
1fe0: 72 65 61 64 65 72 20 63 68 61 72 61 63 74 65 72 reader character
1ff0: 20 62 79 20 63 68 61 72 61 63 74 65 72 2c 0a 2f by character,./
2000: 2f 2f 20 6b 65 65 70 69 6e 67 20 74 72 61 63 6b // keeping track
2010: 20 6f 66 20 70 6f 73 69 74 69 6f 6e 20 69 6e 66 of position inf
2020: 6f 72 6d 61 74 69 6f 6e 20 61 6e 64 20 63 61 72 ormation and car
2030: 69 6e 67 20 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 ing \r\n -> \n c
2040: 6f 6e 76 65 72 73 69 6f 6e 2e 0a 0a 73 74 72 75 onversion...stru
2050: 63 74 20 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 ct PositionedRea
2060: 64 65 72 28 43 68 61 72 53 65 71 29 0a 09 69 66 der(CharSeq)..if
2070: 28 20 69 73 46 6f 72 77 61 72 64 52 61 6e 67 65 ( isForwardRange
2080: 21 28 43 68 61 72 53 65 71 29 20 26 26 20 69 73 !(CharSeq) && is
2090: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 43 68 (ElementType!(Ch
20a0: 61 72 53 65 71 29 3d 3d 64 63 68 61 72 29 20 29 arSeq)==dchar) )
20b0: 0a 7b 0a 09 43 68 61 72 53 65 71 20 62 75 66 66 .{..CharSeq buff
20c0: 65 72 3b 0a 09 73 74 72 69 6e 67 20 20 66 69 6c er;..string fil
20d0: 65 6e 61 6d 65 3b 0a 09 69 6e 74 20 20 20 20 20 ename;..int
20e0: 6c 69 6e 65 6e 6f 3b 0a 09 69 6e 74 20 20 20 20 lineno;..int
20f0: 20 63 6f 6c 75 6d 6e 3b 0a 0a 09 2f 2f 2f 20 52 column;.../// R
2100: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 ange primitive..
2110: 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 bool empty() /*@
2120: 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 property*/..{...
2130: 72 65 74 75 72 6e 20 62 75 66 66 65 72 2e 65 6d return buffer.em
2140: 70 74 79 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 pty;..}.../// Ra
2150: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 64 nge primitive..d
2160: 63 68 61 72 20 66 72 6f 6e 74 28 29 20 2f 2a 40 char front() /*@
2170: 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 property*/..{...
2180: 64 63 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 dchar c = buffer
2190: 2e 66 72 6f 6e 74 3b 0a 09 09 72 65 74 75 72 6e .front;...return
21a0: 20 28 63 3d 3d 27 5c 72 27 20 3f 20 27 5c 6e 27 (c=='\r' ? '\n'
21b0: 20 3a 20 63 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 : c);..}...///
21c0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a Range primitive.
21d0: 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 .void popFront()
21e0: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 /*@property*/..
21f0: 7b 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75 {...dchar c = bu
2200: 66 66 65 72 2e 66 72 6f 6e 74 3b 0a 09 09 62 75 ffer.front;...bu
2210: 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 ffer.popFront;..
2220: 09 69 66 28 20 63 3d 3d 27 5c 72 27 20 29 0a 09 .if( c=='\r' )..
2230: 09 7b 0a 09 09 09 69 66 28 20 21 62 75 66 66 65 .{....if( !buffe
2240: 72 2e 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 r.empty && buffe
2250: 72 2e 66 72 6f 6e 74 3d 3d 27 5c 6e 27 20 29 0a r.front=='\n' ).
2260: 09 09 09 09 62 75 66 66 65 72 2e 70 6f 70 46 72 ....buffer.popFr
2270: 6f 6e 74 3b 0a 09 09 09 63 20 3d 20 27 5c 6e 27 ont;....c = '\n'
2280: 3b 0a 09 09 7d 0a 09 09 69 66 28 20 63 3d 3d 27 ;...}...if( c=='
2290: 5c 6e 27 20 29 0a 09 09 7b 0a 09 09 09 6c 69 6e \n' )...{....lin
22a0: 65 6e 6f 20 2b 2b 3b 09 0a 09 09 09 63 6f 6c 75 eno ++;.....colu
22b0: 6d 6e 20 3d 20 31 3b 0a 09 09 7d 0a 09 09 65 6c mn = 1;...}...el
22c0: 73 65 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b se....column ++;
22d0: 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 ..}.../// Range
22e0: 70 72 69 6d 69 74 69 76 65 0a 09 74 79 70 65 6f primitive..typeo
22f0: 66 28 74 68 69 73 29 20 73 61 76 65 28 29 20 2f f(this) save() /
2300: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a *@property*/..{.
2310: 09 09 72 65 74 75 72 6e 20 74 68 69 73 3b 0a 09 ..return this;..
2320: 7d 0a 0a 09 2f 2f 2f 20 47 65 74 20 74 68 65 20 }.../// Get the
2330: 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69 6f 6e current position
2340: 0a 09 4c 65 78 50 6f 73 69 74 69 6f 6e 20 63 75 ..LexPosition cu
2350: 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 20 rrentPosition()
2360: 63 6f 6e 73 74 0a 09 7b 0a 09 09 72 65 74 75 72 const..{...retur
2370: 6e 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f n new LexPositio
2380: 6e 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 n(filename, line
2390: 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0a 09 7d 0a no, column);..}.
23a0: 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 }..unittest.{..a
23b0: 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72 64 ssert( isForward
23c0: 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e 65 Range!(Positione
23d0: 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 dReader!string)
23e0: 29 3b 0a 09 61 73 73 65 72 74 28 20 69 73 28 45 );..assert( is(E
23f0: 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f 73 69 lementType!(Posi
2400: 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 72 tionedReader!str
2410: 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29 20 29 ing) == dchar) )
2420: 3b 0a 09 7b 0a 09 09 61 75 74 6f 20 70 72 20 3d ;..{...auto pr =
2430: 20 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 PositionedReade
2440: 72 21 73 74 72 69 6e 67 28 22 61 62 63 22 2c 22 r!string("abc","
2450: 22 2c 31 2c 31 29 3b 0a 09 09 61 73 73 65 72 74 ",1,1);...assert
2460: 5f 65 71 28 70 72 2e 63 75 72 72 65 6e 74 50 6f _eq(pr.currentPo
2470: 73 69 74 69 6f 6e 28 29 2e 63 6f 6c 75 6d 6e 2c sition().column,
2480: 20 31 29 3b 20 70 72 2e 70 6f 70 46 72 6f 6e 74 1); pr.popFront
2490: 3b 0a 09 09 61 73 73 65 72 74 5f 65 71 28 70 72 ;...assert_eq(pr
24a0: 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e .currentPosition
24b0: 28 29 2e 63 6f 6c 75 6d 6e 2c 20 32 29 3b 20 70 ().column, 2); p
24c0: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 09 61 73 r.popFront;...as
24d0: 73 65 72 74 5f 65 71 28 70 72 2e 63 75 72 72 65 sert_eq(pr.curre
24e0: 6e 74 50 6f 73 69 74 69 6f 6e 28 29 2e 63 6f 6c ntPosition().col
24f0: 75 6d 6e 2c 20 33 29 3b 20 70 72 2e 70 6f 70 46 umn, 3); pr.popF
2500: 72 6f 6e 74 3b 0a 09 7d 0a 09 7b 0a 09 09 61 75 ront;..}..{...au
2510: 74 6f 20 70 72 20 3d 20 50 6f 73 69 74 69 6f 6e to pr = Position
2520: 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 28 edReader!string(
2530: 22 5c 6e 5c 72 5c 6e 5c 6e 22 2c 22 22 2c 31 2c "\n\r\n\n","",1,
2540: 31 29 3b 0a 09 09 61 73 73 65 72 74 5f 65 71 28 1);...assert_eq(
2550: 70 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 pr.currentPositi
2560: 6f 6e 28 29 2e 6c 69 6e 65 6e 6f 2c 20 31 29 3b on().lineno, 1);
2570: 20 70 72 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 09 pr.popFront;...
2580: 61 73 73 65 72 74 5f 65 71 28 70 72 2e 63 75 72 assert_eq(pr.cur
2590: 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 2e 6c rentPosition().l
25a0: 69 6e 65 6e 6f 2c 20 32 29 3b 20 70 72 2e 70 6f ineno, 2); pr.po
25b0: 70 46 72 6f 6e 74 3b 0a 09 09 61 73 73 65 72 74 pFront;...assert
25c0: 5f 65 71 28 70 72 2e 63 75 72 72 65 6e 74 50 6f _eq(pr.currentPo
25d0: 73 69 74 69 6f 6e 28 29 2e 6c 69 6e 65 6e 6f 2c sition().lineno,
25e0: 20 33 29 3b 20 70 72 2e 70 6f 70 46 72 6f 6e 74 3); pr.popFront
25f0: 3b 0a 09 7d 0a 7d 0a ;..}.}.