0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0d 0a 69 6d 70 6f 72 74 20 70 ommon;..import p
00b0: 6f 6c 65 6d 79 2e 66 61 69 6c 75 72 65 3b 0a 69 olemy.failure;.i
00c0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 20 mport std.file
00d0: 3a 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f : readText;.impo
00e0: 72 74 20 73 74 64 2e 63 74 79 70 65 20 3a 20 69 rt std.ctype : i
00f0: 73 73 70 61 63 65 2c 20 69 73 61 6c 6e 75 6d 3b sspace, isalnum;
0100: 0d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e ..../// Represen
0110: 74 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e ts a lexer token
0120: 0a 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a ..class Token.{.
0130: 09 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f .immutable LexPo
0140: 73 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f sition pos; /
0150: 2f 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 72 // Position wher
0160: 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75 e the token occu
0170: 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 72 rred in the sour
0180: 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 ce..immutable st
0190: 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 20 ring str;
01a0: 20 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20 /// The token
01b0: 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 69 string itself..i
01c0: 6d 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20 mmutable bool
01d0: 20 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f quoted; ///
01e0: 20 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 65 Was it a "quote
01f0: 64 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75 d" token or unqu
0200: 6f 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69 oted?...mixin Si
0210: 6d 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e mpleClass;.}..un
0220: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 ittest.{..auto p
0230: 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 = new LexPositi
0240: 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 on("hello.cpp",
0250: 31 32 33 2c 20 34 35 29 3b 0a 09 61 75 74 6f 20 123, 45);..auto
0260: 74 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c t = new Token(p,
0270: 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 65 29 "class", false)
0280: 3b 0a 09 61 75 74 6f 20 75 20 3d 20 6e 65 77 20 ;..auto u = new
0290: 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 Token(p, "class"
02a0: 2c 20 74 72 75 65 29 3b 0a 0a 09 61 73 73 65 72 , true);...asser
02b0: 74 5f 65 71 28 20 74 2e 70 6f 73 2c 20 70 20 29 t_eq( t.pos, p )
02c0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2e ;..assert_eq( t.
02d0: 73 74 72 2c 20 22 63 6c 61 73 73 22 20 29 3b 0a str, "class" );.
02e0: 09 61 73 73 65 72 74 28 20 21 74 2e 71 75 6f 74 .assert( !t.quot
02f0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
0300: 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 70 ( t, new Token(p
0310: 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 65 , "class", false
0320: 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6c 74 28 ) );..assert_lt(
0330: 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c t, new Token(p,
0340: 20 22 73 74 72 75 63 74 22 2c 20 66 61 6c 73 65 "struct", false
0350: 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6e 65 28 ) );..assert_ne(
0360: 20 74 2c 20 75 20 29 3b 0a 09 61 73 73 65 72 74 t, u );..assert
0370: 28 20 75 2e 71 75 6f 74 65 64 20 29 3b 0a 0a 09 ( u.quoted );...
0380: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0390: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 s(compiles, new
03a0: 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 73 73 65 72 Token) );..asser
03b0: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
03c0: 70 69 6c 65 73 2c 20 74 2e 70 6f 73 3d 70 29 20 piles, t.pos=p)
03d0: 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 );..assert( !__t
03e0: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 raits(compiles,
03f0: 74 2e 73 74 72 3d 37 38 39 29 20 29 3b 0a 09 61 t.str=789) );..a
0400: 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 ssert( !__traits
0410: 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 71 75 6f (compiles, t.quo
0420: 74 65 64 3d 74 72 75 65 29 20 29 3b 0a 7d 0a 0a ted=true) );.}..
0430: 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 /// Named Constr
0440: 75 74 6f 72 73 20 66 6f 72 20 4c 65 78 65 72 0a utors for Lexer.
0450: 0a 4c 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d .Lexer lexerFrom
0460: 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 72 69 File(T...)( stri
0470: 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 20 6c ng filename, T l
0480: 6e 5f 63 6e 20 29 0a 7b 0a 09 72 65 74 75 72 6e n_cn ).{..return
0490: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
04a0: 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 64 54 ( std.file.readT
04b0: 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c 20 66 ext(filename), f
04c0: 69 6c 65 6e 61 6d 65 2c 20 6c 6e 5f 63 6e 20 29 ilename, ln_cn )
04d0: 3b 0a 7d 0a 09 0a 2f 2f 2f 20 4e 61 6d 65 64 20 ;.}.../// Named
04e0: 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 20 4c Construtor for L
04f0: 65 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 54 21 28 exer....LexerT!(
0500: 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 PositionedReader
0510: 21 43 68 61 72 53 65 71 29 20 2f 2a 20 64 64 6f !CharSeq) /* ddo
0520: 63 20 64 6f 65 73 6e 27 74 20 72 65 63 6f 67 6e c doesn't recogn
0530: 69 7a 65 20 61 75 74 6f 20 72 65 74 75 72 6e 2e ize auto return.
0540: 2e 2e 20 62 75 67 7a 69 6c 6c 61 3a 32 35 38 31 .. bugzilla:2581
0550: 20 2a 2f 0d 0a 6c 65 78 65 72 46 72 6f 6d 53 74 */..lexerFromSt
0560: 72 69 6e 67 28 43 68 61 72 53 65 71 29 28 20 43 ring(CharSeq)( C
0570: 68 61 72 53 65 71 20 73 74 72 2c 20 73 74 72 69 harSeq str, stri
0580: 6e 67 20 66 69 6c 65 6e 61 6d 65 3d 22 3c 75 6e ng filename="<un
0590: 6e 61 6d 65 64 3e 22 2c 20 69 6e 74 20 6c 69 6e named>", int lin
05a0: 65 6e 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c 75 6d eno=1, int colum
05b0: 6e 3d 31 20 29 0a 7b 0a 20 09 72 65 74 75 72 6e n=1 ).{. .return
05c0: 20 6e 65 77 20 4c 65 78 65 72 54 21 28 50 6f 73 new LexerT!(Pos
05d0: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 itionedReader!Ch
05e0: 61 72 53 65 71 29 28 0d 0a 09 09 50 6f 73 69 74 arSeq)(....Posit
05f0: 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72 ionedReader!Char
0600: 53 65 71 28 73 74 72 2c 20 66 69 6c 65 6e 61 6d Seq(str, filenam
0610: 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d e, lineno, colum
0620: 6e 29 0d 0a 09 29 3b 0a 7d 0a 0a 2f 2f 2f 20 53 n)...);.}../// S
0630: 74 61 6e 64 61 72 64 20 4c 65 78 65 72 20 54 79 tandard Lexer Ty
0640: 70 65 20 28 61 6c 6c 20 79 6f 75 20 68 61 76 65 pe (all you have
0650: 20 74 6f 20 6b 6e 6f 77 20 69 73 20 74 68 61 74 to know is that
0660: 20 74 68 69 73 20 69 73 20 61 20 66 6f 72 77 61 this is a forwa
0670: 72 64 20 72 61 6e 67 65 20 6f 66 20 54 6f 6b 65 rd range of Toke
0680: 6e 73 21 29 0d 0a 0d 0a 61 6c 69 61 73 20 4c 65 ns!)....alias Le
0690: 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64 xerT!(Positioned
06a0: 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 4c Reader!string) L
06b0: 65 78 65 72 3b 0a 0a 2f 2f 2f 20 4c 65 78 65 72 exer;../// Lexer
06c0: 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 0d Implementation.
06d0: 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 65 72 54 28 ...class LexerT(
06e0: 52 65 61 64 65 72 29 0d 0a 09 69 66 28 20 69 73 Reader)...if( is
06f0: 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 52 65 ForwardRange!(Re
0700: 61 64 65 72 29 20 26 26 20 69 73 28 45 6c 65 6d ader) && is(Elem
0710: 65 6e 74 54 79 70 65 21 28 52 65 61 64 65 72 29 entType!(Reader)
0720: 3d 3d 64 63 68 61 72 29 20 29 0a 7b 0a 09 2f 2f ==dchar) ).{..//
0730: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
0740: 65 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 e..bool empty()
0750: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b /*@property*/..{
0760: 0a 09 09 72 65 74 75 72 6e 20 63 75 72 72 65 6e ...return curren
0770: 74 20 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 t is null;..}...
0780: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
0790: 69 76 65 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 ive..Token front
07a0: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
07b0: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 73 74 64 ..{...return std
07c0: 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 .exception.enfor
07d0: 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 ce(current, "Lex
07e0: 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 er has already r
07f0: 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 eached the end")
0800: 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 ;..}.../// Range
0810: 20 70 72 69 6d 69 74 69 76 65 0a 09 76 6f 69 64 primitive..void
0820: 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 popFront() /*@p
0830: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 73 roperty*/..{...s
0840: 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 td.exception.enf
0850: 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c orce(current, "L
0860: 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 exer has already
0870: 20 72 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 reached the end
0880: 22 29 3b 0a 09 09 63 75 72 72 65 6e 74 20 3d 20 ");...current =
0890: 72 65 61 64 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a readNext();..}..
08a0: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
08b0: 74 69 76 65 0a 09 74 79 70 65 6f 66 28 74 68 69 tive..typeof(thi
08c0: 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 72 6f s) save() /*@pro
08d0: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 perty*/..{...ret
08e0: 75 72 6e 20 6e 65 77 20 74 79 70 65 6f 66 28 74 urn new typeof(t
08f0: 68 69 73 29 28 72 65 61 64 65 72 2e 73 61 76 65 his)(reader.save
0900: 2c 20 63 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a , current);..}..
0910: 70 72 69 76 61 74 65 3a 20 2f 2f 20 69 6d 70 6c private: // impl
0920: 65 6d 65 6e 74 61 74 69 6f 6e 0a 0a 09 52 65 61 ementation...Rea
0930: 64 65 72 20 72 65 61 64 65 72 3b 0a 09 54 6f 6b der reader;..Tok
0940: 65 6e 20 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 en current;...i
0950: 6e 76 61 72 69 61 6e 74 28 29 0a 09 7b 0a 09 09 nvariant()..{...
0960: 61 73 73 65 72 74 28 20 72 65 61 64 65 72 2e 65 assert( reader.e
0970: 6d 70 74 79 20 7c 7c 20 21 69 73 53 70 61 63 65 mpty || !isSpace
0980: 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 (reader.front) )
0990: 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 28 20 52 ;..}.....this( R
09a0: 65 61 64 65 72 20 72 65 61 64 65 72 2c 20 54 6f eader reader, To
09b0: 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d 20 6e 75 ken current = nu
09c0: 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 68 69 73 ll )...{....this
09d0: 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 65 72 .reader = reader
09e0: 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c 65 21 69 ;....readWhile!i
09f0: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 74 68 69 sSpace();....thi
0a00: 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 75 72 s.current = (cur
0a10: 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72 rent is null ? r
0a20: 65 61 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72 eadNext() : curr
0a30: 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 70 75 ent);...}.....pu
0a40: 62 6c 69 63 20 73 74 61 74 69 63 0d 0a 09 7b 0a blic static...{.
0a50: 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 20 20 ..bool isSpace
0a60: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0a70: 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e 69 73 urn std.ctype.is
0a80: 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d 0a 09 space(c)!=0; }..
0a90: 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c 20 20 .bool isSymbol
0aa0: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
0ab0: 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 63 3c rn 0x21<=c && c<
0ac0: 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e 63 74 =0x7f && !std.ct
0ad0: 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 20 26 ype.isalnum(c) &
0ae0: 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 3d 27 & c!='_' && c!='
0af0: 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 \''; }....bool i
0b00: 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 sSSymbol (dchar
0b10: 63 29 20 7b 20 72 65 74 75 72 6e 20 22 28 29 5b c) { return "()[
0b20: 5d 7b 7d 3b 40 22 2e 63 61 6e 46 69 6e 64 28 63 ]{};@".canFind(c
0b30: 29 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4d ); }....bool isM
0b40: 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 63 29 Symbol (dchar c)
0b50: 20 7b 20 72 65 74 75 72 6e 20 69 73 53 79 6d 62 { return isSymb
0b60: 6f 6c 28 63 29 20 26 26 20 21 69 73 53 53 79 6d ol(c) && !isSSym
0b70: 62 6f 6c 28 63 29 20 26 26 20 63 21 3d 27 22 27 bol(c) && c!='"'
0b80: 20 26 26 20 63 21 3d 27 23 27 3b 20 7d 0d 0a 09 && c!='#'; }...
0b90: 09 62 6f 6f 6c 20 69 73 4c 65 74 74 65 72 20 20 .bool isLetter
0ba0: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
0bb0: 72 6e 20 21 69 73 53 70 61 63 65 28 63 29 20 26 rn !isSpace(c) &
0bc0: 26 20 21 69 73 53 79 6d 62 6f 6c 28 63 29 3b 20 & !isSymbol(c);
0bd0: 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 69 6e 67 }...}.....string
0be0: 20 72 65 61 64 51 75 6f 74 65 64 28 63 6f 6e 73 readQuoted(cons
0bf0: 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f t LexPosition po
0c00: 73 29 7b 63 68 61 72 5b 5d 20 62 75 66 3b 20 72 s){char[] buf; r
0c10: 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 eturn readQuoted
0c20: 28 70 6f 73 2c 62 75 66 29 3b 7d 0d 0a 09 73 74 (pos,buf);}...st
0c30: 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 28 ring readQuoted(
0c40: 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f const LexPositio
0c50: 6e 20 70 6f 73 2c 20 72 65 66 20 63 68 61 72 5b n pos, ref char[
0c60: 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a 09 09 69 66 ] buf)...{....if
0c70: 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20 29 ( reader.empty )
0c80: 0d 0a 09 09 09 74 68 72 6f 77 20 67 65 6e 65 78 .....throw genex
0c90: 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 28 70 !UnexpectedEOF(p
0ca0: 6f 73 2c 20 22 51 75 6f 74 65 64 20 73 74 72 69 os, "Quoted stri
0cb0: 6e 67 20 6e 6f 74 20 74 65 72 6d 69 6e 61 74 65 ng not terminate
0cc0: 64 22 29 3b 0d 0a 09 09 64 63 68 61 72 20 63 20 d");....dchar c
0cd0: 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 0d = reader.front;.
0ce0: 0a 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f ...reader.popFro
0cf0: 6e 74 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d 20 nt;....if( c ==
0d00: 27 22 27 20 29 0d 0a 09 09 09 72 65 74 75 72 6e '"' ).....return
0d10: 20 61 73 73 75 6d 65 55 6e 69 71 75 65 28 62 75 assumeUnique(bu
0d20: 66 29 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d 20 f);....if( c ==
0d30: 27 5c 5c 27 20 26 26 20 21 72 65 61 64 65 72 2e '\\' && !reader.
0d40: 65 6d 70 74 79 20 29 20 7b 0d 0a 09 09 09 69 66 empty ) {.....if
0d50: 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d ( reader.front==
0d60: 27 22 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 '"' ) {......rea
0d70: 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 der.popFront;...
0d80: 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 ...return readQu
0d90: 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 oted(pos,buf ~=
0da0: 27 5c 22 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 '\"');.....}....
0db0: 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e .if( reader.fron
0dc0: 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d 0a 09 09 09 t=='\\' ) {.....
0dd0: 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 .reader.popFront
0de0: 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 ;......return re
0df0: 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 adQuoted(pos,buf
0e00: 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a 09 09 09 7d ~= '\\');.....}
0e10: 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e 20 ....}....return
0e20: 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 readQuoted(pos,b
0e30: 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 7d 0d 0a 0d uf ~= c);...}...
0e40: 0a 09 73 74 72 69 6e 67 20 72 65 61 64 57 68 69 ..string readWhi
0e50: 6c 65 28 61 6c 69 61 73 20 66 6e 29 28 29 0d 0a le(alias fn)()..
0e60: 09 7b 0d 0a 09 09 63 68 61 72 5b 5d 20 62 75 66 .{....char[] buf
0e70: 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 72 65 61 64 ;....for(; !read
0e80: 65 72 2e 65 6d 70 74 79 20 26 26 20 66 6e 28 72 er.empty && fn(r
0e90: 65 61 64 65 72 2e 66 72 6f 6e 74 29 3b 20 72 65 eader.front); re
0ea0: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 29 0d 0a ader.popFront)..
0eb0: 09 09 09 62 75 66 20 7e 3d 20 72 65 61 64 65 72 ...buf ~= reader
0ec0: 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 74 75 72 .front;....retur
0ed0: 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 28 62 n assumeUnique(b
0ee0: 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 6f 6b 65 6e uf);...}...Token
0ef0: 20 72 65 61 64 4e 65 78 74 28 29 0a 09 7b 0a 09 readNext()..{..
0f00: 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 74 .if( reader.empt
0f10: 79 20 29 0a 09 09 09 72 65 74 75 72 6e 20 6e 75 y )....return nu
0f20: 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 28 73 75 63 ll;....scope(suc
0f30: 63 65 73 73 29 0d 0a 09 09 09 72 65 61 64 57 68 cess).....readWh
0f40: 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b 0d 0a ile!isSpace();..
0f50: 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f ..if( reader.fro
0f60: 6e 74 20 3d 3d 20 27 23 27 20 29 20 2f 2f 20 63 nt == '#' ) // c
0f70: 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d 0a 09 09 09 omment....{.....
0f80: 72 65 61 64 65 72 20 3d 20 66 69 6e 64 28 72 65 reader = find(re
0f90: 61 64 65 72 2c 20 27 5c 6e 27 29 3b 0d 0a 09 09 ader, '\n');....
0fa0: 09 72 65 61 64 57 68 69 6c 65 21 69 73 53 70 61 .readWhile!isSpa
0fb0: 63 65 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e ce();.....return
0fc0: 20 72 65 61 64 4e 65 78 74 28 29 3b 0d 0a 09 09 readNext();....
0fd0: 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 72 65 61 }...else if( rea
0fe0: 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 22 27 der.front == '"'
0ff0: 20 29 20 2f 2f 20 71 75 6f 74 65 64 0d 0a 09 09 ) // quoted....
1000: 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d {.....auto pos =
1010: 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 reader.currentP
1020: 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 72 osition();.....r
1030: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d eader.popFront;.
1040: 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 ....return new T
1050: 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 51 75 oken(pos, readQu
1060: 6f 74 65 64 28 70 6f 73 29 2c 20 74 72 75 65 29 oted(pos), true)
1070: 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 20 69 ;....}....else i
1080: 66 28 20 69 73 53 53 79 6d 62 6f 6c 28 72 65 61 f( isSSymbol(rea
1090: 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f 2f 20 der.front) ) //
10a0: 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a 09 09 09 61 paren....{.....a
10b0: 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 72 uto pos = reader
10c0: 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e .currentPosition
10d0: 28 29 3b 0d 0a 09 09 09 73 74 72 69 6e 67 20 73 ();.....string s
10e0: 3b 20 73 7e 3d 72 65 61 64 65 72 2e 66 72 6f 6e ; s~=reader.fron
10f0: 74 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 72 6f t; reader.popFro
1100: 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e nt;.....return n
1110: 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 73 2c ew Token(pos, s,
1120: 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d 0d 0a 09 false);....}...
1130: 09 65 6c 73 65 20 69 66 28 20 69 73 4d 53 79 6d .else if( isMSym
1140: 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 bol(reader.front
1150: 29 20 29 20 2f 2f 20 73 79 6d 62 6f 6c 0d 0a 09 ) ) // symbol...
1160: 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d .{....auto pos =
1170: 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 reader.currentP
1180: 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 09 72 65 osition();....re
1190: 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 turn new Token(p
11a0: 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 69 73 os, readWhile!is
11b0: 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 61 6c 73 65 MSymbol(), false
11c0: 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 65 0a 09 09 );...}...else...
11d0: 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 {....auto pos =
11e0: 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f reader.currentPo
11f0: 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 sition();.....re
1200: 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 turn new Token(p
1210: 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 69 73 os, readWhile!is
1220: 4c 65 74 74 65 72 28 29 2c 20 66 61 6c 73 65 29 Letter(), false)
1230: 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a 75 6e 69 ;....}..}.}..uni
1240: 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 72 74 28 ttest.{..assert(
1250: 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 46 6f 72 std.range.isFor
1260: 77 61 72 64 52 61 6e 67 65 21 28 4c 65 78 65 72 wardRange!(Lexer
1270: 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 69 73 ) );..assert( is
1280: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 4c 65 (ElementType!(Le
1290: 78 65 72 29 20 3d 3d 20 54 6f 6b 65 6e 29 20 29 xer) == Token) )
12a0: 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b ;..}..unittest.{
12b0: 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 ..auto lex = lex
12c0: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 74 68 erFromString("th
12d0: 69 73 09 69 73 20 61 20 5c 74 5c 72 5c 6e 20 70 is.is a \t\r\n p
12e0: 65 6e 20 3a 2d 28 20 40 40 3b 20 20 22 29 3b 0a en :-( @@; ");.
12f0: 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 .Token[] ts = st
1300: 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 d.array.array(le
1310: 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 x);...assert_eq(
1320: 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[0].pos.linen
1330: 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f o, 1 );..assert_
1340: 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 63 6f eq( ts[0].pos.co
1350: 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 73 65 lumn, 1 );..asse
1360: 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f rt( !ts[0].quo
1370: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ted );..assert_e
1380: 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 74 q( ts[0].str, "t
1390: 68 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 his" );...assert
13a0: 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c _eq( ts[1].pos.l
13b0: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
13c0: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f ert_eq( ts[1].po
13d0: 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 s.column, 6 );..
13e0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d assert( !ts[1]
13f0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
1400: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 rt_eq( ts[1].str
1410: 2c 20 22 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 , "is" );...asse
1420: 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 rt_eq( ts[2].pos
1430: 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 .lineno, 1 );..a
1440: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e ssert_eq( ts[2].
1450: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 29 3b pos.column, 9 );
1460: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
1470: 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 2].quoted );..as
1480: 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 sert_eq( ts[2].s
1490: 74 72 2c 20 22 61 22 20 29 3b 0a 0a 09 61 73 73 tr, "a" );...ass
14a0: 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f ert_eq( ts[3].po
14b0: 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 s.lineno, 2 );..
14c0: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d assert_eq( ts[3]
14d0: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 20 29 .pos.column, 2 )
14e0: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
14f0: 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [3].quoted );..a
1500: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e ssert_eq( ts[3].
1510: 73 74 72 2c 20 22 70 65 6e 22 20 29 3b 0a 0a 09 str, "pen" );...
1520: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d assert_eq( ts[4]
1530: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 .pos.lineno, 2 )
1540: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1550: 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 [4].pos.column,
1560: 36 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 6 );..assert_eq(
1570: 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 3a 2d 22 ts[4].str, ":-"
1580: 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
1590: 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[5].pos.linen
15a0: 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 73 65 72 74 o, 2 );...assert
15b0: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 63 _eq( ts[5].pos.c
15c0: 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d 0a 09 61 73 olumn, 8 );...as
15d0: 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 sert_eq( ts[5].s
15e0: 74 72 2c 20 22 28 22 20 29 3b 0d 0a 09 61 73 73 tr, "(" );...ass
15f0: 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 ert_eq( ts[6].st
1600: 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 73 65 r, "@" );...asse
1610: 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 rt_eq( ts[7].str
1620: 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 73 65 72 , "@" );...asser
1630: 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72 2c t_eq( ts[8].str,
1640: 20 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 65 6e ";" ); // paren
1650: 20 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e 73 2c and simicolons,
1660: 20 61 74 6d 61 72 6b 73 20 61 72 65 20 73 70 6c atmarks are spl
1670: 69 74 0d 0a 0d 0a 09 61 73 73 65 72 74 5f 65 71 it.....assert_eq
1680: 28 20 74 73 2e 6c 65 6e 67 74 68 2c 20 39 20 29 ( ts.length, 9 )
1690: 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a ;.}..unittest.{.
16a0: 09 2f 2f 20 21 21 20 62 65 20 73 75 72 65 20 74 .// !! be sure t
16b0: 6f 20 72 75 6e 20 74 68 65 20 75 6e 69 74 74 65 o run the unitte
16c0: 73 74 20 6f 6e 20 74 68 65 20 72 6f 6f 74 20 6f st on the root o
16d0: 66 20 74 68 65 20 73 6f 75 72 63 65 20 64 69 72 f the source dir
16e0: 65 63 74 6f 72 79 0a 09 61 75 74 6f 20 6c 65 78 ectory..auto lex
16f0: 66 20 3d 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c f = lexerFromFil
1700: 65 28 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 e("polemy/lex.d"
1710: 29 3b 09 0a 09 6c 65 78 66 20 3d 20 66 69 6e 64 );...lexf = find
1720: 21 60 61 2e 73 74 72 20 3d 3d 20 22 6d 6f 64 75 !`a.str == "modu
1730: 6c 65 22 60 28 6c 65 78 66 29 3b 0a 09 61 73 73 le"`(lexf);..ass
1740: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f ert_eq( lexf.fro
1750: 6e 74 2e 73 74 72 2c 20 22 6d 6f 64 75 6c 65 22 nt.str, "module"
1760: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1770: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 lexf.front.pos.f
1780: 69 6c 65 6e 61 6d 65 2c 20 22 70 6f 6c 65 6d 79 ilename, "polemy
1790: 2f 6c 65 78 2e 64 22 20 29 3b 0a 09 61 73 73 65 /lex.d" );..asse
17a0: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
17b0: 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 t.pos.lineno, 7
17c0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
17d0: 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f exf.front.pos.co
17e0: 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 6c 65 78 66 lumn, 1 );..lexf
17f0: 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 .popFront;..asse
1800: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1810: 74 2e 73 74 72 2c 20 22 70 6f 6c 65 6d 79 22 20 t.str, "polemy"
1820: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1830: 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 exf.front.pos.li
1840: 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 neno, 7 );..asse
1850: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1860: 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 t.pos.column, 8
1870: 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e );..lexf.popFron
1880: 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e t;..lexf.popFron
1890: 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e t;..lexf.popFron
18a0: 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e t;..lexf.popFron
18b0: 74 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c t;..assert_eq( l
18c0: 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 exf.front.str, "
18d0: 69 6d 70 6f 72 74 22 20 29 3b 0a 09 61 73 73 65 import" );..asse
18e0: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
18f0: 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 t.pos.lineno, 8
1900: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1910: 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f exf.front.pos.co
1920: 6c 75 6d 6e 2c 20 31 20 29 3b 0a 7d 0a 0d 0a 75 lumn, 1 );.}...u
1930: 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 73 73 nittest..{...ass
1940: 65 72 74 5f 74 68 72 6f 77 21 55 6e 65 78 70 65 ert_throw!Unexpe
1950: 63 74 65 64 45 4f 46 28 20 6c 65 78 65 72 46 72 ctedEOF( lexerFr
1960: 6f 6d 53 74 72 69 6e 67 28 60 22 60 29 20 29 3b omString(`"`) );
1970: 0d 0a 7d 0d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b ..}...unittest.{
1980: 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 ..auto lex = lex
1990: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 6d 79 erFromString(`my
19a0: 20 23 20 63 6f 6d 6d 65 6e 74 20 73 68 6f 75 6c # comment shoul
19b0: 64 60 7e 22 5c 72 5c 6e 22 7e 60 23 20 68 65 79 d`~"\r\n"~`# hey
19c0: 21 21 0a 62 65 20 69 67 6e 6f 72 65 64 2e 0a 68 !!.be ignored..h
19d0: 61 68 61 68 61 22 68 69 68 69 68 69 22 22 68 75 ahaha"hihihi""hu
19e0: 5c 5c 5c 22 68 75 68 75 22 23 31 32 33 20 61 61 \\\"huhu"#123 aa
19f0: 0a 31 32 33 20 61 61 20 22 61 61 61 60 7e 22 5c .123 aa "aaa`~"\
1a00: 6e 22 7e 60 62 62 62 20 23 20 31 32 33 60 7e 22 n"~`bbb # 123`~"
1a10: 5c 72 5c 6e 22 7e 60 65 65 65 22 0a 7a 7a 7a 0a \r\n"~`eee".zzz.
1a20: 60 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 `);..Token[] ts
1a30: 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 = std.array.arra
1a40: 79 28 6c 65 78 29 3b 0a 09 61 73 73 65 72 74 5f y(lex);..assert_
1a50: 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 eq( ts[0].str, "
1a60: 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 my" );..assert_e
1a70: 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e q( ts[0].pos.lin
1a80: 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 eno, 1 );..asser
1a90: 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 t( !ts[0].quot
1aa0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
1ab0: 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 62 65 ( ts[1].str, "be
1ac0: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
1ad0: 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[1].pos.linen
1ae0: 6f 2c 20 33 20 29 3b 0a 09 61 73 73 65 72 74 28 o, 3 );..assert(
1af0: 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74 65 64 !ts[1].quoted
1b00: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1b10: 74 73 5b 32 5d 2e 73 74 72 2c 20 22 69 67 6e 6f ts[2].str, "igno
1b20: 72 65 64 22 20 29 3b 0a 09 61 73 73 65 72 74 28 red" );..assert(
1b30: 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 !ts[2].quoted
1b40: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1b50: 74 73 5b 33 5d 2e 73 74 72 2c 20 22 2e 22 20 29 ts[3].str, "." )
1b60: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ;..assert( !ts
1b70: 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 [3].quoted );..a
1b80: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e ssert_eq( ts[4].
1b90: 73 74 72 2c 20 22 68 61 68 61 68 61 22 20 29 3b str, "hahaha" );
1ba0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1bb0: 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 4].pos.lineno, 4
1bc0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
1bd0: 74 73 5b 34 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[4].quoted );.
1be0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 .assert_eq( ts[5
1bf0: 5d 2e 73 74 72 2c 20 22 68 69 68 69 68 69 22 20 ].str, "hihihi"
1c00: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1c10: 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[5].pos.lineno,
1c20: 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 4 );..assert(
1c30: 20 20 74 73 5b 35 5d 2e 71 75 6f 74 65 64 20 29 ts[5].quoted )
1c40: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
1c50: 5b 36 5d 2e 73 74 72 2c 20 60 68 75 5c 22 68 75 [6].str, `hu\"hu
1c60: 68 75 60 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 hu` );..assert_e
1c70: 71 28 20 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69 6e q( ts[6].pos.lin
1c80: 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 eno, 4 );..asser
1c90: 74 28 20 20 20 20 74 73 5b 36 5d 2e 71 75 6f 74 t( ts[6].quot
1ca0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
1cb0: 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 31 32 ( ts[7].str, "12
1cc0: 33 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 3" );..assert_eq
1cd0: 28 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[7].pos.line
1ce0: 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 73 65 72 74 no, 5 );..assert
1cf0: 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72 2c 20 _eq( ts[8].str,
1d00: 22 61 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f "aa" );..assert_
1d10: 65 71 28 20 74 73 5b 39 5d 2e 70 6f 73 2e 6c 69 eq( ts[9].pos.li
1d20: 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 73 65 neno, 5 );..asse
1d30: 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 73 74 72 rt_eq( ts[9].str
1d40: 2c 20 22 61 61 61 5c 6e 62 62 62 20 23 20 31 32 , "aaa\nbbb # 12
1d50: 33 5c 6e 65 65 65 22 20 29 3b 0a 09 61 73 73 65 3\neee" );..asse
1d60: 72 74 28 20 20 20 20 74 73 5b 39 5d 2e 71 75 6f rt( ts[9].quo
1d70: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ted );..assert_e
1d80: 71 28 20 74 73 5b 31 30 5d 2e 70 6f 73 2e 6c 69 q( ts[10].pos.li
1d90: 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 neno, 8 );..asse
1da0: 72 74 28 20 20 20 21 74 73 5b 31 30 5d 2e 71 75 rt( !ts[10].qu
1db0: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
1dc0: 65 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c 20 31 eq( ts.length, 1
1dd0: 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 1 );.}...unittes
1de0: 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 32 t..{...auto lex2
1df0: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
1e00: 6e 67 28 22 20 61 31 32 5c 6e 33 61 20 35 20 22 ng(" a12\n3a 5 "
1e10: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
1e20: 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 lex2.front.str,
1e30: 22 61 31 32 22 20 29 3b 0d 0a 09 6c 65 78 32 2e "a12" );...lex2.
1e40: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 75 74 6f popFront;...auto
1e50: 20 6c 65 78 33 20 3d 20 6c 65 78 32 2e 73 61 76 lex3 = lex2.sav
1e60: 65 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 e;...assert_eq(
1e70: 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 lex2.front.str,
1e80: 22 33 61 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 "3a" );...lex2.p
1e90: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 opFront;...asser
1ea0: 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 t_eq( lex3.front
1eb0: 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 .str, "3a" );...
1ec0: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e assert_eq( lex2.
1ed0: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 front.str, "5" )
1ee0: 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e ;...lex2.popFron
1ef0: 74 3b 0d 0a 09 6c 65 78 33 2e 70 6f 70 46 72 6f t;...lex3.popFro
1f00: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 nt;...assert( le
1f10: 78 32 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 x2.empty );...as
1f20: 73 65 72 74 28 20 21 6c 65 78 33 2e 65 6d 70 74 sert( !lex3.empt
1f30: 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 y );...assert_eq
1f40: 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 ( lex3.front.str
1f50: 2c 20 22 35 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 , "5" );..}....u
1f60: 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 nittest..{...aut
1f70: 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f o lex = lexerFro
1f80: 6d 53 74 72 69 6e 67 28 60 3d 22 22 60 29 3b 0d mString(`=""`);.
1f90: 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 2e ..assert_eq(lex.
1fa0: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 3d 22 29 3b front.str, "=");
1fb0: 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex.popFront;..
1fc0: 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 2e 66 .assert_eq(lex.f
1fd0: 72 6f 6e 74 2e 73 74 72 2c 20 22 22 29 3b 20 6c ront.str, ""); l
1fe0: 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 ex.popFront;...a
1ff0: 73 73 65 72 74 28 20 6c 65 78 2e 65 6d 70 74 79 ssert( lex.empty
2000: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
2010: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
2020: 28 60 2d 40 60 29 2e 66 72 6f 6e 74 2e 73 74 72 (`-@`).front.str
2030: 2c 20 22 2d 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a 2f , "-" );..}..../
2040: 2f 2f 20 46 6f 72 77 61 72 64 20 72 61 6e 67 65 // Forward range
2050: 20 66 6f 72 20 72 65 61 64 65 72 20 63 68 61 72 for reader char
2060: 61 63 74 65 72 20 62 79 20 63 68 61 72 61 63 74 acter by charact
2070: 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 70 69 6e 67 er,../// keeping
2080: 20 74 72 61 63 6b 20 6f 66 20 70 6f 73 69 74 69 track of positi
2090: 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 61 on information a
20a0: 6e 64 20 63 61 72 69 6e 67 20 5c 72 5c 6e 20 2d nd caring \r\n -
20b0: 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 69 6f 6e 2e > \n conversion.
20c0: 0d 0a 0d 0a 73 74 72 75 63 74 20 50 6f 73 69 74 ....struct Posit
20d0: 69 6f 6e 65 64 52 65 61 64 65 72 28 43 68 61 72 ionedReader(Char
20e0: 53 65 71 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 Seq)...if( isFor
20f0: 77 61 72 64 52 61 6e 67 65 21 28 43 68 61 72 53 wardRange!(CharS
2100: 65 71 29 20 26 26 20 69 73 28 45 6c 65 6d 65 6e eq) && is(Elemen
2110: 74 54 79 70 65 21 28 43 68 61 72 53 65 71 29 3d tType!(CharSeq)=
2120: 3d 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a 09 43 =dchar) )..{...C
2130: 68 61 72 53 65 71 20 62 75 66 66 65 72 3b 0d 0a harSeq buffer;..
2140: 09 73 74 72 69 6e 67 20 20 66 69 6c 65 6e 61 6d .string filenam
2150: 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c 69 6e e;...int lin
2160: 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 20 63 eno;...int c
2170: 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20 52 olumn;...../// R
2180: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a ange primitive..
2190: 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a .bool empty() /*
21a0: 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d @property*/...{.
21b0: 0a 09 09 72 65 74 75 72 6e 20 62 75 66 66 65 72 ...return buffer
21c0: 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a 09 .empty;...}.....
21d0: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
21e0: 69 76 65 0d 0a 09 64 63 68 61 72 20 66 72 6f 6e ive...dchar fron
21f0: 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a t() /*@property*
2200: 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20 63 /...{....dchar c
2210: 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 3b = buffer.front;
2220: 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 3d 3d 27 ....return (c=='
2230: 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 29 3b \r' ? '\n' : c);
2240: 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e ...}...../// Ran
2250: 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 76 ge primitive...v
2260: 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f oid popFront() /
2270: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b *@property*/...{
2280: 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75 ....dchar c = bu
2290: 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 62 ffer.front;....b
22a0: 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d uffer.popFront;.
22b0: 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 20 29 ...if( c=='\r' )
22c0: 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 21 62 ....{.....if( !b
22d0: 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 62 uffer.empty && b
22e0: 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c 6e uffer.front=='\n
22f0: 27 20 29 0d 0a 09 09 09 09 62 75 66 66 65 72 2e ' )......buffer.
2300: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 63 20 popFront;.....c
2310: 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a 09 09 = '\n';....}....
2320: 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d 0a 09 if( c=='\n' )...
2330: 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b .{.....lineno ++
2340: 3b 09 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 ;......column =
2350: 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 0d 1;....}....else.
2360: 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a ....column ++;..
2370: 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 .}...../// Range
2380: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 79 70 primitive...typ
2390: 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 29 eof(this) save()
23a0: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a /*@property*/..
23b0: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 68 69 .{....return thi
23c0: 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 s;...}...../// G
23d0: 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 20 70 et the current p
23e0: 6f 73 69 74 69 6f 6e 0d 0a 09 4c 65 78 50 6f 73 osition...LexPos
23f0: 69 74 69 6f 6e 20 63 75 72 72 65 6e 74 50 6f 73 ition currentPos
2400: 69 74 69 6f 6e 28 29 20 63 6f 6e 73 74 0d 0a 09 ition() const...
2410: 7b 0d 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 20 {....return new
2420: 4c 65 78 50 6f 73 69 74 69 6f 6e 28 66 69 6c 65 LexPosition(file
2430: 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f name, lineno, co
2440: 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a 0d lumn);...}..}...
2450: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 .unittest..{...a
2460: 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72 64 ssert( isForward
2470: 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e 65 Range!(Positione
2480: 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 dReader!string)
2490: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 28 );...assert( is(
24a0: 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f 73 ElementType!(Pos
24b0: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
24c0: 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29 20 ring) == dchar)
24d0: 29 3b 0d 0a 7d 0d 0a );..}..