0000: 2f 2a 2a 0d 0a 20 2a 20 41 75 74 68 6f 72 73 3a /**.. * Authors:
0010: 20 6b 2e 69 6e 61 62 61 0d 0a 20 2a 20 4c 69 63 k.inaba.. * Lic
0020: 65 6e 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 ense: NYSL 0.998
0030: 32 20 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 2 http://www.kmo
0040: 6e 6f 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0d 0a 20 nos.net/nysl/..
0050: 2a 0d 0a 20 2a 20 4c 65 78 65 72 20 66 6f 72 20 *.. * Lexer for
0060: 50 6f 6c 65 6d 79 20 70 72 6f 67 72 61 6d 6d 69 Polemy programmi
0070: 6e 67 20 6c 61 6e 67 75 61 67 65 2e 0d 0a 20 2a ng language... *
0080: 2f 0d 0a 6d 6f 64 75 6c 65 20 70 6f 6c 65 6d 79 /..module polemy
0090: 2e 6c 65 78 3b 0a 69 6d 70 6f 72 74 20 70 6f 6c .lex;.import pol
00a0: 65 6d 79 2e 5f 63 6f 6d 6d 6f 6e 3b 0a 0d 0a 69 emy._common;...i
00b0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 3a mport std.file :
00c0: 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f 72 readText;.impor
00d0: 74 20 73 74 64 2e 73 74 72 69 6e 67 20 3a 20 6d t std.string : m
00e0: 75 6e 63 68 3b 0a 69 6d 70 6f 72 74 20 73 74 64 unch;.import std
00f0: 2e 63 74 79 70 65 3b 0d 0a 0d 0a 2f 2f 2f 20 52 .ctype;..../// R
0100: 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 69 epresents a posi
0110: 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 65 tion in a source
0120: 20 63 6f 64 65 0a 0d 0a 63 6c 61 73 73 20 4c 65 code...class Le
0130: 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d xPosition.{..imm
0140: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 utable string fi
0150: 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 lename; /// name
0160: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 of the source f
0170: 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 ile..immutable i
0180: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 nt lineno;
0190: 2f 2f 2f 20 6c 69 6e 65 20 6e 75 6d 62 65 72 2c /// line number,
01a0: 20 31 2c 20 32 2c 20 2e 2e 2e 0a 09 69 6d 6d 75 1, 2, .....immu
01b0: 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 6f 6c table int col
01c0: 75 6d 6e 3b 20 20 20 2f 2f 2f 20 63 6f 6c 75 6d umn; /// colum
01d0: 6e 2c 20 31 2c 20 32 2c 20 2e 2e 2e 0d 0a 0d 0a n, 1, 2, .......
01e0: 09 6f 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 .override string
01f0: 20 74 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 toString() cons
0200: 74 0d 0a 09 09 7b 20 72 65 74 75 72 6e 20 73 70 t....{ return sp
0210: 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 64 22 rintf!"%s:%d:%d"
0220: 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e (filename, linen
0230: 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0d 0a 0a o, column); }...
0240: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e .mixin SimpleCon
0250: 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 structor;...mixi
0260: 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b n SimpleCompare;
0270: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
0280: 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 auto p = new Lex
0290: 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e Position("hello.
02a0: 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0d cpp", 123, 45);.
02b0: 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c ..auto q = new L
02c0: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
02d0: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 o.cpp", 123, 46)
02e0: 3b 0d 0a 0a 09 61 73 73 65 72 74 28 20 70 2e 66 ;....assert( p.f
02f0: 69 6c 65 6e 61 6d 65 20 3d 3d 20 22 68 65 6c 6c ilename == "hell
0300: 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 73 65 72 o.cpp" );..asser
0310: 74 28 20 70 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 31 t( p.lineno == 1
0320: 32 33 20 29 3b 0a 09 61 73 73 65 72 74 28 20 70 23 );..assert( p
0330: 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 34 35 20 29 3b .column == 45 );
0340: 0d 0a 09 61 73 73 65 72 74 28 20 74 6f 21 73 74 ...assert( to!st
0350: 72 69 6e 67 28 70 29 20 3d 3d 20 22 68 65 6c 6c ring(p) == "hell
0360: 6f 2e 63 70 70 3a 31 32 33 3a 34 35 22 20 29 3b o.cpp:123:45" );
0370: 0d 0a 09 61 73 73 65 72 74 28 20 70 20 3c 20 71 ...assert( p < q
0380: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 70 20 );...assert( p
0390: 21 3d 20 71 20 29 3b 0d 0a 0a 09 61 73 73 65 72 != q );....asser
03a0: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
03b0: 70 69 6c 65 73 2c 20 6e 65 77 20 4c 65 78 50 6f piles, new LexPo
03c0: 73 69 74 69 6f 6e 29 20 29 3b 0a 09 61 73 73 65 sition) );..asse
03d0: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
03e0: 6d 70 69 6c 65 73 2c 20 70 2e 66 69 6c 65 6e 61 mpiles, p.filena
03f0: 6d 65 3d 22 66 6f 6f 22 29 20 29 3b 0a 09 61 73 me="foo") );..as
0400: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0410: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 6c 69 6e 65 compiles, p.line
0420: 6e 6f 20 20 3d 37 38 39 29 20 29 3b 0a 09 61 73 no =789) );..as
0430: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0440: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 63 6f 6c 75 compiles, p.colu
0450: 6d 6e 20 20 3d 32 32 32 29 20 29 3b 0a 7d 0a 0d mn =222) );.}..
0460: 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 ./// Represents
0470: 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a 0d 0a a lexer token...
0480: 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a 09 65 class Token.{..e
0490: 6e 75 6d 20 4b 69 6e 64 20 7b 69 64 65 6e 74 69 num Kind {identi
04a0: 66 69 65 72 2c 20 73 74 72 69 6e 67 4c 69 74 65 fier, stringLite
04b0: 72 61 6c 2c 20 6e 75 6d 62 65 72 7d 3b 0d 0a 09 ral, number};...
04c0: 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f 73 immutable LexPos
04d0: 69 74 69 6f 6e 20 70 6f 73 3b 20 20 2f 2f 2f 20 ition pos; ///
04e0: 70 6f 73 69 74 69 6f 6e 20 77 68 65 72 65 20 74 position where t
04f0: 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75 72 72 65 he token occurre
0500: 64 20 69 6e 20 74 68 65 20 73 6f 75 72 63 65 0a d in the source.
0510: 09 69 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e .immutable strin
0520: 67 20 20 20 20 20 20 73 74 72 3b 20 20 2f 2f 2f g str; ///
0530: 20 74 68 65 20 74 6f 6b 65 6e 20 73 74 72 69 6e the token strin
0540: 67 20 69 74 73 65 6c 66 0d 0a 09 69 6d 6d 75 74 g itself...immut
0550: 61 62 6c 65 20 4b 69 6e 64 20 20 20 20 20 20 20 able Kind
0560: 20 6b 69 6e 64 3b 20 2f 2f 2f 20 77 68 69 63 68 kind; /// which
0570: 20 6b 69 6e 64 20 6f 66 20 74 6f 6b 65 6e 3f 0d kind of token?.
0580: 0a 0d 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 ....mixin Simple
0590: 43 6f 6e 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d Constructor;...m
05a0: 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 ixin SimpleCompa
05b0: 72 65 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a re;.}..unittest.
05c0: 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 {..auto p = new
05d0: 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 immutable(LexPos
05e0: 69 74 69 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 ition)("hello.cp
05f0: 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 09 61 p", 123, 45);..a
0600: 75 74 6f 20 74 20 3d 20 6e 65 77 20 54 6f 6b 65 uto t = new Toke
0610: 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 54 6f n(p, "class", To
0620: 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 ken.Kind.identif
0630: 69 65 72 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 ier);...assert(
0640: 74 2e 70 6f 73 20 3d 3d 20 70 20 29 3b 0a 09 61 t.pos == p );..a
0650: 73 73 65 72 74 28 20 74 2e 73 74 72 20 3d 3d 20 ssert( t.str ==
0660: 22 63 6c 61 73 73 22 20 29 3b 0d 0a 09 61 73 73 "class" );...ass
0670: 65 72 74 28 20 74 20 3d 3d 20 6e 65 77 20 54 6f ert( t == new To
0680: 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 ken(p, "class",
0690: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 Token.Kind.ident
06a0: 69 66 69 65 72 29 20 29 3b 0d 0a 09 61 73 73 65 ifier) );...asse
06b0: 72 74 28 20 74 20 3c 20 6e 65 77 20 54 6f 6b 65 rt( t < new Toke
06c0: 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 54 n(p, "struct", T
06d0: 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 oken.Kind.identi
06e0: 66 69 65 72 29 20 29 3b 0d 0a 0a 09 61 73 73 65 fier) );....asse
06f0: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
0700: 6d 70 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b 65 mpiles, new Toke
0710: 6e 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 n) );..assert( !
0720: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
0730: 73 2c 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 s, t.pos=p) );..
0740: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0750: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 74 s(compiles, t.st
0760: 72 3d 37 38 39 29 20 29 3b 0a 7d 0a 0d 0a 2f 2f r=789) );.}...//
0770: 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 / Named Construt
0780: 6f 72 20 66 6f 72 20 4c 65 78 65 72 0d 0a 0d 0a or for Lexer....
0790: 4c 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d 46 Lexer lexerFromF
07a0: 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 72 69 6e ile(T...)( strin
07b0: 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 20 72 65 g filename, T re
07c0: 73 74 20 29 0d 0a 7b 0d 0a 09 72 65 74 75 72 6e st )..{...return
07d0: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
07e0: 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 64 54 ( std.file.readT
07f0: 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c 20 66 ext(filename), f
0800: 69 6c 65 6e 61 6d 65 2c 20 72 65 73 74 20 29 3b ilename, rest );
0810: 0d 0a 7d 0d 0a 09 0d 0a 2f 2f 2f 20 4e 61 6d 65 ..}...../// Name
0820: 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 d Construtor for
0830: 20 4c 65 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 20 Lexer....Lexer
0840: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 lexerFromString(
0850: 20 73 74 72 69 6e 67 20 73 74 72 2c 20 73 74 72 string str, str
0860: 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3d 22 3c 75 ing filename="<u
0870: 6e 6e 61 6d 65 64 3e 22 2c 20 69 6e 74 20 6c 69 nnamed>", int li
0880: 6e 65 6e 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c 75 neno=1, int colu
0890: 6d 6e 3d 31 20 29 0d 0a 7b 0d 0a 09 72 65 74 75 mn=1 )..{...retu
08a0: 72 6e 20 6e 65 77 20 4c 65 78 65 72 28 73 74 72 rn new Lexer(str
08b0: 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 , filename, line
08c0: 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 7d 0d no, column);..}.
08d0: 0a 0d 0a 2f 2f 2f 20 4c 65 78 65 72 20 69 73 20 .../// Lexer is
08e0: 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 20 a forward range
08f0: 6f 66 20 54 6f 6b 65 6e 73 0d 0a 0d 0a 63 6c 61 of Tokens....cla
0900: 73 73 20 4c 65 78 65 72 0a 7b 0d 0a 09 2f 2f 2f ss Lexer.{...///
0910: 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 Range primitive
0920: 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f ..bool empty() /
0930: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a *@property*/..{.
0940: 09 09 72 65 74 75 72 6e 20 63 75 72 72 65 6e 74 ..return current
0950: 20 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f is null;..}.../
0960: 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 // Range primiti
0970: 76 65 0d 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 ve...Token front
0980: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
0990: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 73 74 64 ..{...return std
09a0: 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 .exception.enfor
09b0: 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 ce(current, "Lex
09c0: 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 er has already r
09d0: 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 eached the end")
09e0: 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 ;..}.../// Range
09f0: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 76 6f 69 primitive...voi
0a00: 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 d popFront() /*@
0a10: 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 property*/..{...
0a20: 73 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e std.exception.en
0a30: 66 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 22 force(current, "
0a40: 4c 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 64 Lexer has alread
0a50: 79 20 72 65 61 63 68 65 64 20 74 68 65 20 65 6e y reached the en
0a60: 64 22 29 3b 0d 0a 09 09 63 75 72 72 65 6e 74 20 d");....current
0a70: 3d 20 72 65 61 64 4e 65 78 74 28 29 3b 0a 09 7d = readNext();..}
0a80: 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 .../// Range pri
0a90: 6d 69 74 69 76 65 0d 0a 09 4c 65 78 65 72 20 73 mitive...Lexer s
0aa0: 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 ave() /*@propert
0ab0: 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 y*/..{...return
0ac0: 6e 65 77 20 4c 65 78 65 72 28 62 75 66 66 65 72 new Lexer(buffer
0ad0: 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 , filename, line
0ae0: 6e 6f 2c 20 63 6f 6c 75 6d 6e 2c 20 63 75 72 72 no, column, curr
0af0: 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 ent);..}..privat
0b00: 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 e: // implementa
0b10: 74 69 6f 6e 0a 0d 0a 09 73 74 72 69 6e 67 20 62 tion....string b
0b20: 75 66 66 65 72 3b 0a 09 73 74 72 69 6e 67 20 66 uffer;..string f
0b30: 69 6c 65 6e 61 6d 65 3b 0a 09 69 6e 74 20 20 20 ilename;..int
0b40: 20 6c 69 6e 65 6e 6f 3b 0a 09 69 6e 74 20 20 20 lineno;..int
0b50: 20 63 6f 6c 75 6d 6e 3b 0a 09 54 6f 6b 65 6e 20 column;..Token
0b60: 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 current;...inva
0b70: 72 69 61 6e 74 28 29 0a 09 7b 0d 0a 09 09 61 73 riant()..{....as
0b80: 73 65 72 74 28 20 62 75 66 66 65 72 2e 65 6d 70 sert( buffer.emp
0b90: 74 79 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 65 ty || !std.ctype
0ba0: 2e 69 73 73 70 61 63 65 28 62 75 66 66 65 72 5b .isspace(buffer[
0bb0: 30 5d 29 20 29 3b 0a 09 7d 0a 0a 09 74 68 69 73 0]) );..}...this
0bc0: 28 20 73 74 72 69 6e 67 20 62 75 66 66 65 72 2c ( string buffer,
0bd0: 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 string filename
0be0: 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 2c 20 69 6e , int lineno, in
0bf0: 74 20 63 6f 6c 75 6d 6e 2c 20 54 6f 6b 65 6e 20 t column, Token
0c00: 63 75 72 72 65 6e 74 3d 6e 75 6c 6c 20 29 0a 09 current=null )..
0c10: 7b 0a 09 09 74 68 69 73 2e 62 75 66 66 65 72 20 {...this.buffer
0c20: 20 20 3d 20 62 75 66 66 65 72 3b 0a 09 09 74 68 = buffer;...th
0c30: 69 73 2e 66 69 6c 65 6e 61 6d 65 20 3d 20 66 69 is.filename = fi
0c40: 6c 65 6e 61 6d 65 3b 0a 09 09 74 68 69 73 2e 6c lename;...this.l
0c50: 69 6e 65 6e 6f 20 20 20 3d 20 6c 69 6e 65 6e 6f ineno = lineno
0c60: 3b 0a 09 09 74 68 69 73 2e 63 6f 6c 75 6d 6e 20 ;...this.column
0c70: 20 20 3d 20 63 6f 6c 75 6d 6e 3b 0a 09 09 73 6b = column;...sk
0c80: 69 70 77 73 28 29 3b 0a 09 09 74 68 69 73 2e 63 ipws();...this.c
0c90: 75 72 72 65 6e 74 20 20 3d 20 28 63 75 72 72 65 urrent = (curre
0ca0: 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72 65 61 nt is null ? rea
0cb0: 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72 65 6e dNext() : curren
0cc0: 74 29 3b 0a 09 7d 0a 0a 09 76 6f 69 64 20 73 6b t);..}...void sk
0cd0: 69 70 77 73 28 29 0a 09 7b 0d 0a 09 09 62 6f 6f ipws()..{....boo
0ce0: 6c 20 70 72 6f 67 72 65 73 73 20 3d 20 66 61 6c l progress = fal
0cf0: 73 65 3b 0d 0a 09 09 64 6f 0a 09 09 7b 0a 09 09 se;....do...{...
0d00: 09 73 74 72 69 6e 67 20 77 73 20 3d 20 62 75 66 .string ws = buf
0d10: 66 65 72 2e 6d 75 6e 63 68 28 22 20 5c 74 22 29 fer.munch(" \t")
0d20: 3b 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 3d 20 77 ;....column += w
0d30: 73 2e 6c 65 6e 67 74 68 3b 0d 0a 09 09 09 70 72 s.length;.....pr
0d40: 6f 67 72 65 73 73 20 3d 20 21 77 73 2e 65 6d 70 ogress = !ws.emp
0d50: 74 79 3b 0d 0a 09 09 09 77 68 69 6c 65 28 20 21 ty;.....while( !
0d60: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
0d70: 28 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 72 27 (buffer[0]=='\r'
0d80: 20 7c 7c 20 62 75 66 66 65 72 5b 30 5d 3d 3d 27 || buffer[0]=='
0d90: 5c 6e 27 29 20 29 0a 09 09 09 7b 0d 0a 09 09 09 \n') )....{.....
0da0: 09 70 72 6f 67 72 65 73 73 20 3d 20 74 72 75 65 .progress = true
0db0: 3b 0a 09 09 09 09 69 66 28 20 62 75 66 66 65 72 ;.....if( buffer
0dc0: 5b 30 5d 20 3d 3d 20 27 5c 6e 27 20 29 0a 09 09 [0] == '\n' )...
0dd0: 09 09 09 62 75 66 66 65 72 20 3d 20 62 75 66 66 ...buffer = buff
0de0: 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 65 6c er[1..$];.....el
0df0: 73 65 20 2f 2f 20 69 66 28 20 62 75 66 66 65 72 se // if( buffer
0e00: 2e 66 72 6f 6e 74 20 3d 3d 20 27 5c 72 27 20 29 .front == '\r' )
0e10: 0a 09 09 09 09 7b 0a 09 09 09 09 09 62 75 66 66 .....{......buff
0e20: 65 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 er = buffer[1..$
0e30: 5d 3b 0a 09 09 09 09 09 69 66 28 20 21 62 75 66 ];......if( !buf
0e40: 66 65 72 2e 65 6d 70 74 79 20 26 26 20 62 75 66 fer.empty && buf
0e50: 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 20 29 0a 09 fer[0]=='\n' )..
0e60: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 62 75 .....buffer = bu
0e70: 66 66 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 ffer[1..$];.....
0e80: 7d 0a 09 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b }.....lineno ++;
0e90: 0a 09 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b .....column = 1;
0ea0: 0a 09 09 09 7d 0a 09 09 7d 77 68 69 6c 65 28 20 ....}...}while(
0eb0: 70 72 6f 67 72 65 73 73 20 29 3b 0a 09 7d 0a 0d progress );..}..
0ec0: 0a 09 63 68 61 72 20 72 65 61 64 43 68 61 72 28 ..char readChar(
0ed0: 29 0d 0a 09 7b 0d 0a 09 09 73 63 6f 70 65 28 65 )...{....scope(e
0ee0: 78 69 74 29 20 7b 0d 0a 09 09 09 62 75 66 66 65 xit) {.....buffe
0ef0: 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 5d r = buffer[1..$]
0f00: 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b ;.....column ++;
0f10: 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e 20 ....}....return
0f20: 62 75 66 66 65 72 5b 30 5d 3b 0d 0a 09 7d 0d 0a buffer[0];...}..
0f30: 0d 0a 09 2f 2f 2f 20 54 68 69 73 20 69 73 20 74 .../// This is t
0f40: 68 65 20 6d 61 69 6e 20 6c 65 78 69 6e 67 20 72 he main lexing r
0f50: 6f 75 74 69 6e 65 0a 09 54 6f 6b 65 6e 20 72 65 outine..Token re
0f60: 61 64 4e 65 78 74 28 29 0a 09 7b 0d 0a 09 09 69 adNext()..{....i
0f70: 66 28 20 62 75 66 66 65 72 2e 65 6d 70 74 79 20 f( buffer.empty
0f80: 29 0a 09 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c )....return null
0f90: 3b 0a 09 09 73 63 6f 70 65 28 65 78 69 74 29 0a ;...scope(exit).
0fa0: 09 09 09 73 6b 69 70 77 73 28 29 3b 0a 0a 09 09 ...skipws();....
0fb0: 69 66 28 20 69 73 53 79 6d 62 6f 6c 28 62 75 66 if( isSymbol(buf
0fc0: 66 65 72 5b 30 5d 29 20 29 0a 09 09 7b 0d 0a 09 fer[0]) )...{...
0fd0: 09 09 69 66 28 20 62 75 66 66 65 72 5b 30 5d 20 ..if( buffer[0]
0fe0: 3d 3d 20 27 23 27 20 29 0d 0a 09 09 09 7b 0d 0a == '#' ).....{..
0ff0: 09 09 09 09 2f 2f 20 73 6b 69 70 20 63 6f 6d 6d ....// skip comm
1000: 65 6e 74 0d 0a 09 09 09 09 77 68 69 6c 65 28 20 ent......while(
1010: 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 !buffer.empty &&
1020: 20 28 62 75 66 66 65 72 5b 30 5d 21 3d 27 5c 6e (buffer[0]!='\n
1030: 27 20 26 26 20 62 75 66 66 65 72 5b 30 5d 21 3d ' && buffer[0]!=
1040: 27 5c 72 27 29 20 29 0d 0a 09 09 09 09 09 72 65 '\r') ).......re
1050: 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 73 adChar();......s
1060: 6b 69 70 77 73 28 29 3b 0d 0a 09 09 09 09 72 65 kipws();......re
1070: 74 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b turn readNext();
1080: 0d 0a 09 09 09 7d 0d 0a 09 09 09 65 6c 73 65 20 .....}.....else
1090: 69 66 28 20 62 75 66 66 65 72 5b 30 5d 20 3d 3d if( buffer[0] ==
10a0: 20 27 22 27 20 29 0d 0a 09 09 09 7b 0d 0a 09 09 '"' ).....{....
10b0: 09 09 2f 2f 20 73 74 72 69 6e 67 20 6c 69 74 65 ..// string lite
10c0: 72 61 6c 0d 0a 09 09 09 09 61 75 74 6f 20 70 6f ral......auto po
10d0: 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 69 74 s = currentPosit
10e0: 69 6f 6e 28 29 3b 0d 0a 09 09 09 09 73 74 72 69 ion();......stri
10f0: 6e 67 20 6c 69 74 3b 0d 0a 09 09 09 09 72 65 61 ng lit;......rea
1100: 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 77 68 dChar();......wh
1110: 69 6c 65 28 20 21 62 75 66 66 65 72 2e 65 6d 70 ile( !buffer.emp
1120: 74 79 20 26 26 20 62 75 66 66 65 72 5b 30 5d 21 ty && buffer[0]!
1130: 3d 27 22 27 20 29 0d 0a 09 09 09 09 7b 0d 0a 09 ='"' )......{...
1140: 09 09 09 09 2f 2f 20 72 65 61 64 20 6f 6e 65 20 ....// read one
1150: 63 68 61 72 0d 0a 09 09 09 09 09 63 68 61 72 20 char.......char
1160: 63 20 3d 20 72 65 61 64 43 68 61 72 28 29 3b 0d c = readChar();.
1170: 0a 09 09 09 09 09 69 66 28 20 63 20 3d 3d 20 27 ......if( c == '
1180: 5c 5c 27 20 29 0d 0a 09 09 09 09 09 7b 0d 0a 09 \\' ).......{...
1190: 09 09 09 09 09 69 66 28 20 21 62 75 66 66 65 72 .....if( !buffer
11a0: 2e 65 6d 70 74 79 20 26 26 20 28 62 75 66 66 65 .empty && (buffe
11b0: 72 5b 30 5d 3d 3d 27 5c 5c 27 20 7c 7c 20 62 75 r[0]=='\\' || bu
11c0: 66 66 65 72 5b 30 5d 3d 3d 27 22 27 29 20 29 0d ffer[0]=='"') ).
11d0: 0a 09 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 72 ........lit ~= r
11e0: 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 eadChar();......
11f0: 09 09 65 6c 73 65 0d 0a 09 09 09 09 09 09 09 6c ..else.........l
1200: 69 74 20 7e 3d 20 63 3b 0d 0a 09 09 09 09 09 7d it ~= c;.......}
1210: 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 20 .......else if(
1220: 63 20 3d 3d 20 27 5c 6e 27 20 29 0d 0a 09 09 09 c == '\n' ).....
1230: 09 09 7b 0d 0a 09 09 09 09 09 09 6c 69 74 20 7e ..{........lit ~
1240: 3d 20 63 3b 0d 0a 09 09 09 09 09 09 6c 69 6e 65 = c;........line
1250: 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 09 09 63 6f 6c no++;........col
1260: 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 09 09 09 7d umn = 1;.......}
1270: 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 20 .......else if(
1280: 63 20 3d 3d 20 27 5c 72 27 20 29 0d 0a 09 09 09 c == '\r' ).....
1290: 09 09 7b 0d 0a 09 09 09 09 09 09 69 66 28 20 21 ..{........if( !
12a0: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
12b0: 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 20 buffer[0]=='\n'
12c0: 29 0d 0a 09 09 09 09 09 09 09 72 65 61 64 43 68 ).........readCh
12d0: 61 72 28 29 3b 0d 0a 09 09 09 09 09 09 6c 69 74 ar();........lit
12e0: 20 7e 3d 20 27 5c 6e 27 3b 0d 0a 09 09 09 09 09 ~= '\n';.......
12f0: 09 6c 69 6e 65 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 .lineno++;......
1300: 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 ..column = 1;...
1310: 09 09 09 09 7d 0d 0a 09 09 09 09 09 65 6c 73 65 ....}.......else
1320: 0d 0a 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 63 ........lit ~= c
1330: 3b 0d 0a 09 09 09 09 7d 0d 0a 09 09 09 09 69 66 ;......}......if
1340: 28 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 ( !buffer.empty
1350: 29 0d 0a 09 09 09 09 09 72 65 61 64 43 68 61 72 ).......readChar
1360: 28 29 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 ();......return
1370: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 6c new Token(pos, l
1380: 69 74 2c 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 73 it, Token.Kind.s
1390: 74 72 69 6e 67 4c 69 74 65 72 61 6c 29 3b 0d 0a tringLiteral);..
13a0: 09 09 09 7d 0d 0a 09 09 09 65 6c 73 65 0d 0a 09 ...}.....else...
13b0: 09 09 7b 0d 0a 09 09 09 09 2f 2f 20 6e 6f 72 6d ..{......// norm
13c0: 61 6c 20 73 79 6d 62 6f 6c 0a 09 09 09 09 61 75 al symbol.....au
13d0: 74 6f 20 70 6f 73 20 3d 20 63 75 72 72 65 6e 74 to pos = current
13e0: 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 Position();.....
13f0: 09 61 75 74 6f 20 73 74 72 20 3d 20 22 22 7e 72 .auto str = ""~r
1400: 65 61 64 43 68 61 72 28 29 3b 0a 09 09 09 09 72 eadChar();.....r
1410: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 eturn new Token(
1420: 70 6f 73 2c 20 73 74 72 2c 20 54 6f 6b 65 6e 2e pos, str, Token.
1430: 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 29 Kind.identifier)
1440: 3b 0d 0a 09 09 09 7d 0a 09 09 7d 0a 09 09 65 6c ;.....}...}...el
1450: 73 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 se...{....auto p
1460: 6f 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 69 os = currentPosi
1470: 74 69 6f 6e 28 29 3b 0a 09 09 09 69 6e 74 20 69 tion();....int i
1480: 20 3d 20 30 3b 0a 09 09 09 77 68 69 6c 65 28 20 = 0;....while(
1490: 69 3c 62 75 66 66 65 72 2e 6c 65 6e 67 74 68 20 i<buffer.length
14a0: 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e 69 73 && !std.ctype.is
14b0: 73 70 61 63 65 28 62 75 66 66 65 72 5b 69 5d 29 space(buffer[i])
14c0: 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 62 75 && !isSymbol(bu
14d0: 66 66 65 72 5b 69 5d 29 20 29 0a 09 09 09 09 2b ffer[i]) ).....+
14e0: 2b 69 3b 0a 09 09 09 61 75 74 6f 20 73 74 72 20 +i;....auto str
14f0: 3d 20 62 75 66 66 65 72 5b 30 20 2e 2e 20 69 5d = buffer[0 .. i]
1500: 3b 0a 09 09 09 62 75 66 66 65 72 20 20 20 3d 20 ;....buffer =
1510: 62 75 66 66 65 72 5b 69 20 2e 2e 20 24 5d 3b 0a buffer[i .. $];.
1520: 09 09 09 63 6f 6c 75 6d 6e 20 20 2b 3d 20 69 3b ...column += i;
1530: 0d 0a 09 09 09 62 6f 6f 6c 20 69 73 4e 75 6d 62 .....bool isNumb
1540: 65 72 20 3d 20 66 69 6e 64 21 28 60 61 3c 27 30 er = find!(`a<'0
1550: 27 20 7c 7c 20 27 39 27 3c 61 60 29 28 73 74 72 ' || '9'<a`)(str
1560: 29 2e 65 6d 70 74 79 3b 0a 09 09 09 72 65 74 75 ).empty;....retu
1570: 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 rn new Token(pos
1580: 2c 20 73 74 72 2c 20 69 73 4e 75 6d 62 65 72 20 , str, isNumber
1590: 3f 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 6d ? Token.Kind.num
15a0: 62 65 72 20 3a 20 54 6f 6b 65 6e 2e 4b 69 6e 64 ber : Token.Kind
15b0: 2e 69 64 65 6e 74 69 66 69 65 72 29 3b 0a 09 09 .identifier);...
15c0: 7d 0a 09 7d 0a 0a 09 62 6f 6f 6c 20 69 73 53 79 }..}...bool isSy
15d0: 6d 62 6f 6c 28 63 68 61 72 20 63 29 0a 09 7b 0a mbol(char c)..{.
15e0: 09 09 72 65 74 75 72 6e 20 28 30 78 32 31 3c 3d ..return (0x21<=
15f0: 63 20 26 26 20 63 3c 3d 30 78 37 66 20 26 26 20 c && c<=0x7f &&
1600: 21 73 74 64 2e 63 74 79 70 65 2e 69 73 61 6c 6e !std.ctype.isaln
1610: 75 6d 28 63 29 20 26 26 20 63 21 3d 27 5f 27 29 um(c) && c!='_')
1620: 3b 0a 09 7d 0a 0a 09 69 6d 6d 75 74 61 62 6c 65 ;..}...immutable
1630: 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 63 75 (LexPosition) cu
1640: 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 0a rrentPosition().
1650: 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 20 .{...return new
1660: 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 immutable(LexPos
1670: 69 74 69 6f 6e 29 28 66 69 6c 65 6e 61 6d 65 2c ition)(filename,
1680: 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 lineno, column)
1690: 3b 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 ;..}.}..unittest
16a0: 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 2e .{..assert( std.
16b0: 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 52 range.isForwardR
16c0: 61 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b 0a ange!(Lexer) );.
16d0: 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b }....unittest..{
16e0: 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 ..auto lex = lex
16f0: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 74 68 erFromString("th
1700: 69 73 09 69 73 20 61 20 5c 74 5c 6e 20 70 65 6e is.is a \t\n pen
1710: 20 3a 2d 28 20 20 20 22 29 3b 0a 09 54 6f 6b 65 :-( ");..Toke
1720: 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 n[] ts = std.arr
1730: 61 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 0a ay.array(lex);..
1740: 09 61 73 73 65 72 74 28 20 74 73 5b 30 5d 2e 70 .assert( ts[0].p
1750: 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 31 20 29 os.lineno == 1 )
1760: 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 30 5d ;..assert( ts[0]
1770: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 31 .pos.column == 1
1780: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b );..assert( ts[
1790: 30 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 0].kind == Token
17a0: 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 .Kind.identifier
17b0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
17c0: 5b 30 5d 2e 73 74 72 20 3d 3d 20 22 74 68 69 73 [0].str == "this
17d0: 22 20 29 3b 0a 0d 0a 09 61 73 73 65 72 74 28 20 " );....assert(
17e0: 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[1].pos.lineno
17f0: 20 3d 3d 20 31 20 29 3b 0a 09 61 73 73 65 72 74 == 1 );..assert
1800: 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[1].pos.colu
1810: 6d 6e 20 3d 3d 20 36 20 29 3b 0a 09 61 73 73 65 mn == 6 );..asse
1820: 72 74 28 20 74 73 5b 31 5d 2e 6b 69 6e 64 20 3d rt( ts[1].kind =
1830: 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 = Token.Kind.ide
1840: 6e 74 69 66 69 65 72 20 29 3b 0d 0a 09 61 73 73 ntifier );...ass
1850: 65 72 74 28 20 74 73 5b 31 5d 2e 73 74 72 20 3d ert( ts[1].str =
1860: 3d 20 22 69 73 22 20 29 3b 0a 0d 0a 09 61 73 73 = "is" );....ass
1870: 65 72 74 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c ert( ts[2].pos.l
1880: 69 6e 65 6e 6f 20 3d 3d 20 31 20 29 3b 0a 09 61 ineno == 1 );..a
1890: 73 73 65 72 74 28 20 74 73 5b 32 5d 2e 70 6f 73 ssert( ts[2].pos
18a0: 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 39 20 29 3b 0a .column == 9 );.
18b0: 09 61 73 73 65 72 74 28 20 74 73 5b 32 5d 2e 6b .assert( ts[2].k
18c0: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
18d0: 64 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b 0d d.identifier );.
18e0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 32 5d 2e ..assert( ts[2].
18f0: 73 74 72 20 3d 3d 20 22 61 22 20 29 3b 0a 0d 0a str == "a" );...
1900: 09 61 73 73 65 72 74 28 20 74 73 5b 33 5d 2e 70 .assert( ts[3].p
1910: 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 20 29 os.lineno == 2 )
1920: 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 33 5d ;..assert( ts[3]
1930: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 32 .pos.column == 2
1940: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b );..assert( ts[
1950: 33 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 3].kind == Token
1960: 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 .Kind.identifier
1970: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
1980: 5b 33 5d 2e 73 74 72 20 3d 3d 20 22 70 65 6e 22 [3].str == "pen"
1990: 20 29 3b 0a 0d 0a 09 2f 2f 20 63 6f 6e 73 65 63 );....// consec
19a0: 75 74 69 76 65 20 73 79 6d 62 6f 6c 73 20 61 72 utive symbols ar
19b0: 65 20 61 6c 77 61 79 73 20 73 65 70 61 72 61 74 e always separat
19c0: 65 64 0d 0a 09 2f 2f 20 68 65 6e 63 65 2c 20 6e ed...// hence, n
19d0: 6f 20 22 2b 2b 22 20 6f 72 20 22 3c 3c 22 20 6f o "++" or "<<" o
19e0: 72 20 2e 2e 2e 0d 0a 09 09 0d 0a 09 61 73 73 65 r ..........asse
19f0: 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 rt( ts[4].pos.li
1a00: 6e 65 6e 6f 20 3d 3d 20 32 20 29 3b 0a 09 61 73 neno == 2 );..as
1a10: 73 65 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 2e sert( ts[4].pos.
1a20: 63 6f 6c 75 6d 6e 20 3d 3d 20 36 20 29 3b 0a 09 column == 6 );..
1a30: 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 73 74 assert( ts[4].st
1a40: 72 20 3d 3d 20 22 3a 22 20 29 3b 0a 0d 0a 09 61 r == ":" );....a
1a50: 73 73 65 72 74 28 20 74 73 5b 35 5d 2e 70 6f 73 ssert( ts[5].pos
1a60: 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 20 29 3b 0a .lineno == 2 );.
1a70: 09 61 73 73 65 72 74 28 20 74 73 5b 35 5d 2e 70 .assert( ts[5].p
1a80: 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 37 20 29 os.column == 7 )
1a90: 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 5d ;..assert( ts[5]
1aa0: 2e 73 74 72 20 3d 3d 20 22 2d 22 20 29 3b 20 0a .str == "-" ); .
1ab0: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 36 5d ...assert( ts[6]
1ac0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 .pos.lineno == 2
1ad0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b );..assert( ts[
1ae0: 36 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 6].pos.column ==
1af0: 20 38 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 8 );..assert( t
1b00: 73 5b 36 5d 2e 73 74 72 20 3d 3d 20 22 28 22 20 s[6].str == "("
1b10: 29 3b 0a 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );....assert( ts
1b20: 2e 6c 65 6e 67 74 68 20 3d 3d 20 37 20 29 3b 0a .length == 7 );.
1b30: 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b }....unittest..{
1b40: 0a 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 6c 65 ..auto lex2 = le
1b50: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 20 xerFromString("
1b60: 61 31 32 5c 6e 33 61 20 35 20 22 29 3b 0a 09 61 a12\n3a 5 ");..a
1b70: 73 73 65 72 74 28 20 6c 65 78 32 2e 66 72 6f 6e ssert( lex2.fron
1b80: 74 2e 73 74 72 20 3d 3d 20 22 61 31 32 22 20 29 t.str == "a12" )
1b90: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 32 ;...assert( lex2
1ba0: 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d 3d 20 54 .front.kind == T
1bb0: 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 oken.Kind.identi
1bc0: 66 69 65 72 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 fier );...lex2.p
1bd0: 6f 70 46 72 6f 6e 74 3b 0a 09 61 75 74 6f 20 6c opFront;..auto l
1be0: 65 78 33 20 3d 20 6c 65 78 32 2e 73 61 76 65 3b ex3 = lex2.save;
1bf0: 0a 09 61 73 73 65 72 74 28 20 6c 65 78 32 2e 66 ..assert( lex2.f
1c00: 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 33 61 22 ront.str == "3a"
1c10: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 );...assert( le
1c20: 78 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d 3d x2.front.kind ==
1c30: 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e Token.Kind.iden
1c40: 74 69 66 69 65 72 20 29 3b 0d 0a 09 6c 65 78 32 tifier );...lex2
1c50: 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 .popFront;..asse
1c60: 72 74 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 rt( lex3.front.s
1c70: 74 72 20 3d 3d 20 22 33 61 22 20 29 3b 0a 09 61 tr == "3a" );..a
1c80: 73 73 65 72 74 28 20 6c 65 78 33 2e 66 72 6f 6e ssert( lex3.fron
1c90: 74 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e t.kind == Token.
1ca0: 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 20 Kind.identifier
1cb0: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 );...assert( lex
1cc0: 32 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 2.front.str == "
1cd0: 35 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 6c 5" );..assert( l
1ce0: 65 78 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d ex2.front.kind =
1cf0: 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 6d = Token.Kind.num
1d00: 62 65 72 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f ber );...lex2.po
1d10: 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 33 2e 70 6f pFront;..lex3.po
1d20: 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 28 pFront;..assert(
1d30: 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 3b 0a 09 lex2.empty );..
1d40: 61 73 73 65 72 74 28 20 21 6c 65 78 33 2e 65 6d assert( !lex3.em
1d50: 70 74 79 20 29 3b 0a 09 61 73 73 65 72 74 28 20 pty );..assert(
1d60: 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 20 3d lex3.front.str =
1d70: 3d 20 22 35 22 20 29 3b 0d 0a 09 61 73 73 65 72 = "5" );...asser
1d80: 74 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 6b 69 t( lex3.front.ki
1d90: 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 nd == Token.Kind
1da0: 2e 6e 75 6d 62 65 72 20 29 3b 0d 0a 7d 0d 0a 0d .number );..}...
1db0: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 2f 2f .unittest..{..//
1dc0: 21 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 75 !! be sure to ru
1dd0: 6e 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 6f n the unittest o
1de0: 6e 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 68 n the root of th
1df0: 65 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 6f e source directo
1e00: 72 79 0d 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d ry...auto lexf =
1e10: 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 lexerFromFile("
1e20: 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 polemy/lex.d");.
1e30: 0d 0a 09 6c 65 78 66 20 3d 20 66 69 6e 64 21 60 ...lexf = find!`
1e40: 61 2e 73 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 a.str == "module
1e50: 22 60 28 6c 65 78 66 29 3b 0d 0a 09 61 73 73 65 "`(lexf);...asse
1e60: 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 rt( lexf.front.s
1e70: 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 2c 20 tr == "module",
1e80: 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 20 29 lexf.front.str )
1e90: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
1ea0: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e .front.pos.filen
1eb0: 61 6d 65 20 3d 3d 20 22 70 6f 6c 65 6d 79 2f 6c ame == "polemy/l
1ec0: 65 78 2e 64 22 20 29 3b 0d 0a 09 61 73 73 65 72 ex.d" );...asser
1ed0: 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f t( lexf.front.po
1ee0: 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 37 20 29 3b s.lineno == 7 );
1ef0: 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e ...assert( lexf.
1f00: 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e front.pos.column
1f10: 20 3d 3d 20 31 20 29 3b 0d 0a 09 6c 65 78 66 2e == 1 );...lexf.
1f20: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
1f30: 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 rt( lexf.front.s
1f40: 74 72 20 3d 3d 20 22 70 6f 6c 65 6d 79 22 20 29 tr == "polemy" )
1f50: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
1f60: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e .front.pos.linen
1f70: 6f 20 3d 3d 20 37 20 29 3b 0d 0a 09 61 73 73 65 o == 7 );...asse
1f80: 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 rt( lexf.front.p
1f90: 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 38 20 29 os.column == 8 )
1fa0: 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e ;...lexf.popFron
1fb0: 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 t;...assert( lex
1fc0: 66 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 f.front.str == "
1fd0: 2e 22 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 ." );...lexf.pop
1fe0: 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 Front;...assert(
1ff0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 20 lexf.front.str
2000: 3d 3d 20 22 6c 65 78 22 20 29 3b 0d 0a 09 6c 65 == "lex" );...le
2010: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 xf.popFront;...a
2020: 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e ssert( lexf.fron
2030: 74 2e 73 74 72 20 3d 3d 20 22 3b 22 20 29 3b 0d t.str == ";" );.
2040: 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b ..lexf.popFront;
2050: 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e ...assert( lexf.
2060: 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 69 6d front.str == "im
2070: 70 6f 72 74 22 20 29 3b 0d 0a 09 61 73 73 65 72 port" );...asser
2080: 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f t( lexf.front.po
2090: 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 38 20 29 3b s.lineno == 8 );
20a0: 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e ...assert( lexf.
20b0: 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e front.pos.column
20c0: 20 3d 3d 20 31 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 == 1 );..}....u
20d0: 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 nittest..{...aut
20e0: 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f o lex = lexerFro
20f0: 6d 53 74 72 69 6e 67 28 60 6d 79 20 23 20 63 6f mString(`my # co
2100: 6d 6d 65 6e 74 20 73 68 6f 75 6c 64 0d 0a 23 20 mment should..#
2110: 68 65 79 21 21 0d 0a 62 65 20 69 67 6e 6f 72 65 hey!!..be ignore
2120: 64 2e 0d 0a 68 61 68 61 68 61 22 68 69 68 69 68 d...hahaha"hihih
2130: 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 31 i""hu\\\"huhu"#1
2140: 32 33 20 61 61 0d 0a 31 32 33 20 61 61 20 22 61 23 aa..123 aa "a
2150: 61 61 0d 0a 62 62 62 20 23 20 31 32 33 0d 0a 65 aa..bbb # 123..e
2160: 65 65 22 0d 0a 7a 7a 7a 0d 0a 60 29 3b 0d 0a 09 ee"..zzz..`);...
2170: 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 Token[] ts = std
2180: 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 .array.array(lex
2190: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b );...assert( ts[
21a0: 30 5d 2e 73 74 72 20 3d 3d 20 22 6d 79 22 20 29 0].str == "my" )
21b0: 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 30 ;...assert( ts[0
21c0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 ].pos.lineno ==
21d0: 31 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 1 );...assert( t
21e0: 73 5b 31 5d 2e 73 74 72 20 3d 3d 20 22 62 65 22 s[1].str == "be"
21f0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
2200: 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d [1].pos.lineno =
2210: 3d 20 33 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 = 3 );...assert(
2220: 20 74 73 5b 32 5d 2e 73 74 72 20 3d 3d 20 22 69 ts[2].str == "i
2230: 67 6e 6f 72 65 64 22 20 29 3b 0d 0a 09 61 73 73 gnored" );...ass
2240: 65 72 74 28 20 74 73 5b 33 5d 2e 73 74 72 20 3d ert( ts[3].str =
2250: 3d 20 22 2e 22 20 29 3b 0d 0a 09 61 73 73 65 72 = "." );...asser
2260: 74 28 20 74 73 5b 34 5d 2e 73 74 72 20 3d 3d 20 t( ts[4].str ==
2270: 22 68 61 68 61 68 61 22 20 29 3b 0d 0a 09 61 73 "hahaha" );...as
2280: 73 65 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 2e sert( ts[4].pos.
2290: 6c 69 6e 65 6e 6f 20 3d 3d 20 34 20 29 3b 0d 0a lineno == 4 );..
22a0: 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 6b .assert( ts[4].k
22b0: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
22c0: 64 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b 0d d.identifier );.
22d0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 5d 2e ..assert( ts[5].
22e0: 73 74 72 20 3d 3d 20 22 68 69 68 69 68 69 22 20 str == "hihihi"
22f0: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b );...assert( ts[
2300: 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 5].pos.lineno ==
2310: 20 34 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 4 );...assert(
2320: 74 73 5b 35 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f ts[5].kind == To
2330: 6b 65 6e 2e 4b 69 6e 64 2e 73 74 72 69 6e 67 4c ken.Kind.stringL
2340: 69 74 65 72 61 6c 20 29 3b 0d 0a 09 61 73 73 65 iteral );...asse
2350: 72 74 28 20 74 73 5b 36 5d 2e 73 74 72 20 3d 3d rt( ts[6].str ==
2360: 20 60 68 75 5c 22 68 75 68 75 60 20 29 3b 0d 0a `hu\"huhu` );..
2370: 09 61 73 73 65 72 74 28 20 74 73 5b 36 5d 2e 6b .assert( ts[6].k
2380: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
2390: 64 2e 73 74 72 69 6e 67 4c 69 74 65 72 61 6c 20 d.stringLiteral
23a0: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b );...assert( ts[
23b0: 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 6].pos.lineno ==
23c0: 20 34 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 4 );...assert(
23d0: 74 73 5b 37 5d 2e 73 74 72 20 3d 3d 20 22 31 32 ts[7].str == "12
23e0: 33 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 3" );...assert(
23f0: 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[7].pos.lineno
2400: 20 3d 3d 20 35 20 29 3b 0d 0a 09 61 73 73 65 72 == 5 );...asser
2410: 74 28 20 74 73 5b 37 5d 2e 6b 69 6e 64 20 3d 3d t( ts[7].kind ==
2420: 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 6d 62 Token.Kind.numb
2430: 65 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 er );...assert(
2440: 74 73 5b 38 5d 2e 73 74 72 20 3d 3d 20 22 61 61 ts[8].str == "aa
2450: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 " );...assert( t
2460: 73 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 s[9].pos.lineno
2470: 3d 3d 20 35 20 29 3b 0d 0a 09 61 73 73 65 72 74 == 5 );...assert
2480: 28 20 74 73 5b 39 5d 2e 73 74 72 20 3d 3d 20 22 ( ts[9].str == "
2490: 61 61 61 5c 6e 62 62 62 20 23 20 31 32 33 5c 6e aaa\nbbb # 123\n
24a0: 65 65 65 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 eee" );...assert
24b0: 28 20 74 73 5b 39 5d 2e 6b 69 6e 64 20 3d 3d 20 ( ts[9].kind ==
24c0: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 73 74 72 69 6e Token.Kind.strin
24d0: 67 4c 69 74 65 72 61 6c 20 29 3b 0d 0a 09 61 73 gLiteral );...as
24e0: 73 65 72 74 28 20 74 73 5b 31 30 5d 2e 70 6f 73 sert( ts[10].pos
24f0: 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 38 20 29 3b 0d .lineno == 8 );.
2500: 0a 09 61 73 73 65 72 74 28 20 74 73 2e 6c 65 6e ..assert( ts.len
2510: 67 74 68 20 3d 3d 20 31 31 20 29 3b 0d 0a 7d 0d gth == 11 );..}.
2520: 0a .