0000: 2f 2a 2a 0d 0a 20 2a 20 41 75 74 68 6f 72 73 3a /**.. * Authors:
0010: 20 6b 2e 69 6e 61 62 61 0d 0a 20 2a 20 4c 69 63 k.inaba.. * Lic
0020: 65 6e 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 ense: NYSL 0.998
0030: 32 20 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 2 http://www.kmo
0040: 6e 6f 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0d 0a 20 nos.net/nysl/..
0050: 2a 0d 0a 20 2a 20 4c 65 78 65 72 20 66 6f 72 20 *.. * Lexer for
0060: 50 6f 6c 65 6d 79 20 70 72 6f 67 72 61 6d 6d 69 Polemy programmi
0070: 6e 67 20 6c 61 6e 67 75 61 67 65 2e 0d 0a 20 2a ng language... *
0080: 2f 0d 0a 6d 6f 64 75 6c 65 20 70 6f 6c 65 6d 79 /..module polemy
0090: 2e 6c 65 78 3b 0a 69 6d 70 6f 72 74 20 70 6f 6c .lex;.import pol
00a0: 65 6d 79 2e 5f 63 6f 6d 6d 6f 6e 3b 0a 0d 0a 69 emy._common;...i
00b0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 3a mport std.file :
00c0: 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f 72 readText;.impor
00d0: 74 20 73 74 64 2e 73 74 72 69 6e 67 20 3a 20 6d t std.string : m
00e0: 75 6e 63 68 3b 0a 69 6d 70 6f 72 74 20 73 74 64 unch;.import std
00f0: 2e 63 74 79 70 65 3b 0d 0a 0d 0a 2f 2f 2f 20 52 .ctype;..../// R
0100: 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 69 epresents a posi
0110: 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 65 tion in a source
0120: 20 63 6f 64 65 0a 0d 0a 63 6c 61 73 73 20 4c 65 code...class Le
0130: 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d xPosition.{..imm
0140: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 utable string fi
0150: 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 lename; /// name
0160: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 of the source f
0170: 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 ile..immutable i
0180: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 nt lineno;
0190: 2f 2f 2f 20 6c 69 6e 65 20 6e 75 6d 62 65 72 2c /// line number,
01a0: 20 31 2c 20 32 2c 20 2e 2e 2e 0a 09 69 6d 6d 75 1, 2, .....immu
01b0: 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 6f 6c table int col
01c0: 75 6d 6e 3b 20 20 20 2f 2f 2f 20 63 6f 6c 75 6d umn; /// colum
01d0: 6e 2c 20 31 2c 20 32 2c 20 2e 2e 2e 0d 0a 0d 0a n, 1, 2, .......
01e0: 09 6f 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 .override string
01f0: 20 74 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 toString() cons
0200: 74 0d 0a 09 09 7b 20 72 65 74 75 72 6e 20 73 70 t....{ return sp
0210: 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 64 22 rintf!"%s:%d:%d"
0220: 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e (filename, linen
0230: 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0d 0a 0a o, column); }...
0240: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e .mixin SimpleCon
0250: 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 structor;...mixi
0260: 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b n SimpleCompare;
0270: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
0280: 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 auto p = new Lex
0290: 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e Position("hello.
02a0: 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0d cpp", 123, 45);.
02b0: 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c ..auto q = new L
02c0: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
02d0: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 o.cpp", 123, 46)
02e0: 3b 0d 0a 0a 09 61 73 73 65 72 74 28 20 70 2e 66 ;....assert( p.f
02f0: 69 6c 65 6e 61 6d 65 20 3d 3d 20 22 68 65 6c 6c ilename == "hell
0300: 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 73 65 72 o.cpp" );..asser
0310: 74 28 20 70 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 31 t( p.lineno == 1
0320: 32 33 20 29 3b 0a 09 61 73 73 65 72 74 28 20 70 23 );..assert( p
0330: 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 34 35 20 29 3b .column == 45 );
0340: 0d 0a 09 61 73 73 65 72 74 28 20 74 6f 21 73 74 ...assert( to!st
0350: 72 69 6e 67 28 70 29 20 3d 3d 20 22 68 65 6c 6c ring(p) == "hell
0360: 6f 2e 63 70 70 3a 31 32 33 3a 34 35 22 20 29 3b o.cpp:123:45" );
0370: 0d 0a 09 61 73 73 65 72 74 28 20 70 20 3c 20 71 ...assert( p < q
0380: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 70 20 );...assert( p
0390: 21 3d 20 71 20 29 3b 0d 0a 0a 09 61 73 73 65 72 != q );....asser
03a0: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
03b0: 70 69 6c 65 73 2c 20 6e 65 77 20 4c 65 78 50 6f piles, new LexPo
03c0: 73 69 74 69 6f 6e 29 20 29 3b 0a 09 61 73 73 65 sition) );..asse
03d0: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
03e0: 6d 70 69 6c 65 73 2c 20 70 2e 66 69 6c 65 6e 61 mpiles, p.filena
03f0: 6d 65 3d 22 66 6f 6f 22 29 20 29 3b 0a 09 61 73 me="foo") );..as
0400: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0410: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 6c 69 6e 65 compiles, p.line
0420: 6e 6f 20 20 3d 37 38 39 29 20 29 3b 0a 09 61 73 no =789) );..as
0430: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0440: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 63 6f 6c 75 compiles, p.colu
0450: 6d 6e 20 20 3d 32 32 32 29 20 29 3b 0a 7d 0a 0d mn =222) );.}..
0460: 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 ./// Represents
0470: 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e 0a 0d 0a a lexer token...
0480: 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0d 0a 09 class Token.{...
0490: 2f 2f 2f 20 63 75 72 72 65 6e 74 6c 79 20 77 65 /// currently we
04a0: 20 68 61 76 65 20 74 68 72 65 65 20 6b 69 6e 64 have three kind
04b0: 73 20 6f 66 20 74 6f 6b 65 6e 0a 09 65 6e 75 6d s of token..enum
04c0: 20 4b 69 6e 64 20 7b 0d 0a 09 09 69 64 65 6e 74 Kind {....ident
04d0: 69 66 69 65 72 2c 20 2f 2f 2f 20 61 6e 79 74 68 ifier, /// anyth
04e0: 69 6e 67 20 6f 74 68 65 72 20 74 68 61 6e 20 6f ing other than o
04f0: 74 68 65 72 73 0d 0a 09 09 73 74 72 69 6e 67 4c thers....stringL
0500: 69 74 65 72 61 6c 2c 20 2f 2f 2f 20 22 73 74 72 iteral, /// "str
0510: 69 6e 67 20 6c 69 74 65 72 61 6c 22 0d 0a 09 09 ing literal"....
0520: 6e 75 6d 62 65 72 20 2f 2f 2f 20 34 32 0d 0a 09 number /// 42...
0530: 7d 3b 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 20 4c };...immutable L
0540: 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 3b 20 exPosition pos;
0550: 20 2f 2f 2f 20 70 6f 73 69 74 69 6f 6e 20 77 68 /// position wh
0560: 65 72 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 ere the token oc
0570: 63 75 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f curred in the so
0580: 75 72 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 urce..immutable
0590: 73 74 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b string str;
05a0: 20 20 2f 2f 2f 20 74 68 65 20 74 6f 6b 65 6e 20 /// the token
05b0: 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0d 0a 09 string itself...
05c0: 69 6d 6d 75 74 61 62 6c 65 20 4b 69 6e 64 20 20 immutable Kind
05d0: 20 20 20 20 20 20 6b 69 6e 64 3b 20 2f 2f 2f 20 kind; ///
05e0: 77 68 69 63 68 20 6b 69 6e 64 20 6f 66 20 74 6f which kind of to
05f0: 6b 65 6e 3f 0d 0a 0d 0a 09 6d 69 78 69 6e 20 53 ken?.....mixin S
0600: 69 6d 70 6c 65 43 6f 6e 73 74 72 75 63 74 6f 72 impleConstructor
0610: 3b 0d 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 ;...mixin Simple
0620: 43 6f 6d 70 61 72 65 3b 0a 7d 0a 0a 75 6e 69 74 Compare;.}..unit
0630: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d test.{..auto p =
0640: 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c new immutable(L
0650: 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 68 65 6c exPosition)("hel
0660: 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 35 lo.cpp", 123, 45
0670: 29 3b 0a 09 61 75 74 6f 20 74 20 3d 20 6e 65 77 );..auto t = new
0680: 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 Token(p, "class
0690: 22 2c 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 ", Token.Kind.id
06a0: 65 6e 74 69 66 69 65 72 29 3b 0a 0a 09 61 73 73 entifier);...ass
06b0: 65 72 74 28 20 74 2e 70 6f 73 20 3d 3d 20 70 20 ert( t.pos == p
06c0: 29 3b 0a 09 61 73 73 65 72 74 28 20 74 2e 73 74 );..assert( t.st
06d0: 72 20 3d 3d 20 22 63 6c 61 73 73 22 20 29 3b 0d r == "class" );.
06e0: 0a 09 61 73 73 65 72 74 28 20 74 20 3d 3d 20 6e ..assert( t == n
06f0: 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 ew Token(p, "cla
0700: 73 73 22 2c 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e ss", Token.Kind.
0710: 69 64 65 6e 74 69 66 69 65 72 29 20 29 3b 0d 0a identifier) );..
0720: 09 61 73 73 65 72 74 28 20 74 20 3c 20 6e 65 77 .assert( t < new
0730: 20 54 6f 6b 65 6e 28 70 2c 20 22 73 74 72 75 63 Token(p, "struc
0740: 74 22 2c 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 t", Token.Kind.i
0750: 64 65 6e 74 69 66 69 65 72 29 20 29 3b 0d 0a 0a dentifier) );...
0760: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
0770: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 ts(compiles, new
0780: 20 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 73 73 65 Token) );..asse
0790: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
07a0: 6d 70 69 6c 65 73 2c 20 74 2e 70 6f 73 3d 70 29 mpiles, t.pos=p)
07b0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
07c0: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
07d0: 20 74 2e 73 74 72 3d 37 38 39 29 20 29 3b 0a 7d t.str=789) );.}
07e0: 0a 0d 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e .../// Named Con
07f0: 73 74 72 75 74 6f 72 20 66 6f 72 20 4c 65 78 65 strutor for Lexe
0800: 72 0d 0a 0d 0a 4c 65 78 65 72 20 6c 65 78 65 72 r....Lexer lexer
0810: 46 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 28 20 FromFile(T...)(
0820: 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 2c string filename,
0830: 20 54 20 72 65 73 74 20 29 0d 0a 7b 0d 0a 09 72 T rest )..{...r
0840: 65 74 75 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 eturn lexerFromS
0850: 74 72 69 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e tring( std.file.
0860: 72 65 61 64 54 65 78 74 28 66 69 6c 65 6e 61 6d readText(filenam
0870: 65 29 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 72 65 e), filename, re
0880: 73 74 20 29 3b 0d 0a 7d 0d 0a 09 0d 0a 2f 2f 2f st );..}.....///
0890: 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f Named Construto
08a0: 72 20 66 6f 72 20 4c 65 78 65 72 0d 0a 0d 0a 4c r for Lexer....L
08b0: 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d 53 74 exer lexerFromSt
08c0: 72 69 6e 67 28 20 73 74 72 69 6e 67 20 73 74 72 ring( string str
08d0: 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d , string filenam
08e0: 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c 20 69 e="<unnamed>", i
08f0: 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c 20 69 6e 74 nt lineno=1, int
0900: 20 63 6f 6c 75 6d 6e 3d 31 20 29 0d 0a 7b 0d 0a column=1 )..{..
0910: 09 72 65 74 75 72 6e 20 6e 65 77 20 4c 65 78 65 .return new Lexe
0920: 72 28 73 74 72 2c 20 66 69 6c 65 6e 61 6d 65 2c r(str, filename,
0930: 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 lineno, column)
0940: 3b 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 4c 65 78 65 ;..}..../// Lexe
0950: 72 20 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 r is a forward r
0960: 61 6e 67 65 20 6f 66 20 54 6f 6b 65 6e 73 0d 0a ange of Tokens..
0970: 0d 0a 63 6c 61 73 73 20 4c 65 78 65 72 0a 7b 0d ..class Lexer.{.
0980: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d ../// Range prim
0990: 69 74 69 76 65 0a 09 62 6f 6f 6c 20 65 6d 70 74 itive..bool empt
09a0: 79 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a y() /*@property*
09b0: 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 63 75 /..{...return cu
09c0: 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 3b 0a 09 rrent is null;..
09d0: 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 }.../// Range pr
09e0: 69 6d 69 74 69 76 65 0d 0a 09 54 6f 6b 65 6e 20 imitive...Token
09f0: 66 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 front() /*@prope
0a00: 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 rty*/..{...retur
0a10: 6e 20 73 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e n std.exception.
0a20: 65 6e 66 6f 72 63 65 28 63 75 72 72 65 6e 74 2c enforce(current,
0a30: 20 22 4c 65 78 65 72 20 68 61 73 20 61 6c 72 65 "Lexer has alre
0a40: 61 64 79 20 72 65 61 63 68 65 64 20 74 68 65 20 ady reached the
0a50: 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 end");..}...///
0a60: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
0a70: 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 ..void popFront(
0a80: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a ) /*@property*/.
0a90: 09 7b 0a 09 09 73 74 64 2e 65 78 63 65 70 74 69 .{...std.excepti
0aa0: 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 65 on.enforce(curre
0ab0: 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 61 nt, "Lexer has a
0ac0: 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 20 74 lready reached t
0ad0: 68 65 20 65 6e 64 22 29 3b 0d 0a 09 09 63 75 72 he end");....cur
0ae0: 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 78 74 28 rent = readNext(
0af0: 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 );..}.../// Rang
0b00: 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 4c 65 e primitive...Le
0b10: 78 65 72 20 73 61 76 65 28 29 20 2f 2a 40 70 72 xer save() /*@pr
0b20: 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 operty*/..{...re
0b30: 74 75 72 6e 20 6e 65 77 20 4c 65 78 65 72 28 62 turn new Lexer(b
0b40: 75 66 66 65 72 2c 20 66 69 6c 65 6e 61 6d 65 2c uffer, filename,
0b50: 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 2c lineno, column,
0b60: 20 63 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 current);..}..p
0b70: 72 69 76 61 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 rivate: // imple
0b80: 6d 65 6e 74 61 74 69 6f 6e 0a 0d 0a 09 73 74 72 mentation....str
0b90: 69 6e 67 20 62 75 66 66 65 72 3b 0a 09 73 74 72 ing buffer;..str
0ba0: 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3b 0a 09 69 ing filename;..i
0bb0: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 0a 09 69 nt lineno;..i
0bc0: 6e 74 20 20 20 20 63 6f 6c 75 6d 6e 3b 0a 09 54 nt column;..T
0bd0: 6f 6b 65 6e 20 20 63 75 72 72 65 6e 74 3b 0a 0a oken current;..
0be0: 09 69 6e 76 61 72 69 61 6e 74 28 29 0a 09 7b 0d .invariant()..{.
0bf0: 0a 09 09 61 73 73 65 72 74 28 20 62 75 66 66 65 ...assert( buffe
0c00: 72 2e 65 6d 70 74 79 20 7c 7c 20 21 73 74 64 2e r.empty || !std.
0c10: 63 74 79 70 65 2e 69 73 73 70 61 63 65 28 62 75 ctype.isspace(bu
0c20: 66 66 65 72 5b 30 5d 29 20 29 3b 0a 09 7d 0a 0a ffer[0]) );..}..
0c30: 09 74 68 69 73 28 20 73 74 72 69 6e 67 20 62 75 .this( string bu
0c40: 66 66 65 72 2c 20 73 74 72 69 6e 67 20 66 69 6c ffer, string fil
0c50: 65 6e 61 6d 65 2c 20 69 6e 74 20 6c 69 6e 65 6e ename, int linen
0c60: 6f 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 2c 20 54 o, int column, T
0c70: 6f 6b 65 6e 20 63 75 72 72 65 6e 74 3d 6e 75 6c oken current=nul
0c80: 6c 20 29 0a 09 7b 0a 09 09 74 68 69 73 2e 62 75 l )..{...this.bu
0c90: 66 66 65 72 20 20 20 3d 20 62 75 66 66 65 72 3b ffer = buffer;
0ca0: 0a 09 09 74 68 69 73 2e 66 69 6c 65 6e 61 6d 65 ...this.filename
0cb0: 20 3d 20 66 69 6c 65 6e 61 6d 65 3b 0a 09 09 74 = filename;...t
0cc0: 68 69 73 2e 6c 69 6e 65 6e 6f 20 20 20 3d 20 6c his.lineno = l
0cd0: 69 6e 65 6e 6f 3b 0a 09 09 74 68 69 73 2e 63 6f ineno;...this.co
0ce0: 6c 75 6d 6e 20 20 20 3d 20 63 6f 6c 75 6d 6e 3b lumn = column;
0cf0: 0a 09 09 73 6b 69 70 77 73 28 29 3b 0a 09 09 74 ...skipws();...t
0d00: 68 69 73 2e 63 75 72 72 65 6e 74 20 20 3d 20 28 his.current = (
0d10: 63 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 current is null
0d20: 3f 20 72 65 61 64 4e 65 78 74 28 29 20 3a 20 63 ? readNext() : c
0d30: 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a 09 76 6f urrent);..}...vo
0d40: 69 64 20 73 6b 69 70 77 73 28 29 0a 09 7b 0d 0a id skipws()..{..
0d50: 09 09 62 6f 6f 6c 20 70 72 6f 67 72 65 73 73 20 ..bool progress
0d60: 3d 20 66 61 6c 73 65 3b 0d 0a 09 09 64 6f 0a 09 = false;....do..
0d70: 09 7b 0a 09 09 09 73 74 72 69 6e 67 20 77 73 20 .{....string ws
0d80: 3d 20 62 75 66 66 65 72 2e 6d 75 6e 63 68 28 22 = buffer.munch("
0d90: 20 5c 74 22 29 3b 0a 09 09 09 63 6f 6c 75 6d 6e \t");....column
0da0: 20 2b 3d 20 77 73 2e 6c 65 6e 67 74 68 3b 0d 0a += ws.length;..
0db0: 09 09 09 70 72 6f 67 72 65 73 73 20 3d 20 21 77 ...progress = !w
0dc0: 73 2e 65 6d 70 74 79 3b 0d 0a 09 09 09 77 68 69 s.empty;.....whi
0dd0: 6c 65 28 20 21 62 75 66 66 65 72 2e 65 6d 70 74 le( !buffer.empt
0de0: 79 20 26 26 20 28 62 75 66 66 65 72 5b 30 5d 3d y && (buffer[0]=
0df0: 3d 27 5c 72 27 20 7c 7c 20 62 75 66 66 65 72 5b ='\r' || buffer[
0e00: 30 5d 3d 3d 27 5c 6e 27 29 20 29 0a 09 09 09 7b 0]=='\n') )....{
0e10: 0d 0a 09 09 09 09 70 72 6f 67 72 65 73 73 20 3d ......progress =
0e20: 20 74 72 75 65 3b 0a 09 09 09 09 69 66 28 20 62 true;.....if( b
0e30: 75 66 66 65 72 5b 30 5d 20 3d 3d 20 27 5c 6e 27 uffer[0] == '\n'
0e40: 20 29 0a 09 09 09 09 09 62 75 66 66 65 72 20 3d )......buffer =
0e50: 20 62 75 66 66 65 72 5b 31 2e 2e 24 5d 3b 0a 09 buffer[1..$];..
0e60: 09 09 09 65 6c 73 65 20 2f 2f 20 69 66 28 20 62 ...else // if( b
0e70: 75 66 66 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 uffer.front == '
0e80: 5c 72 27 20 29 0a 09 09 09 09 7b 0a 09 09 09 09 \r' ).....{.....
0e90: 09 62 75 66 66 65 72 20 3d 20 62 75 66 66 65 72 .buffer = buffer
0ea0: 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 09 69 66 28 [1..$];......if(
0eb0: 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 !buffer.empty &
0ec0: 26 20 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 6e & buffer[0]=='\n
0ed0: 27 20 29 0a 09 09 09 09 09 09 62 75 66 66 65 72 ' ).......buffer
0ee0: 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 5d 3b = buffer[1..$];
0ef0: 0a 09 09 09 09 7d 0a 09 09 09 09 6c 69 6e 65 6e .....}.....linen
0f00: 6f 20 2b 2b 3b 0a 09 09 09 09 63 6f 6c 75 6d 6e o ++;.....column
0f10: 20 3d 20 31 3b 0a 09 09 09 7d 0a 09 09 7d 77 68 = 1;....}...}wh
0f20: 69 6c 65 28 20 70 72 6f 67 72 65 73 73 20 29 3b ile( progress );
0f30: 0a 09 7d 0a 0d 0a 09 63 68 61 72 20 72 65 61 64 ..}....char read
0f40: 43 68 61 72 28 29 0d 0a 09 7b 0d 0a 09 09 73 63 Char()...{....sc
0f50: 6f 70 65 28 65 78 69 74 29 20 7b 0d 0a 09 09 09 ope(exit) {.....
0f60: 62 75 66 66 65 72 20 3d 20 62 75 66 66 65 72 5b buffer = buffer[
0f70: 31 2e 2e 24 5d 3b 0d 0a 09 09 09 63 6f 6c 75 6d 1..$];.....colum
0f80: 6e 20 2b 2b 3b 0d 0a 09 09 7d 0d 0a 09 09 72 65 n ++;....}....re
0f90: 74 75 72 6e 20 62 75 66 66 65 72 5b 30 5d 3b 0d turn buffer[0];.
0fa0: 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 54 68 69 73 ..}...../// This
0fb0: 20 69 73 20 74 68 65 20 6d 61 69 6e 20 6c 65 78 is the main lex
0fc0: 69 6e 67 20 72 6f 75 74 69 6e 65 0a 09 54 6f 6b ing routine..Tok
0fd0: 65 6e 20 72 65 61 64 4e 65 78 74 28 29 0a 09 7b en readNext()..{
0fe0: 0d 0a 09 09 69 66 28 20 62 75 66 66 65 72 2e 65 ....if( buffer.e
0ff0: 6d 70 74 79 20 29 0a 09 09 09 72 65 74 75 72 6e mpty )....return
1000: 20 6e 75 6c 6c 3b 0a 09 09 73 63 6f 70 65 28 65 null;...scope(e
1010: 78 69 74 29 0a 09 09 09 73 6b 69 70 77 73 28 29 xit)....skipws()
1020: 3b 0a 0a 09 09 69 66 28 20 69 73 53 79 6d 62 6f ;....if( isSymbo
1030: 6c 28 62 75 66 66 65 72 5b 30 5d 29 20 29 0a 09 l(buffer[0]) )..
1040: 09 7b 0d 0a 09 09 09 69 66 28 20 62 75 66 66 65 .{.....if( buffe
1050: 72 5b 30 5d 20 3d 3d 20 27 23 27 20 29 0d 0a 09 r[0] == '#' )...
1060: 09 09 7b 0d 0a 09 09 09 09 2f 2f 20 73 6b 69 70 ..{......// skip
1070: 20 63 6f 6d 6d 65 6e 74 0d 0a 09 09 09 09 77 68 comment......wh
1080: 69 6c 65 28 20 21 62 75 66 66 65 72 2e 65 6d 70 ile( !buffer.emp
1090: 74 79 20 26 26 20 28 62 75 66 66 65 72 5b 30 5d ty && (buffer[0]
10a0: 21 3d 27 5c 6e 27 20 26 26 20 62 75 66 66 65 72 !='\n' && buffer
10b0: 5b 30 5d 21 3d 27 5c 72 27 29 20 29 0d 0a 09 09 [0]!='\r') )....
10c0: 09 09 09 72 65 61 64 43 68 61 72 28 29 3b 0d 0a ...readChar();..
10d0: 09 09 09 09 73 6b 69 70 77 73 28 29 3b 0d 0a 09 ....skipws();...
10e0: 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 4e 65 ...return readNe
10f0: 78 74 28 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 xt();.....}.....
1100: 65 6c 73 65 20 69 66 28 20 62 75 66 66 65 72 5b else if( buffer[
1110: 30 5d 20 3d 3d 20 27 22 27 20 29 0d 0a 09 09 09 0] == '"' ).....
1120: 7b 0d 0a 09 09 09 09 2f 2f 20 73 74 72 69 6e 67 {......// string
1130: 20 6c 69 74 65 72 61 6c 0d 0a 09 09 09 09 61 75 literal......au
1140: 74 6f 20 70 6f 73 20 3d 20 63 75 72 72 65 6e 74 to pos = current
1150: 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 Position();.....
1160: 09 73 74 72 69 6e 67 20 6c 69 74 3b 0d 0a 09 09 .string lit;....
1170: 09 09 72 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 ..readChar();...
1180: 09 09 09 77 68 69 6c 65 28 20 21 62 75 66 66 65 ...while( !buffe
1190: 72 2e 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 r.empty && buffe
11a0: 72 5b 30 5d 21 3d 27 22 27 20 29 0d 0a 09 09 09 r[0]!='"' ).....
11b0: 09 7b 0d 0a 09 09 09 09 09 2f 2f 20 72 65 61 64 .{.......// read
11c0: 20 6f 6e 65 20 63 68 61 72 0d 0a 09 09 09 09 09 one char.......
11d0: 63 68 61 72 20 63 20 3d 20 72 65 61 64 43 68 61 char c = readCha
11e0: 72 28 29 3b 0d 0a 09 09 09 09 09 69 66 28 20 63 r();.......if( c
11f0: 20 3d 3d 20 27 5c 5c 27 20 29 0d 0a 09 09 09 09 == '\\' )......
1200: 09 7b 0d 0a 09 09 09 09 09 09 69 66 28 20 21 62 .{........if( !b
1210: 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 28 uffer.empty && (
1220: 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 5c 27 20 buffer[0]=='\\'
1230: 7c 7c 20 62 75 66 66 65 72 5b 30 5d 3d 3d 27 22 || buffer[0]=='"
1240: 27 29 20 29 0d 0a 09 09 09 09 09 09 09 6c 69 74 ') ).........lit
1250: 20 7e 3d 20 72 65 61 64 43 68 61 72 28 29 3b 0d ~= readChar();.
1260: 0a 09 09 09 09 09 09 65 6c 73 65 0d 0a 09 09 09 .......else.....
1270: 09 09 09 09 6c 69 74 20 7e 3d 20 63 3b 0d 0a 09 ....lit ~= c;...
1280: 09 09 09 09 7d 0d 0a 09 09 09 09 09 65 6c 73 65 ....}.......else
1290: 20 69 66 28 20 63 20 3d 3d 20 27 5c 6e 27 20 29 if( c == '\n' )
12a0: 0d 0a 09 09 09 09 09 7b 0d 0a 09 09 09 09 09 09 .......{........
12b0: 6c 69 74 20 7e 3d 20 63 3b 0d 0a 09 09 09 09 09 lit ~= c;.......
12c0: 09 6c 69 6e 65 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 .lineno++;......
12d0: 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 ..column = 1;...
12e0: 09 09 09 09 7d 0d 0a 09 09 09 09 09 65 6c 73 65 ....}.......else
12f0: 20 69 66 28 20 63 20 3d 3d 20 27 5c 72 27 20 29 if( c == '\r' )
1300: 0d 0a 09 09 09 09 09 7b 0d 0a 09 09 09 09 09 09 .......{........
1310: 69 66 28 20 21 62 75 66 66 65 72 2e 65 6d 70 74 if( !buffer.empt
1320: 79 20 26 26 20 62 75 66 66 65 72 5b 30 5d 3d 3d y && buffer[0]==
1330: 27 5c 6e 27 20 29 0d 0a 09 09 09 09 09 09 09 72 '\n' ).........r
1340: 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 eadChar();......
1350: 09 09 6c 69 74 20 7e 3d 20 27 5c 6e 27 3b 0d 0a ..lit ~= '\n';..
1360: 09 09 09 09 09 09 6c 69 6e 65 6e 6f 2b 2b 3b 0d ......lineno++;.
1370: 0a 09 09 09 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 .......column =
1380: 31 3b 0d 0a 09 09 09 09 09 7d 0d 0a 09 09 09 09 1;.......}......
1390: 09 65 6c 73 65 0d 0a 09 09 09 09 09 09 6c 69 74 .else........lit
13a0: 20 7e 3d 20 63 3b 0d 0a 09 09 09 09 7d 0d 0a 09 ~= c;......}...
13b0: 09 09 09 69 66 28 20 21 62 75 66 66 65 72 2e 65 ...if( !buffer.e
13c0: 6d 70 74 79 20 29 0d 0a 09 09 09 09 09 72 65 61 mpty ).......rea
13d0: 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 72 65 dChar();......re
13e0: 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 turn new Token(p
13f0: 6f 73 2c 20 6c 69 74 2c 20 54 6f 6b 65 6e 2e 4b os, lit, Token.K
1400: 69 6e 64 2e 73 74 72 69 6e 67 4c 69 74 65 72 61 ind.stringLitera
1410: 6c 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 65 6c l);.....}.....el
1420: 73 65 0d 0a 09 09 09 7b 0d 0a 09 09 09 09 2f 2f se.....{......//
1430: 20 6e 6f 72 6d 61 6c 20 73 79 6d 62 6f 6c 0a 09 normal symbol..
1440: 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 63 75 ...auto pos = cu
1450: 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b rrentPosition();
1460: 0d 0a 09 09 09 09 61 75 74 6f 20 73 74 72 20 3d ......auto str =
1470: 20 22 22 7e 72 65 61 64 43 68 61 72 28 29 3b 0a ""~readChar();.
1480: 09 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 ....return new T
1490: 6f 6b 65 6e 28 70 6f 73 2c 20 73 74 72 2c 20 54 oken(pos, str, T
14a0: 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 oken.Kind.identi
14b0: 66 69 65 72 29 3b 0d 0a 09 09 09 7d 0a 09 09 7d fier);.....}...}
14c0: 0a 09 09 65 6c 73 65 0a 09 09 7b 0a 09 09 09 61 ...else...{....a
14d0: 75 74 6f 20 70 6f 73 20 3d 20 63 75 72 72 65 6e uto pos = curren
14e0: 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 09 tPosition();....
14f0: 69 6e 74 20 69 20 3d 20 30 3b 0a 09 09 09 77 68 int i = 0;....wh
1500: 69 6c 65 28 20 69 3c 62 75 66 66 65 72 2e 6c 65 ile( i<buffer.le
1510: 6e 67 74 68 20 26 26 20 21 73 74 64 2e 63 74 79 ngth && !std.cty
1520: 70 65 2e 69 73 73 70 61 63 65 28 62 75 66 66 65 pe.isspace(buffe
1530: 72 5b 69 5d 29 20 26 26 20 21 69 73 53 79 6d 62 r[i]) && !isSymb
1540: 6f 6c 28 62 75 66 66 65 72 5b 69 5d 29 20 29 0a ol(buffer[i]) ).
1550: 09 09 09 09 2b 2b 69 3b 0a 09 09 09 61 75 74 6f ....++i;....auto
1560: 20 73 74 72 20 3d 20 62 75 66 66 65 72 5b 30 20 str = buffer[0
1570: 2e 2e 20 69 5d 3b 0a 09 09 09 62 75 66 66 65 72 .. i];....buffer
1580: 20 20 20 3d 20 62 75 66 66 65 72 5b 69 20 2e 2e = buffer[i ..
1590: 20 24 5d 3b 0a 09 09 09 63 6f 6c 75 6d 6e 20 20 $];....column
15a0: 2b 3d 20 69 3b 0d 0a 09 09 09 62 6f 6f 6c 20 69 += i;.....bool i
15b0: 73 4e 75 6d 62 65 72 20 3d 20 66 69 6e 64 21 28 sNumber = find!(
15c0: 60 61 3c 27 30 27 20 7c 7c 20 27 39 27 3c 61 60 `a<'0' || '9'<a`
15d0: 29 28 73 74 72 29 2e 65 6d 70 74 79 3b 0a 09 09 )(str).empty;...
15e0: 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 .return new Toke
15f0: 6e 28 70 6f 73 2c 20 73 74 72 2c 20 69 73 4e 75 n(pos, str, isNu
1600: 6d 62 65 72 20 3f 20 54 6f 6b 65 6e 2e 4b 69 6e mber ? Token.Kin
1610: 64 2e 6e 75 6d 62 65 72 20 3a 20 54 6f 6b 65 6e d.number : Token
1620: 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 .Kind.identifier
1630: 29 3b 0a 09 09 7d 0a 09 7d 0a 0a 09 62 6f 6f 6c );...}..}...bool
1640: 20 69 73 53 79 6d 62 6f 6c 28 63 68 61 72 20 63 isSymbol(char c
1650: 29 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 28 30 )..{...return (0
1660: 78 32 31 3c 3d 63 20 26 26 20 63 3c 3d 30 78 37 x21<=c && c<=0x7
1670: 66 20 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e f && !std.ctype.
1680: 69 73 61 6c 6e 75 6d 28 63 29 20 26 26 20 63 21 isalnum(c) && c!
1690: 3d 27 5f 27 29 3b 0a 09 7d 0a 0a 09 69 6d 6d 75 ='_');..}...immu
16a0: 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f table(LexPositio
16b0: 6e 29 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 n) currentPositi
16c0: 6f 6e 28 29 0a 09 7b 0a 09 09 72 65 74 75 72 6e on()..{...return
16d0: 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c new immutable(L
16e0: 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c 65 exPosition)(file
16f0: 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f name, lineno, co
1700: 6c 75 6d 6e 29 3b 0a 09 7d 0a 7d 0a 0a 75 6e 69 lumn);..}.}..uni
1710: 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 72 74 28 ttest.{..assert(
1720: 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 46 6f 72 std.range.isFor
1730: 77 61 72 64 52 61 6e 67 65 21 28 4c 65 78 65 72 wardRange!(Lexer
1740: 29 20 29 3b 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 ) );.}....unitte
1750: 73 74 0d 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 st..{..auto lex
1760: 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e = lexerFromStrin
1770: 67 28 22 74 68 69 73 09 69 73 20 61 20 5c 74 5c g("this.is a \t\
1780: 6e 20 70 65 6e 20 3a 2d 28 20 20 20 22 29 3b 0a n pen :-( ");.
1790: 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 .Token[] ts = st
17a0: 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 d.array.array(le
17b0: 78 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 74 73 x);...assert( ts
17c0: 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d [0].pos.lineno =
17d0: 3d 20 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 = 1 );..assert(
17e0: 74 73 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e ts[0].pos.column
17f0: 20 3d 3d 20 31 20 29 3b 0a 09 61 73 73 65 72 74 == 1 );..assert
1800: 28 20 74 73 5b 30 5d 2e 6b 69 6e 64 20 3d 3d 20 ( ts[0].kind ==
1810: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 Token.Kind.ident
1820: 69 66 69 65 72 20 29 3b 0d 0a 09 61 73 73 65 72 ifier );...asser
1830: 74 28 20 74 73 5b 30 5d 2e 73 74 72 20 3d 3d 20 t( ts[0].str ==
1840: 22 74 68 69 73 22 20 29 3b 0a 0d 0a 09 61 73 73 "this" );....ass
1850: 65 72 74 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c ert( ts[1].pos.l
1860: 69 6e 65 6e 6f 20 3d 3d 20 31 20 29 3b 0a 09 61 ineno == 1 );..a
1870: 73 73 65 72 74 28 20 74 73 5b 31 5d 2e 70 6f 73 ssert( ts[1].pos
1880: 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 36 20 29 3b 0a .column == 6 );.
1890: 09 61 73 73 65 72 74 28 20 74 73 5b 31 5d 2e 6b .assert( ts[1].k
18a0: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
18b0: 64 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b 0d d.identifier );.
18c0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 31 5d 2e ..assert( ts[1].
18d0: 73 74 72 20 3d 3d 20 22 69 73 22 20 29 3b 0a 0d str == "is" );..
18e0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 32 5d 2e ..assert( ts[2].
18f0: 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 31 20 pos.lineno == 1
1900: 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 32 );..assert( ts[2
1910: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 ].pos.column ==
1920: 39 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 9 );..assert( ts
1930: 5b 32 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 [2].kind == Toke
1940: 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 n.Kind.identifie
1950: 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 r );...assert( t
1960: 73 5b 32 5d 2e 73 74 72 20 3d 3d 20 22 61 22 20 s[2].str == "a"
1970: 29 3b 0a 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );....assert( ts
1980: 5b 33 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d [3].pos.lineno =
1990: 3d 20 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 = 2 );..assert(
19a0: 74 73 5b 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e ts[3].pos.column
19b0: 20 3d 3d 20 32 20 29 3b 0a 09 61 73 73 65 72 74 == 2 );..assert
19c0: 28 20 74 73 5b 33 5d 2e 6b 69 6e 64 20 3d 3d 20 ( ts[3].kind ==
19d0: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 Token.Kind.ident
19e0: 69 66 69 65 72 20 29 3b 0d 0a 09 61 73 73 65 72 ifier );...asser
19f0: 74 28 20 74 73 5b 33 5d 2e 73 74 72 20 3d 3d 20 t( ts[3].str ==
1a00: 22 70 65 6e 22 20 29 3b 0a 0d 0a 09 2f 2f 20 63 "pen" );....// c
1a10: 6f 6e 73 65 63 75 74 69 76 65 20 73 79 6d 62 6f onsecutive symbo
1a20: 6c 73 20 61 72 65 20 61 6c 77 61 79 73 20 73 65 ls are always se
1a30: 70 61 72 61 74 65 64 0d 0a 09 2f 2f 20 68 65 6e parated...// hen
1a40: 63 65 2c 20 6e 6f 20 22 2b 2b 22 20 6f 72 20 22 ce, no "++" or "
1a50: 3c 3c 22 20 6f 72 20 2e 2e 2e 0d 0a 09 09 0d 0a <<" or .........
1a60: 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 70 .assert( ts[4].p
1a70: 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 20 29 os.lineno == 2 )
1a80: 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d ;..assert( ts[4]
1a90: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 36 .pos.column == 6
1aa0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b );..assert( ts[
1ab0: 34 5d 2e 73 74 72 20 3d 3d 20 22 3a 22 20 29 3b 4].str == ":" );
1ac0: 0a 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 ....assert( ts[5
1ad0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 ].pos.lineno ==
1ae0: 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 2 );..assert( ts
1af0: 5b 35 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d [5].pos.column =
1b00: 3d 20 37 20 29 3b 0a 09 61 73 73 65 72 74 28 20 = 7 );..assert(
1b10: 74 73 5b 35 5d 2e 73 74 72 20 3d 3d 20 22 2d 22 ts[5].str == "-"
1b20: 20 29 3b 20 0a 0d 0a 09 61 73 73 65 72 74 28 20 ); ....assert(
1b30: 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[6].pos.lineno
1b40: 20 3d 3d 20 32 20 29 3b 0a 09 61 73 73 65 72 74 == 2 );..assert
1b50: 28 20 74 73 5b 36 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[6].pos.colu
1b60: 6d 6e 20 3d 3d 20 38 20 29 3b 0a 09 61 73 73 65 mn == 8 );..asse
1b70: 72 74 28 20 74 73 5b 36 5d 2e 73 74 72 20 3d 3d rt( ts[6].str ==
1b80: 20 22 28 22 20 29 3b 0a 0d 0a 09 61 73 73 65 72 "(" );....asser
1b90: 74 28 20 74 73 2e 6c 65 6e 67 74 68 20 3d 3d 20 t( ts.length ==
1ba0: 37 20 29 3b 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 7 );.}....unitte
1bb0: 73 74 0d 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 32 st..{..auto lex2
1bc0: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
1bd0: 6e 67 28 22 20 61 31 32 5c 6e 33 61 20 35 20 22 ng(" a12\n3a 5 "
1be0: 29 3b 0a 09 61 73 73 65 72 74 28 20 6c 65 78 32 );..assert( lex2
1bf0: 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 61 .front.str == "a
1c00: 31 32 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 12" );...assert(
1c10: 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 lex2.front.kind
1c20: 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 == Token.Kind.i
1c30: 64 65 6e 74 69 66 69 65 72 20 29 3b 0d 0a 09 6c dentifier );...l
1c40: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 ex2.popFront;..a
1c50: 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 78 32 2e uto lex3 = lex2.
1c60: 73 61 76 65 3b 0a 09 61 73 73 65 72 74 28 20 6c save;..assert( l
1c70: 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d ex2.front.str ==
1c80: 20 22 33 61 22 20 29 3b 0d 0a 09 61 73 73 65 72 "3a" );...asser
1c90: 74 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 6b 69 t( lex2.front.ki
1ca0: 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 nd == Token.Kind
1cb0: 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b 0d 0a .identifier );..
1cc0: 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a .lex2.popFront;.
1cd0: 09 61 73 73 65 72 74 28 20 6c 65 78 33 2e 66 72 .assert( lex3.fr
1ce0: 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 33 61 22 20 ont.str == "3a"
1cf0: 29 3b 0a 09 61 73 73 65 72 74 28 20 6c 65 78 33 );..assert( lex3
1d00: 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d 3d 20 54 .front.kind == T
1d10: 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 oken.Kind.identi
1d20: 66 69 65 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 fier );...assert
1d30: 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 ( lex2.front.str
1d40: 20 3d 3d 20 22 35 22 20 29 3b 0a 09 61 73 73 65 == "5" );..asse
1d50: 72 74 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 6b rt( lex2.front.k
1d60: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
1d70: 64 2e 6e 75 6d 62 65 72 20 29 3b 0d 0a 09 6c 65 d.number );...le
1d80: 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 x2.popFront;..le
1d90: 78 33 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 x3.popFront;..as
1da0: 73 65 72 74 28 20 6c 65 78 32 2e 65 6d 70 74 79 sert( lex2.empty
1db0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 6c 65 );..assert( !le
1dc0: 78 33 2e 65 6d 70 74 79 20 29 3b 0a 09 61 73 73 x3.empty );..ass
1dd0: 65 72 74 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e ert( lex3.front.
1de0: 73 74 72 20 3d 3d 20 22 35 22 20 29 3b 0d 0a 09 str == "5" );...
1df0: 61 73 73 65 72 74 28 20 6c 65 78 33 2e 66 72 6f assert( lex3.fro
1e00: 6e 74 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e nt.kind == Token
1e10: 2e 4b 69 6e 64 2e 6e 75 6d 62 65 72 20 29 3b 0d .Kind.number );.
1e20: 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a .}....unittest..
1e30: 7b 0d 0a 2f 2f 21 21 20 62 65 20 73 75 72 65 20 {..//!! be sure
1e40: 74 6f 20 72 75 6e 20 74 68 65 20 75 6e 69 74 74 to run the unitt
1e50: 65 73 74 20 6f 6e 20 74 68 65 20 72 6f 6f 74 20 est on the root
1e60: 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 64 69 of the source di
1e70: 72 65 63 74 6f 72 79 0d 0a 09 61 75 74 6f 20 6c rectory...auto l
1e80: 65 78 66 20 3d 20 6c 65 78 65 72 46 72 6f 6d 46 exf = lexerFromF
1e90: 69 6c 65 28 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e ile("polemy/lex.
1ea0: 64 22 29 3b 09 0d 0a 09 6c 65 78 66 20 3d 20 66 d");....lexf = f
1eb0: 69 6e 64 21 60 61 2e 73 74 72 20 3d 3d 20 22 6d ind!`a.str == "m
1ec0: 6f 64 75 6c 65 22 60 28 6c 65 78 66 29 3b 0d 0a odule"`(lexf);..
1ed0: 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 .assert( lexf.fr
1ee0: 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 6d 6f 64 75 ont.str == "modu
1ef0: 6c 65 22 2c 20 6c 65 78 66 2e 66 72 6f 6e 74 2e le", lexf.front.
1f00: 73 74 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 str );...assert(
1f10: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1f20: 66 69 6c 65 6e 61 6d 65 20 3d 3d 20 22 70 6f 6c filename == "pol
1f30: 65 6d 79 2f 6c 65 78 2e 64 22 20 29 3b 0d 0a 09 emy/lex.d" );...
1f40: 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 6f assert( lexf.fro
1f50: 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d nt.pos.lineno ==
1f60: 20 37 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 7 );...assert(
1f70: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 lexf.front.pos.c
1f80: 6f 6c 75 6d 6e 20 3d 3d 20 31 20 29 3b 0d 0a 09 olumn == 1 );...
1f90: 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lexf.popFront;..
1fa0: 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 .assert( lexf.fr
1fb0: 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 70 6f 6c 65 ont.str == "pole
1fc0: 6d 79 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 my" );...assert(
1fd0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1fe0: 6c 69 6e 65 6e 6f 20 3d 3d 20 37 20 29 3b 0d 0a lineno == 7 );..
1ff0: 09 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 .assert( lexf.fr
2000: 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d ont.pos.column =
2010: 3d 20 38 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f = 8 );...lexf.po
2020: 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 pFront;...assert
2030: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 ( lexf.front.str
2040: 20 3d 3d 20 22 2e 22 20 29 3b 0d 0a 09 6c 65 78 == "." );...lex
2050: 66 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 f.popFront;...as
2060: 73 65 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 sert( lexf.front
2070: 2e 73 74 72 20 3d 3d 20 22 6c 65 78 22 20 29 3b .str == "lex" );
2080: 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ...lexf.popFront
2090: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
20a0: 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 3b .front.str == ";
20b0: 22 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 " );...lexf.popF
20c0: 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 ront;...assert(
20d0: 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 20 3d lexf.front.str =
20e0: 3d 20 22 69 6d 70 6f 72 74 22 20 29 3b 0d 0a 09 = "import" );...
20f0: 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 6f assert( lexf.fro
2100: 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d nt.pos.lineno ==
2110: 20 38 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 8 );...assert(
2120: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 lexf.front.pos.c
2130: 6f 6c 75 6d 6e 20 3d 3d 20 31 20 29 3b 0d 0a 7d olumn == 1 );..}
2140: 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d ....unittest..{.
2150: 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 ..auto lex = lex
2160: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 6d 79 erFromString(`my
2170: 20 23 20 63 6f 6d 6d 65 6e 74 20 73 68 6f 75 6c # comment shoul
2180: 64 0d 0a 23 20 68 65 79 21 21 0d 0a 62 65 20 69 d..# hey!!..be i
2190: 67 6e 6f 72 65 64 2e 0d 0a 68 61 68 61 68 61 22 gnored...hahaha"
21a0: 68 69 68 69 68 69 22 22 68 75 5c 5c 5c 22 68 75 hihihi""hu\\\"hu
21b0: 68 75 22 23 31 32 33 20 61 61 0d 0a 31 32 33 20 hu"#123 aa..123
21c0: 61 61 20 22 61 61 61 0d 0a 62 62 62 20 23 20 31 aa "aaa..bbb # 1
21d0: 32 33 0d 0a 65 65 65 22 0d 0a 7a 7a 7a 0d 0a 60 23..eee"..zzz..`
21e0: 29 3b 0d 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 );...Token[] ts
21f0: 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 = std.array.arra
2200: 79 28 6c 65 78 29 3b 0d 0a 09 61 73 73 65 72 74 y(lex);...assert
2210: 28 20 74 73 5b 30 5d 2e 73 74 72 20 3d 3d 20 22 ( ts[0].str == "
2220: 6d 79 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 my" );...assert(
2230: 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[0].pos.linen
2240: 6f 20 3d 3d 20 31 20 29 3b 0d 0a 09 61 73 73 65 o == 1 );...asse
2250: 72 74 28 20 74 73 5b 31 5d 2e 73 74 72 20 3d 3d rt( ts[1].str ==
2260: 20 22 62 65 22 20 29 3b 0d 0a 09 61 73 73 65 72 "be" );...asser
2270: 74 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e t( ts[1].pos.lin
2280: 65 6e 6f 20 3d 3d 20 33 20 29 3b 0d 0a 09 61 73 eno == 3 );...as
2290: 73 65 72 74 28 20 74 73 5b 32 5d 2e 73 74 72 20 sert( ts[2].str
22a0: 3d 3d 20 22 69 67 6e 6f 72 65 64 22 20 29 3b 0d == "ignored" );.
22b0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 33 5d 2e ..assert( ts[3].
22c0: 73 74 72 20 3d 3d 20 22 2e 22 20 29 3b 0d 0a 09 str == "." );...
22d0: 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 73 74 assert( ts[4].st
22e0: 72 20 3d 3d 20 22 68 61 68 61 68 61 22 20 29 3b r == "hahaha" );
22f0: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d ...assert( ts[4]
2300: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 34 .pos.lineno == 4
2310: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
2320: 5b 34 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 [4].kind == Toke
2330: 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 n.Kind.identifie
2340: 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 r );...assert( t
2350: 73 5b 35 5d 2e 73 74 72 20 3d 3d 20 22 68 69 68 s[5].str == "hih
2360: 69 68 69 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 ihi" );...assert
2370: 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[5].pos.line
2380: 6e 6f 20 3d 3d 20 34 20 29 3b 0d 0a 09 61 73 73 no == 4 );...ass
2390: 65 72 74 28 20 74 73 5b 35 5d 2e 6b 69 6e 64 20 ert( ts[5].kind
23a0: 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 73 74 == Token.Kind.st
23b0: 72 69 6e 67 4c 69 74 65 72 61 6c 20 29 3b 0d 0a ringLiteral );..
23c0: 09 61 73 73 65 72 74 28 20 74 73 5b 36 5d 2e 73 .assert( ts[6].s
23d0: 74 72 20 3d 3d 20 60 68 75 5c 22 68 75 68 75 60 tr == `hu\"huhu`
23e0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
23f0: 5b 36 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 [6].kind == Toke
2400: 6e 2e 4b 69 6e 64 2e 73 74 72 69 6e 67 4c 69 74 n.Kind.stringLit
2410: 65 72 61 6c 20 29 3b 0d 0a 09 61 73 73 65 72 74 eral );...assert
2420: 28 20 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[6].pos.line
2430: 6e 6f 20 3d 3d 20 34 20 29 3b 0d 0a 09 61 73 73 no == 4 );...ass
2440: 65 72 74 28 20 74 73 5b 37 5d 2e 73 74 72 20 3d ert( ts[7].str =
2450: 3d 20 22 31 32 33 22 20 29 3b 0d 0a 09 61 73 73 = "123" );...ass
2460: 65 72 74 28 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c ert( ts[7].pos.l
2470: 69 6e 65 6e 6f 20 3d 3d 20 35 20 29 3b 0d 0a 09 ineno == 5 );...
2480: 61 73 73 65 72 74 28 20 74 73 5b 37 5d 2e 6b 69 assert( ts[7].ki
2490: 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 nd == Token.Kind
24a0: 2e 6e 75 6d 62 65 72 20 29 3b 0d 0a 09 61 73 73 .number );...ass
24b0: 65 72 74 28 20 74 73 5b 38 5d 2e 73 74 72 20 3d ert( ts[8].str =
24c0: 3d 20 22 61 61 22 20 29 3b 0d 0a 09 61 73 73 65 = "aa" );...asse
24d0: 72 74 28 20 74 73 5b 39 5d 2e 70 6f 73 2e 6c 69 rt( ts[9].pos.li
24e0: 6e 65 6e 6f 20 3d 3d 20 35 20 29 3b 0d 0a 09 61 neno == 5 );...a
24f0: 73 73 65 72 74 28 20 74 73 5b 39 5d 2e 73 74 72 ssert( ts[9].str
2500: 20 3d 3d 20 22 61 61 61 5c 6e 62 62 62 20 23 20 == "aaa\nbbb #
2510: 31 32 33 5c 6e 65 65 65 22 20 29 3b 0d 0a 09 61 123\neee" );...a
2520: 73 73 65 72 74 28 20 74 73 5b 39 5d 2e 6b 69 6e ssert( ts[9].kin
2530: 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e d == Token.Kind.
2540: 73 74 72 69 6e 67 4c 69 74 65 72 61 6c 20 29 3b stringLiteral );
2550: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 31 30 ...assert( ts[10
2560: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 ].pos.lineno ==
2570: 38 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 8 );...assert( t
2580: 73 2e 6c 65 6e 67 74 68 20 3d 3d 20 31 31 20 29 s.length == 11 )
2590: 3b 0d 0a 7d 0d 0a ;..}..