0000: 2f 2a 2a 0d 0a 20 2a 20 41 75 74 68 6f 72 73 3a /**.. * Authors:
0010: 20 6b 2e 69 6e 61 62 61 0d 0a 20 2a 20 4c 69 63 k.inaba.. * Lic
0020: 65 6e 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 ense: NYSL 0.998
0030: 32 20 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 2 http://www.kmo
0040: 6e 6f 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0d 0a 20 nos.net/nysl/..
0050: 2a 0d 0a 20 2a 20 4c 65 78 65 72 20 66 6f 72 20 *.. * Lexer for
0060: 50 6f 6c 65 6d 79 20 70 72 6f 67 72 61 6d 6d 69 Polemy programmi
0070: 6e 67 20 6c 61 6e 67 75 61 67 65 2e 0d 0a 20 2a ng language... *
0080: 2f 0d 0a 6d 6f 64 75 6c 65 20 70 6f 6c 65 6d 79 /..module polemy
0090: 2e 6c 65 78 3b 0a 69 6d 70 6f 72 74 20 70 6f 6c .lex;.import pol
00a0: 65 6d 79 2e 5f 63 6f 6d 6d 6f 6e 3b 0a 0d 0a 69 emy._common;...i
00b0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 3a mport std.file :
00c0: 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f 72 readText;.impor
00d0: 74 20 73 74 64 2e 73 74 72 69 6e 67 20 3a 20 6d t std.string : m
00e0: 75 6e 63 68 3b 0a 69 6d 70 6f 72 74 20 73 74 64 unch;.import std
00f0: 2e 63 74 79 70 65 3b 0d 0a 0d 0a 2f 2f 2f 20 52 .ctype;..../// R
0100: 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 69 epresents a posi
0110: 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 65 tion in a source
0120: 20 63 6f 64 65 0a 0d 0a 63 6c 61 73 73 20 4c 65 code...class Le
0130: 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d xPosition.{..imm
0140: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 utable string fi
0150: 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 lename; /// name
0160: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 of the source f
0170: 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 ile..immutable i
0180: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 nt lineno;
0190: 2f 2f 2f 20 6c 69 6e 65 20 6e 75 6d 62 65 72 2c /// line number,
01a0: 20 31 2c 20 32 2c 20 2e 2e 2e 0a 09 69 6d 6d 75 1, 2, .....immu
01b0: 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 6f 6c table int col
01c0: 75 6d 6e 3b 20 20 20 2f 2f 2f 20 63 6f 6c 75 6d umn; /// colum
01d0: 6e 2c 20 31 2c 20 32 2c 20 2e 2e 2e 0d 0a 0d 0a n, 1, 2, .......
01e0: 09 6f 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 .override string
01f0: 20 74 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 toString() cons
0200: 74 0d 0a 09 09 7b 20 72 65 74 75 72 6e 20 73 70 t....{ return sp
0210: 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 64 22 rintf!"%s:%d:%d"
0220: 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e (filename, linen
0230: 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0d 0a 0a o, column); }...
0240: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e .mixin SimpleCon
0250: 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 structor;...mixi
0260: 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b n SimpleCompare;
0270: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
0280: 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 auto p = new Lex
0290: 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e Position("hello.
02a0: 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0d cpp", 123, 45);.
02b0: 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c ..auto q = new L
02c0: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
02d0: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 o.cpp", 123, 46)
02e0: 3b 0d 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 ;....assert_eq(
02f0: 70 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 68 65 6c p.filename, "hel
0300: 6c 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 73 65 lo.cpp" );..asse
0310: 72 74 5f 65 71 28 20 70 2e 6c 69 6e 65 6e 6f 2c rt_eq( p.lineno,
0320: 20 31 32 33 20 29 3b 0a 09 61 73 73 65 72 74 5f 123 );..assert_
0330: 65 71 28 20 70 2e 63 6f 6c 75 6d 6e 2c 20 34 35 eq( p.column, 45
0340: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
0350: 20 74 6f 21 73 74 72 69 6e 67 28 70 29 2c 20 22 to!string(p), "
0360: 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 33 3a 34 35 hello.cpp:123:45
0370: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6c 74 " );...assert_lt
0380: 28 20 70 2c 20 71 20 29 3b 0d 0a 09 61 73 73 65 ( p, q );...asse
0390: 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b 0d 0a rt_ne( p, q );..
03a0: 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 ..assert( !__tra
03b0: 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 its(compiles, ne
03c0: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 w LexPosition) )
03d0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
03e0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
03f0: 2e 66 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 .filename="foo")
0400: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0410: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0420: 20 70 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 p.lineno =789)
0430: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0440: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0450: 20 70 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 p.column =222)
0460: 20 29 3b 0a 7d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 );.}.../// Repr
0470: 65 73 65 6e 74 73 20 61 20 6c 65 78 65 72 20 74 esents a lexer t
0480: 6f 6b 65 6e 0a 0d 0a 63 6c 61 73 73 20 54 6f 6b oken...class Tok
0490: 65 6e 0a 7b 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 en.{...immutable
04a0: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 LexPosition pos
04b0: 3b 20 20 20 20 2f 2f 2f 20 50 6f 73 69 74 69 6f ; /// Positio
04c0: 6e 20 77 68 65 72 65 20 74 68 65 20 74 6f 6b 65 n where the toke
04d0: 6e 20 6f 63 63 75 72 72 65 64 20 69 6e 20 74 68 n occurred in th
04e0: 65 20 73 6f 75 72 63 65 0a 09 69 6d 6d 75 74 61 e source..immuta
04f0: 62 6c 65 20 73 74 72 69 6e 67 20 20 20 20 20 20 ble string
0500: 73 74 72 3b 20 20 20 20 2f 2f 2f 20 54 68 65 20 str; /// The
0510: 74 6f 6b 65 6e 20 73 74 72 69 6e 67 20 69 74 73 token string its
0520: 65 6c 66 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 20 elf...immutable
0530: 62 6f 6f 6c 20 20 20 20 20 20 20 20 71 75 6f 74 bool quot
0540: 65 64 3b 20 2f 2f 2f 20 57 61 73 20 69 74 20 61 ed; /// Was it a
0550: 20 22 71 75 6f 74 65 64 22 20 74 6f 6b 65 6e 20 "quoted" token
0560: 6f 72 20 75 6e 71 75 6f 74 65 64 3f 0d 0a 0d 0a or unquoted?....
0570: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e .mixin SimpleCon
0580: 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 structor;...mixi
0590: 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b n SimpleCompare;
05a0: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
05b0: 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 69 6d 6d auto p = new imm
05c0: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
05d0: 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c on)("hello.cpp",
05e0: 20 31 32 33 2c 20 34 35 29 3b 0a 09 61 75 74 6f 123, 45);..auto
05f0: 20 74 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 t = new Token(p
0600: 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 65 , "class", false
0610: 29 3b 0a 09 61 75 74 6f 20 75 20 3d 20 6e 65 77 );..auto u = new
0620: 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 Token(p, "class
0630: 22 2c 20 74 72 75 65 29 3b 0d 0a 0a 09 61 73 73 ", true);....ass
0640: 65 72 74 5f 65 71 28 20 74 2e 70 6f 73 2c 20 70 ert_eq( t.pos, p
0650: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
0660: 74 2e 73 74 72 2c 20 22 63 6c 61 73 73 22 20 29 t.str, "class" )
0670: 3b 0d 0a 09 61 73 73 65 72 74 28 20 21 74 2e 71 ;...assert( !t.q
0680: 75 6f 74 65 64 20 29 3b 0d 0a 09 61 73 73 65 72 uoted );...asser
0690: 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_eq( t, new Tok
06a0: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 en(p, "class", f
06b0: 61 6c 73 65 29 20 29 3b 0d 0a 09 61 73 73 65 72 alse) );...asser
06c0: 74 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_lt( t, new Tok
06d0: 65 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 en(p, "struct",
06e0: 66 61 6c 73 65 29 20 29 3b 0d 0a 09 61 73 73 65 false) );...asse
06f0: 72 74 5f 6e 65 28 20 74 2c 20 75 20 29 3b 0d 0a rt_ne( t, u );..
0700: 09 61 73 73 65 72 74 28 20 75 2e 71 75 6f 74 65 .assert( u.quote
0710: 64 20 29 3b 0d 0a 0a 09 61 73 73 65 72 74 28 20 d );....assert(
0720: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
0730: 65 73 2c 20 6e 65 77 20 54 6f 6b 65 6e 29 20 29 es, new Token) )
0740: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
0750: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 aits(compiles, t
0760: 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 61 73 73 65 .pos=p) );..asse
0770: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
0780: 6d 70 69 6c 65 73 2c 20 74 2e 73 74 72 3d 37 38 mpiles, t.str=78
0790: 39 29 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 9) );...assert(
07a0: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
07b0: 65 73 2c 20 74 2e 71 75 6f 74 65 64 3d 74 72 75 es, t.quoted=tru
07c0: 65 29 20 29 3b 0d 0a 7d 0a 0d 0a 2f 2f 2f 20 4e e) );..}.../// N
07d0: 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 amed Construtor
07e0: 66 6f 72 20 4c 65 78 65 72 0d 0a 0d 0a 4c 65 78 for Lexer....Lex
07f0: 65 72 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 er lexerFromFile
0800: 28 54 2e 2e 2e 29 28 20 73 74 72 69 6e 67 20 66 (T...)( string f
0810: 69 6c 65 6e 61 6d 65 2c 20 54 20 72 65 73 74 20 ilename, T rest
0820: 29 0d 0a 7b 0d 0a 09 72 65 74 75 72 6e 20 6c 65 )..{...return le
0830: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 20 73 xerFromString( s
0840: 74 64 2e 66 69 6c 65 2e 72 65 61 64 54 65 78 74 td.file.readText
0850: 28 66 69 6c 65 6e 61 6d 65 29 2c 20 66 69 6c 65 (filename), file
0860: 6e 61 6d 65 2c 20 72 65 73 74 20 29 3b 0d 0a 7d name, rest );..}
0870: 0d 0a 09 0d 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 ...../// Named C
0880: 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 20 4c 65 onstrutor for Le
0890: 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 20 6c 65 78 xer....Lexer lex
08a0: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 20 73 74 erFromString( st
08b0: 72 69 6e 67 20 73 74 72 2c 20 73 74 72 69 6e 67 ring str, string
08c0: 20 66 69 6c 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 filename="<unna
08d0: 6d 65 64 3e 22 2c 20 69 6e 74 20 6c 69 6e 65 6e med>", int linen
08e0: 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d o=1, int column=
08f0: 31 20 29 0d 0a 7b 0d 0a 09 72 65 74 75 72 6e 20 1 )..{...return
0900: 6e 65 77 20 4c 65 78 65 72 28 73 74 72 2c 20 66 new Lexer(str, f
0910: 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c ilename, lineno,
0920: 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 7d 0d 0a 0d 0a column);..}....
0930: 2f 2f 2f 20 4c 65 78 65 72 20 69 73 20 61 20 66 /// Lexer is a f
0940: 6f 72 77 61 72 64 20 72 61 6e 67 65 20 6f 66 20 orward range of
0950: 54 6f 6b 65 6e 73 0d 0a 0d 0a 63 6c 61 73 73 20 Tokens....class
0960: 4c 65 78 65 72 0a 7b 0d 0a 09 2f 2f 2f 20 52 61 Lexer.{.../// Ra
0970: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 62 nge primitive..b
0980: 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 ool empty() /*@p
0990: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 roperty*/..{...r
09a0: 65 74 75 72 6e 20 63 75 72 72 65 6e 74 20 69 73 eturn current is
09b0: 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 null;..}...///
09c0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
09d0: 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 20 ..Token front()
09e0: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b /*@property*/..{
09f0: 0a 09 09 72 65 74 75 72 6e 20 73 74 64 2e 65 78 ...return std.ex
0a00: 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 ception.enforce(
0a10: 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 current, "Lexer
0a20: 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 has already reac
0a30: 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 hed the end");..
0a40: 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 }.../// Range pr
0a50: 69 6d 69 74 69 76 65 0d 0a 09 76 6f 69 64 20 70 imitive...void p
0a60: 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f opFront() /*@pro
0a70: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 perty*/..{...std
0a80: 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 .exception.enfor
0a90: 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 ce(current, "Lex
0aa0: 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 er has already r
0ab0: 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 eached the end")
0ac0: 3b 0d 0a 09 09 63 75 72 72 65 6e 74 20 3d 20 72 ;....current = r
0ad0: 65 61 64 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a 09 eadNext();..}...
0ae0: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
0af0: 69 76 65 0d 0a 09 4c 65 78 65 72 20 73 61 76 65 ive...Lexer save
0b00: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
0b10: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 ..{...return new
0b20: 20 4c 65 78 65 72 28 74 68 69 73 2e 74 75 70 6c Lexer(this.tupl
0b30: 65 6f 66 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 eof);..}..privat
0b40: 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 e: // implementa
0b50: 74 69 6f 6e 0a 0d 0a 09 73 74 72 69 6e 67 20 62 tion....string b
0b60: 75 66 66 65 72 3b 0a 09 73 74 72 69 6e 67 20 66 uffer;..string f
0b70: 69 6c 65 6e 61 6d 65 3b 0a 09 69 6e 74 20 20 20 ilename;..int
0b80: 20 6c 69 6e 65 6e 6f 3b 0a 09 69 6e 74 20 20 20 lineno;..int
0b90: 20 63 6f 6c 75 6d 6e 3b 0a 09 54 6f 6b 65 6e 20 column;..Token
0ba0: 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 current;...inva
0bb0: 72 69 61 6e 74 28 29 0a 09 7b 0d 0a 09 09 61 73 riant()..{....as
0bc0: 73 65 72 74 28 20 62 75 66 66 65 72 2e 65 6d 70 sert( buffer.emp
0bd0: 74 79 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 65 ty || !std.ctype
0be0: 2e 69 73 73 70 61 63 65 28 62 75 66 66 65 72 5b .isspace(buffer[
0bf0: 30 5d 29 20 29 3b 0a 09 7d 0a 0a 09 74 68 69 73 0]) );..}...this
0c00: 28 20 73 74 72 69 6e 67 20 62 75 66 66 65 72 2c ( string buffer,
0c10: 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 string filename
0c20: 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 2c 20 69 6e , int lineno, in
0c30: 74 20 63 6f 6c 75 6d 6e 2c 20 54 6f 6b 65 6e 20 t column, Token
0c40: 63 75 72 72 65 6e 74 3d 6e 75 6c 6c 20 29 0a 09 current=null )..
0c50: 7b 0a 09 09 74 68 69 73 2e 62 75 66 66 65 72 20 {...this.buffer
0c60: 20 20 3d 20 62 75 66 66 65 72 3b 0a 09 09 74 68 = buffer;...th
0c70: 69 73 2e 66 69 6c 65 6e 61 6d 65 20 3d 20 66 69 is.filename = fi
0c80: 6c 65 6e 61 6d 65 3b 0a 09 09 74 68 69 73 2e 6c lename;...this.l
0c90: 69 6e 65 6e 6f 20 20 20 3d 20 6c 69 6e 65 6e 6f ineno = lineno
0ca0: 3b 0a 09 09 74 68 69 73 2e 63 6f 6c 75 6d 6e 20 ;...this.column
0cb0: 20 20 3d 20 63 6f 6c 75 6d 6e 3b 0a 09 09 73 6b = column;...sk
0cc0: 69 70 77 73 28 29 3b 0a 09 09 74 68 69 73 2e 63 ipws();...this.c
0cd0: 75 72 72 65 6e 74 20 20 3d 20 28 63 75 72 72 65 urrent = (curre
0ce0: 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72 65 61 nt is null ? rea
0cf0: 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72 65 6e dNext() : curren
0d00: 74 29 3b 0a 09 7d 0a 0a 09 76 6f 69 64 20 73 6b t);..}...void sk
0d10: 69 70 77 73 28 29 0a 09 7b 0d 0a 09 09 62 6f 6f ipws()..{....boo
0d20: 6c 20 70 72 6f 67 72 65 73 73 20 3d 20 66 61 6c l progress = fal
0d30: 73 65 3b 0d 0a 09 09 64 6f 0a 09 09 7b 0a 09 09 se;....do...{...
0d40: 09 73 74 72 69 6e 67 20 77 73 20 3d 20 62 75 66 .string ws = buf
0d50: 66 65 72 2e 6d 75 6e 63 68 28 22 20 5c 74 22 29 fer.munch(" \t")
0d60: 3b 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 3d 20 77 ;....column += w
0d70: 73 2e 6c 65 6e 67 74 68 3b 0d 0a 09 09 09 70 72 s.length;.....pr
0d80: 6f 67 72 65 73 73 20 3d 20 21 77 73 2e 65 6d 70 ogress = !ws.emp
0d90: 74 79 3b 0d 0a 09 09 09 77 68 69 6c 65 28 20 21 ty;.....while( !
0da0: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
0db0: 28 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 72 27 (buffer[0]=='\r'
0dc0: 20 7c 7c 20 62 75 66 66 65 72 5b 30 5d 3d 3d 27 || buffer[0]=='
0dd0: 5c 6e 27 29 20 29 0a 09 09 09 7b 0d 0a 09 09 09 \n') )....{.....
0de0: 09 70 72 6f 67 72 65 73 73 20 3d 20 74 72 75 65 .progress = true
0df0: 3b 0a 09 09 09 09 69 66 28 20 62 75 66 66 65 72 ;.....if( buffer
0e00: 5b 30 5d 20 3d 3d 20 27 5c 6e 27 20 29 0a 09 09 [0] == '\n' )...
0e10: 09 09 09 62 75 66 66 65 72 20 3d 20 62 75 66 66 ...buffer = buff
0e20: 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 65 6c er[1..$];.....el
0e30: 73 65 20 2f 2f 20 69 66 28 20 62 75 66 66 65 72 se // if( buffer
0e40: 2e 66 72 6f 6e 74 20 3d 3d 20 27 5c 72 27 20 29 .front == '\r' )
0e50: 0a 09 09 09 09 7b 0a 09 09 09 09 09 62 75 66 66 .....{......buff
0e60: 65 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 er = buffer[1..$
0e70: 5d 3b 0a 09 09 09 09 09 69 66 28 20 21 62 75 66 ];......if( !buf
0e80: 66 65 72 2e 65 6d 70 74 79 20 26 26 20 62 75 66 fer.empty && buf
0e90: 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 20 29 0a 09 fer[0]=='\n' )..
0ea0: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 62 75 .....buffer = bu
0eb0: 66 66 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 ffer[1..$];.....
0ec0: 7d 0a 09 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b }.....lineno ++;
0ed0: 0a 09 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b .....column = 1;
0ee0: 0a 09 09 09 7d 0a 09 09 7d 77 68 69 6c 65 28 20 ....}...}while(
0ef0: 70 72 6f 67 72 65 73 73 20 29 3b 0a 09 7d 0a 0d progress );..}..
0f00: 0a 09 63 68 61 72 20 72 65 61 64 43 68 61 72 28 ..char readChar(
0f10: 29 0d 0a 09 7b 0d 0a 09 09 73 63 6f 70 65 28 65 )...{....scope(e
0f20: 78 69 74 29 20 7b 0d 0a 09 09 09 62 75 66 66 65 xit) {.....buffe
0f30: 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 5d r = buffer[1..$]
0f40: 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b ;.....column ++;
0f50: 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e 20 ....}....return
0f60: 62 75 66 66 65 72 5b 30 5d 3b 0d 0a 09 7d 0d 0a buffer[0];...}..
0f70: 0d 0a 09 2f 2f 2f 20 54 68 69 73 20 69 73 20 74 .../// This is t
0f80: 68 65 20 6d 61 69 6e 20 6c 65 78 69 6e 67 20 72 he main lexing r
0f90: 6f 75 74 69 6e 65 0a 09 54 6f 6b 65 6e 20 72 65 outine..Token re
0fa0: 61 64 4e 65 78 74 28 29 0a 09 7b 0d 0a 09 09 69 adNext()..{....i
0fb0: 66 28 20 62 75 66 66 65 72 2e 65 6d 70 74 79 20 f( buffer.empty
0fc0: 29 0a 09 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c )....return null
0fd0: 3b 0a 09 09 73 63 6f 70 65 28 65 78 69 74 29 0a ;...scope(exit).
0fe0: 09 09 09 73 6b 69 70 77 73 28 29 3b 0a 0a 09 09 ...skipws();....
0ff0: 69 66 28 20 69 73 53 79 6d 62 6f 6c 28 62 75 66 if( isSymbol(buf
1000: 66 65 72 5b 30 5d 29 20 29 0a 09 09 7b 0d 0a 09 fer[0]) )...{...
1010: 09 09 69 66 28 20 62 75 66 66 65 72 5b 30 5d 20 ..if( buffer[0]
1020: 3d 3d 20 27 23 27 20 29 0d 0a 09 09 09 7b 0d 0a == '#' ).....{..
1030: 09 09 09 09 2f 2f 20 73 6b 69 70 20 63 6f 6d 6d ....// skip comm
1040: 65 6e 74 0d 0a 09 09 09 09 77 68 69 6c 65 28 20 ent......while(
1050: 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 !buffer.empty &&
1060: 20 28 62 75 66 66 65 72 5b 30 5d 21 3d 27 5c 6e (buffer[0]!='\n
1070: 27 20 26 26 20 62 75 66 66 65 72 5b 30 5d 21 3d ' && buffer[0]!=
1080: 27 5c 72 27 29 20 29 0d 0a 09 09 09 09 09 72 65 '\r') ).......re
1090: 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 73 adChar();......s
10a0: 6b 69 70 77 73 28 29 3b 0d 0a 09 09 09 09 72 65 kipws();......re
10b0: 74 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b turn readNext();
10c0: 0d 0a 09 09 09 7d 0d 0a 09 09 09 65 6c 73 65 20 .....}.....else
10d0: 69 66 28 20 62 75 66 66 65 72 5b 30 5d 20 3d 3d if( buffer[0] ==
10e0: 20 27 22 27 20 29 0d 0a 09 09 09 7b 0d 0a 09 09 '"' ).....{....
10f0: 09 09 2f 2f 20 73 74 72 69 6e 67 20 6c 69 74 65 ..// string lite
1100: 72 61 6c 0d 0a 09 09 09 09 61 75 74 6f 20 70 6f ral......auto po
1110: 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 69 74 s = currentPosit
1120: 69 6f 6e 28 29 3b 0d 0a 09 09 09 09 73 74 72 69 ion();......stri
1130: 6e 67 20 6c 69 74 3b 0d 0a 09 09 09 09 72 65 61 ng lit;......rea
1140: 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 77 68 dChar();......wh
1150: 69 6c 65 28 20 21 62 75 66 66 65 72 2e 65 6d 70 ile( !buffer.emp
1160: 74 79 20 26 26 20 62 75 66 66 65 72 5b 30 5d 21 ty && buffer[0]!
1170: 3d 27 22 27 20 29 0d 0a 09 09 09 09 7b 0d 0a 09 ='"' )......{...
1180: 09 09 09 09 2f 2f 20 72 65 61 64 20 6f 6e 65 20 ....// read one
1190: 63 68 61 72 0d 0a 09 09 09 09 09 63 68 61 72 20 char.......char
11a0: 63 20 3d 20 72 65 61 64 43 68 61 72 28 29 3b 0d c = readChar();.
11b0: 0a 09 09 09 09 09 69 66 28 20 63 20 3d 3d 20 27 ......if( c == '
11c0: 5c 5c 27 20 29 0d 0a 09 09 09 09 09 7b 0d 0a 09 \\' ).......{...
11d0: 09 09 09 09 09 69 66 28 20 21 62 75 66 66 65 72 .....if( !buffer
11e0: 2e 65 6d 70 74 79 20 26 26 20 28 62 75 66 66 65 .empty && (buffe
11f0: 72 5b 30 5d 3d 3d 27 5c 5c 27 20 7c 7c 20 62 75 r[0]=='\\' || bu
1200: 66 66 65 72 5b 30 5d 3d 3d 27 22 27 29 20 29 0d ffer[0]=='"') ).
1210: 0a 09 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 72 ........lit ~= r
1220: 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 eadChar();......
1230: 09 09 65 6c 73 65 0d 0a 09 09 09 09 09 09 09 6c ..else.........l
1240: 69 74 20 7e 3d 20 63 3b 0d 0a 09 09 09 09 09 7d it ~= c;.......}
1250: 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 20 .......else if(
1260: 63 20 3d 3d 20 27 5c 6e 27 20 29 0d 0a 09 09 09 c == '\n' ).....
1270: 09 09 7b 0d 0a 09 09 09 09 09 09 6c 69 74 20 7e ..{........lit ~
1280: 3d 20 63 3b 0d 0a 09 09 09 09 09 09 6c 69 6e 65 = c;........line
1290: 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 09 09 63 6f 6c no++;........col
12a0: 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 09 09 09 7d umn = 1;.......}
12b0: 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 20 .......else if(
12c0: 63 20 3d 3d 20 27 5c 72 27 20 29 0d 0a 09 09 09 c == '\r' ).....
12d0: 09 09 7b 0d 0a 09 09 09 09 09 09 69 66 28 20 21 ..{........if( !
12e0: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
12f0: 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 20 buffer[0]=='\n'
1300: 29 0d 0a 09 09 09 09 09 09 09 72 65 61 64 43 68 ).........readCh
1310: 61 72 28 29 3b 0d 0a 09 09 09 09 09 09 6c 69 74 ar();........lit
1320: 20 7e 3d 20 27 5c 6e 27 3b 0d 0a 09 09 09 09 09 ~= '\n';.......
1330: 09 6c 69 6e 65 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 .lineno++;......
1340: 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 ..column = 1;...
1350: 09 09 09 09 7d 0d 0a 09 09 09 09 09 65 6c 73 65 ....}.......else
1360: 0d 0a 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 63 ........lit ~= c
1370: 3b 0d 0a 09 09 09 09 7d 0d 0a 09 09 09 09 69 66 ;......}......if
1380: 28 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 ( !buffer.empty
1390: 29 0d 0a 09 09 09 09 09 72 65 61 64 43 68 61 72 ).......readChar
13a0: 28 29 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 ();......return
13b0: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 6c new Token(pos, l
13c0: 69 74 2c 20 74 72 75 65 29 3b 0d 0a 09 09 09 7d it, true);.....}
13d0: 0d 0a 09 09 09 65 6c 73 65 0d 0a 09 09 09 7b 0d .....else.....{.
13e0: 0a 09 09 09 09 2f 2f 20 6e 6f 72 6d 61 6c 20 73 .....// normal s
13f0: 79 6d 62 6f 6c 0a 09 09 09 09 61 75 74 6f 20 70 ymbol.....auto p
1400: 6f 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 69 os = currentPosi
1410: 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 09 61 75 74 tion();......aut
1420: 6f 20 73 74 72 20 3d 20 22 22 7e 72 65 61 64 43 o str = ""~readC
1430: 68 61 72 28 29 3b 0a 09 09 09 09 72 65 74 75 72 har();.....retur
1440: 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c n new Token(pos,
1450: 20 73 74 72 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 str, false);...
1460: 09 09 7d 0a 09 09 7d 0a 09 09 65 6c 73 65 0a 09 ..}...}...else..
1470: 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d .{....auto pos =
1480: 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e currentPosition
1490: 28 29 3b 0a 09 09 09 69 6e 74 20 69 20 3d 20 30 ();....int i = 0
14a0: 3b 0a 09 09 09 77 68 69 6c 65 28 20 69 3c 62 75 ;....while( i<bu
14b0: 66 66 65 72 2e 6c 65 6e 67 74 68 20 26 26 20 21 ffer.length && !
14c0: 73 74 64 2e 63 74 79 70 65 2e 69 73 73 70 61 63 std.ctype.isspac
14d0: 65 28 62 75 66 66 65 72 5b 69 5d 29 20 26 26 20 e(buffer[i]) &&
14e0: 21 69 73 53 79 6d 62 6f 6c 28 62 75 66 66 65 72 !isSymbol(buffer
14f0: 5b 69 5d 29 20 29 0a 09 09 09 09 2b 2b 69 3b 0a [i]) ).....++i;.
1500: 09 09 09 61 75 74 6f 20 73 74 72 20 3d 20 62 75 ...auto str = bu
1510: 66 66 65 72 5b 30 20 2e 2e 20 69 5d 3b 0a 09 09 ffer[0 .. i];...
1520: 09 62 75 66 66 65 72 20 20 20 3d 20 62 75 66 66 .buffer = buff
1530: 65 72 5b 69 20 2e 2e 20 24 5d 3b 0a 09 09 09 63 er[i .. $];....c
1540: 6f 6c 75 6d 6e 20 20 2b 3d 20 69 3b 0d 0a 09 09 olumn += i;....
1550: 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 .return new Toke
1560: 6e 28 70 6f 73 2c 20 73 74 72 2c 20 66 61 6c 73 n(pos, str, fals
1570: 65 29 3b 0a 09 09 7d 0a 09 7d 0a 0a 09 62 6f 6f e);...}..}...boo
1580: 6c 20 69 73 53 79 6d 62 6f 6c 28 63 68 61 72 20 l isSymbol(char
1590: 63 29 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 28 c)..{...return (
15a0: 30 78 32 31 3c 3d 63 20 26 26 20 63 3c 3d 30 78 0x21<=c && c<=0x
15b0: 37 66 20 26 26 20 21 73 74 64 2e 63 74 79 70 65 7f && !std.ctype
15c0: 2e 69 73 61 6c 6e 75 6d 28 63 29 20 26 26 20 63 .isalnum(c) && c
15d0: 21 3d 27 5f 27 29 3b 0a 09 7d 0a 0a 09 69 6d 6d !='_');..}...imm
15e0: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
15f0: 6f 6e 29 20 63 75 72 72 65 6e 74 50 6f 73 69 74 on) currentPosit
1600: 69 6f 6e 28 29 0a 09 7b 0a 09 09 72 65 74 75 72 ion()..{...retur
1610: 6e 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 n new immutable(
1620: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c LexPosition)(fil
1630: 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 ename, lineno, c
1640: 6f 6c 75 6d 6e 29 3b 0a 09 7d 0a 7d 0a 0a 75 6e olumn);..}.}..un
1650: 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 72 74 ittest.{..assert
1660: 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 46 6f ( std.range.isFo
1670: 72 77 61 72 64 52 61 6e 67 65 21 28 4c 65 78 65 rwardRange!(Lexe
1680: 72 29 20 29 3b 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 r) );.}....unitt
1690: 65 73 74 0d 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 est..{..auto lex
16a0: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
16b0: 6e 67 28 22 74 68 69 73 09 69 73 20 61 20 5c 74 ng("this.is a \t
16c0: 5c 72 5c 6e 20 70 65 6e 20 3a 2d 28 20 20 20 22 \r\n pen :-( "
16d0: 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d );..Token[] ts =
16e0: 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 std.array.array
16f0: 28 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f (lex);...assert_
1700: 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 eq( ts[0].pos.li
1710: 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 neno, 1 );..asse
1720: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 rt_eq( ts[0].pos
1730: 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 .column, 1 );..a
1740: 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e ssert( !ts[0].
1750: 71 75 6f 74 65 64 20 29 3b 0d 0a 09 61 73 73 65 quoted );...asse
1760: 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 rt_eq( ts[0].str
1770: 2c 20 22 74 68 69 73 22 20 29 3b 0a 0d 0a 09 61 , "this" );....a
1780: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e ssert_eq( ts[1].
1790: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b pos.lineno, 1 );
17a0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
17b0: 31 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 1].pos.column, 6
17c0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
17d0: 74 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0d ts[1].quoted );.
17e0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
17f0: 31 5d 2e 73 74 72 2c 20 22 69 73 22 20 29 3b 0a 1].str, "is" );.
1800: 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ...assert_eq( ts
1810: 5b 32 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 [2].pos.lineno,
1820: 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 1 );..assert_eq(
1830: 20 74 73 5b 32 5d 2e 70 6f 73 2e 63 6f 6c 75 6d ts[2].pos.colum
1840: 6e 2c 20 39 20 29 3b 0a 09 61 73 73 65 72 74 28 n, 9 );..assert(
1850: 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f 74 65 64 !ts[2].quoted
1860: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
1870: 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 61 22 20 ts[2].str, "a"
1880: 29 3b 0a 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );....assert_eq(
1890: 20 74 73 5b 33 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[3].pos.linen
18a0: 6f 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 74 5f o, 2 );..assert_
18b0: 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 63 6f eq( ts[3].pos.co
18c0: 6c 75 6d 6e 2c 20 32 20 29 3b 0a 09 61 73 73 65 lumn, 2 );..asse
18d0: 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f rt( !ts[3].quo
18e0: 74 65 64 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f ted );...assert_
18f0: 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 eq( ts[3].str, "
1900: 70 65 6e 22 20 29 3b 0a 0d 0a 09 2f 2f 20 63 6f pen" );....// co
1910: 6e 73 65 63 75 74 69 76 65 20 73 79 6d 62 6f 6c nsecutive symbol
1920: 73 20 61 72 65 20 61 6c 77 61 79 73 20 73 65 70 s are always sep
1930: 61 72 61 74 65 64 0d 0a 09 2f 2f 20 68 65 6e 63 arated...// henc
1940: 65 2c 20 6e 6f 20 22 2b 2b 22 20 6f 72 20 22 3c e, no "++" or "<
1950: 3c 22 20 6f 72 20 2e 2e 2e 0d 0a 09 0d 0a 09 61 <" or .........a
1960: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e ssert_eq( ts[4].
1970: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b pos.lineno, 2 );
1980: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1990: 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 4].pos.column, 6
19a0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
19b0: 74 73 5b 34 5d 2e 73 74 72 2c 20 22 3a 22 20 29 ts[4].str, ":" )
19c0: 3b 0a 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 ;....assert_eq(
19d0: 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[5].pos.lineno
19e0: 2c 20 32 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 2 );..assert_e
19f0: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c q( ts[5].pos.col
1a00: 75 6d 6e 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 umn, 7 );..asser
1a10: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c t_eq( ts[5].str,
1a20: 20 22 2d 22 20 29 3b 20 0a 0d 0a 09 61 73 73 65 "-" ); ....asse
1a30: 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 6f 73 rt_eq( ts[6].pos
1a40: 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 .lineno, 2 );..a
1a50: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e ssert_eq( ts[6].
1a60: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b pos.column, 8 );
1a70: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1a80: 36 5d 2e 73 74 72 2c 20 22 28 22 20 29 3b 0a 0d 6].str, "(" );..
1a90: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e ..assert_eq( ts.
1aa0: 6c 65 6e 67 74 68 2c 20 37 20 29 3b 0a 7d 0d 0a length, 7 );.}..
1ab0: 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0a 09 61 ..unittest..{..a
1ac0: 75 74 6f 20 6c 65 78 32 20 3d 20 6c 65 78 65 72 uto lex2 = lexer
1ad0: 46 72 6f 6d 53 74 72 69 6e 67 28 22 20 61 31 32 FromString(" a12
1ae0: 5c 6e 33 61 20 35 20 22 29 3b 0a 09 61 73 73 65 \n3a 5 ");..asse
1af0: 72 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e rt_eq( lex2.fron
1b00: 74 2e 73 74 72 2c 20 22 61 31 32 22 20 29 3b 0d t.str, "a12" );.
1b10: 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b ..lex2.popFront;
1b20: 0a 09 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 ..auto lex3 = le
1b30: 78 32 2e 73 61 76 65 3b 0a 09 61 73 73 65 72 74 x2.save;..assert
1b40: 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e _eq( lex2.front.
1b50: 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 6c str, "3a" );...l
1b60: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 ex2.popFront;..a
1b70: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 ssert_eq( lex3.f
1b80: 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 29 ront.str, "3a" )
1b90: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1ba0: 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 x2.front.str, "5
1bb0: 22 20 29 3b 0a 09 6c 65 78 32 2e 70 6f 70 46 72 " );..lex2.popFr
1bc0: 6f 6e 74 3b 0a 09 6c 65 78 33 2e 70 6f 70 46 72 ont;..lex3.popFr
1bd0: 6f 6e 74 3b 0a 09 61 73 73 65 72 74 28 20 6c 65 ont;..assert( le
1be0: 78 32 2e 65 6d 70 74 79 20 29 3b 0a 09 61 73 73 x2.empty );..ass
1bf0: 65 72 74 28 20 21 6c 65 78 33 2e 65 6d 70 74 79 ert( !lex3.empty
1c00: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1c10: 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 lex3.front.str,
1c20: 22 35 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 "5" );..}....uni
1c30: 74 74 65 73 74 0d 0a 7b 0d 0a 2f 2f 21 21 20 62 ttest..{..//!! b
1c40: 65 20 73 75 72 65 20 74 6f 20 72 75 6e 20 74 68 e sure to run th
1c50: 65 20 75 6e 69 74 74 65 73 74 20 6f 6e 20 74 68 e unittest on th
1c60: 65 20 72 6f 6f 74 20 6f 66 20 74 68 65 20 73 6f e root of the so
1c70: 75 72 63 65 20 64 69 72 65 63 74 6f 72 79 0d 0a urce directory..
1c80: 09 61 75 74 6f 20 6c 65 78 66 20 3d 20 6c 65 78 .auto lexf = lex
1c90: 65 72 46 72 6f 6d 46 69 6c 65 28 22 70 6f 6c 65 erFromFile("pole
1ca0: 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 0d 0a 09 6c my/lex.d");....l
1cb0: 65 78 66 20 3d 20 66 69 6e 64 21 60 61 2e 73 74 exf = find!`a.st
1cc0: 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 60 28 6c r == "module"`(l
1cd0: 65 78 66 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 exf);...assert_e
1ce0: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 q( lexf.front.st
1cf0: 72 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b 0d 0a r, "module" );..
1d00: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 .assert_eq( lexf
1d10: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e .front.pos.filen
1d20: 61 6d 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 78 ame, "polemy/lex
1d30: 2e 64 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f .d" );...assert_
1d40: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 eq( lexf.front.p
1d50: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0d os.lineno, 7 );.
1d60: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1d70: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 f.front.pos.colu
1d80: 6d 6e 2c 20 31 20 29 3b 0d 0a 09 6c 65 78 66 2e mn, 1 );...lexf.
1d90: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
1da0: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1db0: 74 2e 73 74 72 2c 20 22 70 6f 6c 65 6d 79 22 20 t.str, "polemy"
1dc0: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );...assert_eq(
1dd0: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c lexf.front.pos.l
1de0: 69 6e 65 6e 6f 2c 20 37 20 29 3b 0d 0a 09 61 73 ineno, 7 );...as
1df0: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1e00: 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 ont.pos.column,
1e10: 38 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 8 );...lexf.popF
1e20: 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ront;...assert_e
1e30: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 q( lexf.front.st
1e40: 72 2c 20 22 2e 22 20 29 3b 0d 0a 09 6c 65 78 66 r, "." );...lexf
1e50: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 .popFront;...ass
1e60: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f ert_eq( lexf.fro
1e70: 6e 74 2e 73 74 72 2c 20 22 6c 65 78 22 20 29 3b nt.str, "lex" );
1e80: 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ...lexf.popFront
1e90: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c ;...assert_eq( l
1ea0: 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 exf.front.str, "
1eb0: 3b 22 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 ;" );...lexf.pop
1ec0: 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f Front;...assert_
1ed0: 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 eq( lexf.front.s
1ee0: 74 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 3b 0d tr, "import" );.
1ef0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
1f00: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 f.front.pos.line
1f10: 6e 6f 2c 20 38 20 29 3b 0d 0a 09 61 73 73 65 72 no, 8 );...asser
1f20: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1f30: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1f40: 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 ;..}....unittest
1f50: 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78 20 3d ..{...auto lex =
1f60: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
1f70: 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 20 73 (`my # comment s
1f80: 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e 60 23 hould`~"\r\n"~`#
1f90: 20 68 65 79 21 21 0d 0a 62 65 20 69 67 6e 6f 72 hey!!..be ignor
1fa0: 65 64 2e 0d 0a 68 61 68 61 68 61 22 68 69 68 69 ed...hahaha"hihi
1fb0: 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 hi""hu\\\"huhu"#
1fc0: 31 32 33 20 61 61 0d 0a 31 32 33 20 61 61 20 22 123 aa..123 aa "
1fd0: 61 61 61 60 7e 22 5c 72 5c 6e 22 7e 60 62 62 62 aaa`~"\r\n"~`bbb
1fe0: 20 23 20 31 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 # 123`~"\r\n"~`
1ff0: 65 65 65 22 0d 0a 7a 7a 7a 0d 0a 60 29 3b 0d 0a eee"..zzz..`);..
2000: 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 .Token[] ts = st
2010: 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 d.array.array(le
2020: 78 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 x);...assert_eq(
2030: 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 6d 79 22 ts[0].str, "my"
2040: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
2050: 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[0].pos.linen
2060: 6f 2c 20 31 20 29 3b 0d 0a 09 61 73 73 65 72 74 o, 1 );...assert
2070: 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 ( !ts[0].quote
2080: 64 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 d );...assert_eq
2090: 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 62 65 ( ts[1].str, "be
20a0: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 " );...assert_eq
20b0: 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 ( ts[1].pos.line
20c0: 6e 6f 2c 20 33 20 29 3b 0d 0a 09 61 73 73 65 72 no, 3 );...asser
20d0: 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74 t( !ts[1].quot
20e0: 65 64 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ed );...assert_e
20f0: 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 69 q( ts[2].str, "i
2100: 67 6e 6f 72 65 64 22 20 29 3b 0d 0a 09 61 73 73 gnored" );...ass
2110: 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 75 ert( !ts[2].qu
2120: 6f 74 65 64 20 29 3b 0d 0a 09 61 73 73 65 72 74 oted );...assert
2130: 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 _eq( ts[3].str,
2140: 22 2e 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 "." );...assert(
2150: 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 !ts[3].quoted
2160: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
2170: 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 ts[4].str, "hah
2180: 61 68 61 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 aha" );...assert
2190: 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c _eq( ts[4].pos.l
21a0: 69 6e 65 6e 6f 2c 20 34 20 29 3b 0d 0a 09 61 73 ineno, 4 );...as
21b0: 73 65 72 74 28 20 20 20 21 74 73 5b 34 5d 2e 71 sert( !ts[4].q
21c0: 75 6f 74 65 64 20 29 3b 0d 0a 09 61 73 73 65 72 uoted );...asser
21d0: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c t_eq( ts[5].str,
21e0: 20 22 68 69 68 69 68 69 22 20 29 3b 0d 0a 09 61 "hihihi" );...a
21f0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e ssert_eq( ts[5].
2200: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b pos.lineno, 4 );
2210: 0d 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 ...assert( ts
2220: 5b 35 5d 2e 71 75 6f 74 65 64 20 29 3b 0d 0a 09 [5].quoted );...
2230: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d assert_eq( ts[6]
2240: 2e 73 74 72 2c 20 60 68 75 5c 22 68 75 68 75 60 .str, `hu\"huhu`
2250: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
2260: 20 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[6].pos.linen
2270: 6f 2c 20 34 20 29 3b 0d 0a 09 61 73 73 65 72 74 o, 4 );...assert
2280: 28 20 20 20 20 74 73 5b 36 5d 2e 71 75 6f 74 65 ( ts[6].quote
2290: 64 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 d );...assert_eq
22a0: 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 31 32 ( ts[7].str, "12
22b0: 33 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 3" );...assert_e
22c0: 71 28 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e q( ts[7].pos.lin
22d0: 65 6e 6f 2c 20 35 20 29 3b 0d 0a 09 61 73 73 65 eno, 5 );...asse
22e0: 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72 rt_eq( ts[8].str
22f0: 2c 20 22 61 61 22 20 29 3b 0d 0a 09 61 73 73 65 , "aa" );...asse
2300: 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 70 6f 73 rt_eq( ts[9].pos
2310: 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0d 0a 09 .lineno, 5 );...
2320: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d assert_eq( ts[9]
2330: 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 62 20 .str, "aaa\nbbb
2340: 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b 0d 0a # 123\neee" );..
2350: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 39 .assert( ts[9
2360: 5d 2e 71 75 6f 74 65 64 20 29 3b 0d 0a 09 61 73 ].quoted );...as
2370: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e sert_eq( ts[10].
2380: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b pos.lineno, 8 );
2390: 0d 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 ...assert( !ts
23a0: 5b 31 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0d 0a [10].quoted );..
23b0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c .assert_eq( ts.l
23c0: 65 6e 67 74 68 2c 20 31 31 20 29 3b 0d 0a 7d 0d ength, 11 );..}.
23d0: 0a .