Hex Artifact Content
Not logged in

Artifact ad028a2a26b6c7bca768a88020a0648bee284dc6:


0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20  /**. * Authors: 
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e  k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20  se: NYSL 0.9982 
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f  http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20  s.net/nysl/. *. 
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65  * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c  my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64  anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a  ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63  import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0d 0a 69 6d 70 6f 72 74 20 70  ommon;..import p
00b0: 6f 6c 65 6d 79 2e 66 61 69 6c 75 72 65 3b 0a 69  olemy.failure;.i
00c0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 20  mport std.file  
00d0: 3a 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f  : readText;.impo
00e0: 72 74 20 73 74 64 2e 63 74 79 70 65 20 3a 20 69  rt std.ctype : i
00f0: 73 73 70 61 63 65 2c 20 69 73 61 6c 6e 75 6d 3b  sspace, isalnum;
0100: 0d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e  ..../// Represen
0110: 74 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e  ts a lexer token
0120: 0a 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a  ..class Token.{.
0130: 09 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f  .immutable LexPo
0140: 73 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f  sition pos;    /
0150: 2f 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 72  // Position wher
0160: 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75  e the token occu
0170: 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 72  rred in the sour
0180: 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74  ce..immutable st
0190: 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 20  ring      str;  
01a0: 20 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20    /// The token 
01b0: 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 69  string itself..i
01c0: 6d 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20  mmutable bool   
01d0: 20 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f       quoted; ///
01e0: 20 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 65   Was it a "quote
01f0: 64 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75  d" token or unqu
0200: 6f 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69  oted?...mixin Si
0210: 6d 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e  mpleClass;.}..un
0220: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70  ittest.{..auto p
0230: 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69   = new LexPositi
0240: 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20  on("hello.cpp", 
0250: 31 32 33 2c 20 34 35 29 3b 0a 09 61 75 74 6f 20  123, 45);..auto 
0260: 74 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c  t = new Token(p,
0270: 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 65 29   "class", false)
0280: 3b 0a 09 61 75 74 6f 20 75 20 3d 20 6e 65 77 20  ;..auto u = new 
0290: 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22  Token(p, "class"
02a0: 2c 20 74 72 75 65 29 3b 0a 0a 09 61 73 73 65 72  , true);...asser
02b0: 74 5f 65 71 28 20 74 2e 70 6f 73 2c 20 70 20 29  t_eq( t.pos, p )
02c0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2e  ;..assert_eq( t.
02d0: 73 74 72 2c 20 22 63 6c 61 73 73 22 20 29 3b 0a  str, "class" );.
02e0: 09 61 73 73 65 72 74 28 20 21 74 2e 71 75 6f 74  .assert( !t.quot
02f0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71  ed );..assert_eq
0300: 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 70  ( t, new Token(p
0310: 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 65  , "class", false
0320: 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6c 74 28  ) );..assert_lt(
0330: 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c   t, new Token(p,
0340: 20 22 73 74 72 75 63 74 22 2c 20 66 61 6c 73 65   "struct", false
0350: 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6e 65 28  ) );..assert_ne(
0360: 20 74 2c 20 75 20 29 3b 0a 09 61 73 73 65 72 74   t, u );..assert
0370: 28 20 75 2e 71 75 6f 74 65 64 20 29 3b 0a 0a 09  ( u.quoted );...
0380: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74  assert( !__trait
0390: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20  s(compiles, new 
03a0: 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 73 73 65 72  Token) );..asser
03b0: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d  t( !__traits(com
03c0: 70 69 6c 65 73 2c 20 74 2e 70 6f 73 3d 70 29 20  piles, t.pos=p) 
03d0: 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74  );..assert( !__t
03e0: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20  raits(compiles, 
03f0: 74 2e 73 74 72 3d 37 38 39 29 20 29 3b 0a 09 61  t.str=789) );..a
0400: 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73  ssert( !__traits
0410: 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 71 75 6f  (compiles, t.quo
0420: 74 65 64 3d 74 72 75 65 29 20 29 3b 0a 7d 0a 0a  ted=true) );.}..
0430: 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72  /// Named Constr
0440: 75 74 6f 72 73 20 66 6f 72 20 4c 65 78 65 72 0a  utors for Lexer.
0450: 0a 4c 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d  .Lexer lexerFrom
0460: 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 72 69  File(T...)( stri
0470: 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 20 6c  ng filename, T l
0480: 6e 5f 63 6e 20 29 0a 7b 0a 09 72 65 74 75 72 6e  n_cn ).{..return
0490: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67   lexerFromString
04a0: 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 64 54  ( std.file.readT
04b0: 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c 20 66  ext(filename), f
04c0: 69 6c 65 6e 61 6d 65 2c 20 6c 6e 5f 63 6e 20 29  ilename, ln_cn )
04d0: 3b 0a 7d 0a 09 0a 2f 2f 2f 20 4e 61 6d 65 64 20  ;.}.../// Named 
04e0: 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 20 4c  Construtor for L
04f0: 65 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 54 21 28  exer....LexerT!(
0500: 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72  PositionedReader
0510: 21 43 68 61 72 53 65 71 29 20 2f 2a 20 64 64 6f  !CharSeq) /* ddo
0520: 63 20 64 6f 65 73 6e 27 74 20 72 65 63 6f 67 6e  c doesn't recogn
0530: 69 7a 65 20 61 75 74 6f 20 72 65 74 75 72 6e 2e  ize auto return.
0540: 2e 2e 20 62 75 67 7a 69 6c 6c 61 3a 32 35 38 31  .. bugzilla:2581
0550: 20 2a 2f 0d 0a 6c 65 78 65 72 46 72 6f 6d 53 74   */..lexerFromSt
0560: 72 69 6e 67 28 43 68 61 72 53 65 71 29 28 20 43  ring(CharSeq)( C
0570: 68 61 72 53 65 71 20 73 74 72 2c 20 73 74 72 69  harSeq str, stri
0580: 6e 67 20 66 69 6c 65 6e 61 6d 65 3d 22 3c 75 6e  ng filename="<un
0590: 6e 61 6d 65 64 3e 22 2c 20 69 6e 74 20 6c 69 6e  named>", int lin
05a0: 65 6e 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c 75 6d  eno=1, int colum
05b0: 6e 3d 31 20 29 0a 7b 0a 20 09 72 65 74 75 72 6e  n=1 ).{. .return
05c0: 20 6e 65 77 20 4c 65 78 65 72 54 21 28 50 6f 73   new LexerT!(Pos
05d0: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68  itionedReader!Ch
05e0: 61 72 53 65 71 29 28 0d 0a 09 09 50 6f 73 69 74  arSeq)(....Posit
05f0: 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72  ionedReader!Char
0600: 53 65 71 28 73 74 72 2c 20 66 69 6c 65 6e 61 6d  Seq(str, filenam
0610: 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d  e, lineno, colum
0620: 6e 29 0d 0a 09 29 3b 0a 7d 0a 0a 2f 2f 2f 20 53  n)...);.}../// S
0630: 74 61 6e 64 61 72 64 20 4c 65 78 65 72 20 54 79  tandard Lexer Ty
0640: 70 65 20 28 61 6c 6c 20 79 6f 75 20 68 61 76 65  pe (all you have
0650: 20 74 6f 20 6b 6e 6f 77 20 69 73 20 74 68 61 74   to know is that
0660: 20 74 68 69 73 20 69 73 20 61 20 66 6f 72 77 61   this is a forwa
0670: 72 64 20 72 61 6e 67 65 20 6f 66 20 54 6f 6b 65  rd range of Toke
0680: 6e 73 21 29 0d 0a 0d 0a 61 6c 69 61 73 20 4c 65  ns!)....alias Le
0690: 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64  xerT!(Positioned
06a0: 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 4c  Reader!string) L
06b0: 65 78 65 72 3b 0a 0a 2f 2f 2f 20 4c 65 78 65 72  exer;../// Lexer
06c0: 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 0d   Implementation.
06d0: 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 65 72 54 28  ...class LexerT(
06e0: 52 65 61 64 65 72 29 0d 0a 09 69 66 28 20 69 73  Reader)...if( is
06f0: 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 52 65  ForwardRange!(Re
0700: 61 64 65 72 29 20 26 26 20 69 73 28 45 6c 65 6d  ader) && is(Elem
0710: 65 6e 74 54 79 70 65 21 28 52 65 61 64 65 72 29  entType!(Reader)
0720: 3d 3d 64 63 68 61 72 29 20 29 0a 7b 0a 09 2f 2f  ==dchar) ).{..//
0730: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76  / Range primitiv
0740: 65 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20  e..bool empty() 
0750: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b  /*@property*/..{
0760: 0a 09 09 72 65 74 75 72 6e 20 63 75 72 72 65 6e  ...return curren
0770: 74 20 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09  t is null;..}...
0780: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74  /// Range primit
0790: 69 76 65 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74  ive..Token front
07a0: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f  () /*@property*/
07b0: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 73 74 64  ..{...return std
07c0: 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72  .exception.enfor
07d0: 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78  ce(current, "Lex
07e0: 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72  er has already r
07f0: 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29  eached the end")
0800: 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65  ;..}.../// Range
0810: 20 70 72 69 6d 69 74 69 76 65 0a 09 76 6f 69 64   primitive..void
0820: 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70   popFront() /*@p
0830: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 73  roperty*/..{...s
0840: 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66  td.exception.enf
0850: 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c  orce(current, "L
0860: 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 64 79  exer has already
0870: 20 72 65 61 63 68 65 64 20 74 68 65 20 65 6e 64   reached the end
0880: 22 29 3b 0a 09 09 63 75 72 72 65 6e 74 20 3d 20  ");...current = 
0890: 72 65 61 64 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a  readNext();..}..
08a0: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69  ./// Range primi
08b0: 74 69 76 65 0a 09 74 79 70 65 6f 66 28 74 68 69  tive..typeof(thi
08c0: 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 72 6f  s) save() /*@pro
08d0: 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74  perty*/..{...ret
08e0: 75 72 6e 20 6e 65 77 20 74 79 70 65 6f 66 28 74  urn new typeof(t
08f0: 68 69 73 29 28 72 65 61 64 65 72 2e 73 61 76 65  his)(reader.save
0900: 2c 20 63 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a  , current);..}..
0910: 70 72 69 76 61 74 65 3a 20 2f 2f 20 69 6d 70 6c  private: // impl
0920: 65 6d 65 6e 74 61 74 69 6f 6e 0a 0a 09 52 65 61  ementation...Rea
0930: 64 65 72 20 72 65 61 64 65 72 3b 0a 09 54 6f 6b  der reader;..Tok
0940: 65 6e 20 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69  en  current;...i
0950: 6e 76 61 72 69 61 6e 74 28 29 0a 09 7b 0a 09 09  nvariant()..{...
0960: 61 73 73 65 72 74 28 20 72 65 61 64 65 72 2e 65  assert( reader.e
0970: 6d 70 74 79 20 7c 7c 20 21 69 73 53 70 61 63 65  mpty || !isSpace
0980: 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29  (reader.front) )
0990: 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 28 20 52  ;..}.....this( R
09a0: 65 61 64 65 72 20 72 65 61 64 65 72 2c 20 54 6f  eader reader, To
09b0: 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d 20 6e 75  ken current = nu
09c0: 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 68 69 73  ll )...{....this
09d0: 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 65 72  .reader = reader
09e0: 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c 65 21 69  ;....readWhile!i
09f0: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 74 68 69  sSpace();....thi
0a00: 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 75 72  s.current = (cur
0a10: 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72  rent is null ? r
0a20: 65 61 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72  eadNext() : curr
0a30: 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 70 75  ent);...}.....pu
0a40: 62 6c 69 63 20 73 74 61 74 69 63 0d 0a 09 7b 0a  blic static...{.
0a50: 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 20 20  ..bool isSpace  
0a60: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74   (dchar c) { ret
0a70: 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e 69 73  urn std.ctype.is
0a80: 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d 0a 09  space(c)!=0; }..
0a90: 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c 20 20  .bool isSymbol  
0aa0: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75  (dchar c) { retu
0ab0: 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 63 3c  rn 0x21<=c && c<
0ac0: 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e 63 74  =0x7f && !std.ct
0ad0: 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 20 26  ype.isalnum(c) &
0ae0: 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 3d 27  & c!='_' && c!='
0af0: 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69  \''; }....bool i
0b00: 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20  sSSymbol (dchar 
0b10: 63 29 20 7b 20 72 65 74 75 72 6e 20 22 28 29 5b  c) { return "()[
0b20: 5d 7b 7d 3b 2c 40 22 2e 63 61 6e 46 69 6e 64 28  ]{};,@".canFind(
0b30: 63 29 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73  c); }....bool is
0b40: 4d 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 63  MSymbol (dchar c
0b50: 29 20 7b 20 72 65 74 75 72 6e 20 69 73 53 79 6d  ) { return isSym
0b60: 62 6f 6c 28 63 29 20 26 26 20 21 69 73 53 53 79  bol(c) && !isSSy
0b70: 6d 62 6f 6c 28 63 29 20 26 26 20 63 21 3d 27 22  mbol(c) && c!='"
0b80: 27 20 26 26 20 63 21 3d 27 23 27 3b 20 7d 0d 0a  ' && c!='#'; }..
0b90: 09 09 62 6f 6f 6c 20 69 73 4c 65 74 74 65 72 20  ..bool isLetter 
0ba0: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74   (dchar c) { ret
0bb0: 75 72 6e 20 21 69 73 53 70 61 63 65 28 63 29 20  urn !isSpace(c) 
0bc0: 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 63 29 3b  && !isSymbol(c);
0bd0: 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 69 6e   }...}.....strin
0be0: 67 20 72 65 61 64 51 75 6f 74 65 64 28 63 6f 6e  g readQuoted(con
0bf0: 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70  st LexPosition p
0c00: 6f 73 29 7b 63 68 61 72 5b 5d 20 62 75 66 3b 20  os){char[] buf; 
0c10: 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65  return readQuote
0c20: 64 28 70 6f 73 2c 62 75 66 29 3b 7d 0d 0a 09 73  d(pos,buf);}...s
0c30: 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64  tring readQuoted
0c40: 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69  (const LexPositi
0c50: 6f 6e 20 70 6f 73 2c 20 72 65 66 20 63 68 61 72  on pos, ref char
0c60: 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a 09 09 69  [] buf)...{....i
0c70: 66 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20  f( reader.empty 
0c80: 29 0d 0a 09 09 09 74 68 72 6f 77 20 67 65 6e 65  ).....throw gene
0c90: 78 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 28  x!UnexpectedEOF(
0ca0: 70 6f 73 2c 20 22 51 75 6f 74 65 64 20 73 74 72  pos, "Quoted str
0cb0: 69 6e 67 20 6e 6f 74 20 74 65 72 6d 69 6e 61 74  ing not terminat
0cc0: 65 64 22 29 3b 0d 0a 09 09 64 63 68 61 72 20 63  ed");....dchar c
0cd0: 20 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b   = reader.front;
0ce0: 0d 0a 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72  ....reader.popFr
0cf0: 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d  ont;....if( c ==
0d00: 20 27 22 27 20 29 0d 0a 09 09 09 72 65 74 75 72   '"' ).....retur
0d10: 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 28 62  n assumeUnique(b
0d20: 75 66 29 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d  uf);....if( c ==
0d30: 20 27 5c 5c 27 20 26 26 20 21 72 65 61 64 65 72   '\\' && !reader
0d40: 2e 65 6d 70 74 79 20 29 20 7b 0d 0a 09 09 09 69  .empty ) {.....i
0d50: 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d  f( reader.front=
0d60: 3d 27 22 27 20 29 20 7b 0d 0a 09 09 09 09 72 65  ='"' ) {......re
0d70: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a  ader.popFront;..
0d80: 09 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 51  ....return readQ
0d90: 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d  uoted(pos,buf ~=
0da0: 20 27 5c 22 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09   '\"');.....}...
0db0: 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f  ..if( reader.fro
0dc0: 6e 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d 0a 09 09  nt=='\\' ) {....
0dd0: 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e  ..reader.popFron
0de0: 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 72  t;......return r
0df0: 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75  eadQuoted(pos,bu
0e00: 66 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a 09 09 09  f ~= '\\');.....
0e10: 7d 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e  }....}....return
0e20: 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c   readQuoted(pos,
0e30: 62 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 7d 0d 0a  buf ~= c);...}..
0e40: 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 57 68  ...string readWh
0e50: 69 6c 65 28 61 6c 69 61 73 20 66 6e 29 28 29 0d  ile(alias fn)().
0e60: 0a 09 7b 0d 0a 09 09 63 68 61 72 5b 5d 20 62 75  ..{....char[] bu
0e70: 66 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 72 65 61  f;....for(; !rea
0e80: 64 65 72 2e 65 6d 70 74 79 20 26 26 20 66 6e 28  der.empty && fn(
0e90: 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 3b 20 72  reader.front); r
0ea0: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 29 0d  eader.popFront).
0eb0: 0a 09 09 09 62 75 66 20 7e 3d 20 72 65 61 64 65  ....buf ~= reade
0ec0: 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 74 75  r.front;....retu
0ed0: 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 28  rn assumeUnique(
0ee0: 62 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 6f 6b 65  buf);...}...Toke
0ef0: 6e 20 72 65 61 64 4e 65 78 74 28 29 0a 09 7b 0a  n readNext()..{.
0f00: 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70  ..if( reader.emp
0f10: 74 79 20 29 0a 09 09 09 72 65 74 75 72 6e 20 6e  ty )....return n
0f20: 75 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 28 73 75  ull;....scope(su
0f30: 63 63 65 73 73 29 0d 0a 09 09 09 72 65 61 64 57  ccess).....readW
0f40: 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b 0d  hile!isSpace();.
0f50: 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72  ...if( reader.fr
0f60: 6f 6e 74 20 3d 3d 20 27 23 27 20 29 20 2f 2f 20  ont == '#' ) // 
0f70: 63 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d 0a 09 09  comment....{....
0f80: 09 72 65 61 64 65 72 20 3d 20 66 69 6e 64 28 72  .reader = find(r
0f90: 65 61 64 65 72 2c 20 27 5c 6e 27 29 3b 0d 0a 09  eader, '\n');...
0fa0: 09 09 72 65 61 64 57 68 69 6c 65 21 69 73 53 70  ..readWhile!isSp
0fb0: 61 63 65 28 29 3b 0d 0a 09 09 09 72 65 74 75 72  ace();.....retur
0fc0: 6e 20 72 65 61 64 4e 65 78 74 28 29 3b 0d 0a 09  n readNext();...
0fd0: 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 72 65  .}...else if( re
0fe0: 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 22  ader.front == '"
0ff0: 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 0d 0a 09  ' ) // quoted...
1000: 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f 73 20  .{.....auto pos 
1010: 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74  = reader.current
1020: 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09  Position();.....
1030: 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b  reader.popFront;
1040: 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20  .....return new 
1050: 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 51  Token(pos, readQ
1060: 75 6f 74 65 64 28 70 6f 73 29 2c 20 74 72 75 65  uoted(pos), true
1070: 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 20  );....}....else 
1080: 69 66 28 20 69 73 53 53 79 6d 62 6f 6c 28 72 65  if( isSSymbol(re
1090: 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f 2f  ader.front) ) //
10a0: 20 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a 09 09 09   paren....{.....
10b0: 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65  auto pos = reade
10c0: 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f  r.currentPositio
10d0: 6e 28 29 3b 0d 0a 09 09 09 73 74 72 69 6e 67 20  n();.....string 
10e0: 73 3b 20 73 7e 3d 72 65 61 64 65 72 2e 66 72 6f  s; s~=reader.fro
10f0: 6e 74 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 72  nt; reader.popFr
1100: 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20  ont;.....return 
1110: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 73  new Token(pos, s
1120: 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d 0d 0a  , false);....}..
1130: 09 09 65 6c 73 65 20 69 66 28 20 69 73 4d 53 79  ..else if( isMSy
1140: 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 6f 6e  mbol(reader.fron
1150: 74 29 20 29 20 2f 2f 20 73 79 6d 62 6f 6c 0d 0a  t) ) // symbol..
1160: 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20  ..{....auto pos 
1170: 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74  = reader.current
1180: 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 09 72  Position();....r
1190: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28  eturn new Token(
11a0: 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 69  pos, readWhile!i
11b0: 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 61 6c 73  sMSymbol(), fals
11c0: 65 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 65 0a 09  e);...}...else..
11d0: 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d  .{....auto pos =
11e0: 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50   reader.currentP
11f0: 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 72  osition();.....r
1200: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28  eturn new Token(
1210: 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 69  pos, readWhile!i
1220: 73 4c 65 74 74 65 72 28 29 2c 20 66 61 6c 73 65  sLetter(), false
1230: 29 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a 75 6e  );....}..}.}..un
1240: 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 72 74  ittest.{..assert
1250: 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 46 6f  ( std.range.isFo
1260: 72 77 61 72 64 52 61 6e 67 65 21 28 4c 65 78 65  rwardRange!(Lexe
1270: 72 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 69  r) );..assert( i
1280: 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 4c  s(ElementType!(L
1290: 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 6e 29 20  exer) == Token) 
12a0: 29 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a  );..}..unittest.
12b0: 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65  {..auto lex = le
12c0: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 74  xerFromString("t
12d0: 68 69 73 09 69 73 20 61 20 5c 74 5c 72 5c 6e 20  his.is a \t\r\n 
12e0: 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 22 29 3b  pen :-( @@;  ");
12f0: 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73  ..Token[] ts = s
1300: 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c  td.array.array(l
1310: 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71  ex);...assert_eq
1320: 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65  ( ts[0].pos.line
1330: 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74  no, 1 );..assert
1340: 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 63  _eq( ts[0].pos.c
1350: 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 73  olumn, 1 );..ass
1360: 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 75  ert(   !ts[0].qu
1370: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f  oted );..assert_
1380: 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22  eq( ts[0].str, "
1390: 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 72  this" );...asser
13a0: 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e  t_eq( ts[1].pos.
13b0: 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73  lineno, 1 );..as
13c0: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70  sert_eq( ts[1].p
13d0: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a  os.column, 6 );.
13e0: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 31  .assert(   !ts[1
13f0: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73  ].quoted );..ass
1400: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74  ert_eq( ts[1].st
1410: 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 61 73 73  r, "is" );...ass
1420: 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f  ert_eq( ts[2].po
1430: 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09  s.lineno, 1 );..
1440: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d  assert_eq( ts[2]
1450: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 29  .pos.column, 9 )
1460: 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73  ;..assert(   !ts
1470: 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61  [2].quoted );..a
1480: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e  ssert_eq( ts[2].
1490: 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 09 61 73  str, "a" );...as
14a0: 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70  sert_eq( ts[3].p
14b0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a  os.lineno, 2 );.
14c0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33  .assert_eq( ts[3
14d0: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 20  ].pos.column, 2 
14e0: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74  );..assert(   !t
14f0: 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09  s[3].quoted );..
1500: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d  assert_eq( ts[3]
1510: 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 3b 0a 0a  .str, "pen" );..
1520: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34  .assert_eq( ts[4
1530: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20  ].pos.lineno, 2 
1540: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1550: 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c  s[4].pos.column,
1560: 20 36 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71   6 );..assert_eq
1570: 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 3a 2d  ( ts[4].str, ":-
1580: 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71  " );...assert_eq
1590: 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65  ( ts[5].pos.line
15a0: 6e 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 73 65 72  no, 2 );...asser
15b0: 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e  t_eq( ts[5].pos.
15c0: 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d 0a 09 61  column, 8 );...a
15d0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e  ssert_eq( ts[5].
15e0: 73 74 72 2c 20 22 28 22 20 29 3b 0d 0a 09 61 73  str, "(" );...as
15f0: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73  sert_eq( ts[6].s
1600: 74 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 73  tr, "@" );...ass
1610: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74  ert_eq( ts[7].st
1620: 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 73 65  r, "@" );...asse
1630: 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72  rt_eq( ts[8].str
1640: 2c 20 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 65  , ";" ); // pare
1650: 6e 20 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e 73  n and simicolons
1660: 2c 20 61 74 6d 61 72 6b 73 20 61 72 65 20 73 70  , atmarks are sp
1670: 6c 69 74 0d 0a 0d 0a 09 61 73 73 65 72 74 5f 65  lit.....assert_e
1680: 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c 20 39 20  q( ts.length, 9 
1690: 29 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b  );.}..unittest.{
16a0: 0a 09 2f 2f 20 21 21 20 62 65 20 73 75 72 65 20  ..// !! be sure 
16b0: 74 6f 20 72 75 6e 20 74 68 65 20 75 6e 69 74 74  to run the unitt
16c0: 65 73 74 20 6f 6e 20 74 68 65 20 72 6f 6f 74 20  est on the root 
16d0: 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 64 69  of the source di
16e0: 72 65 63 74 6f 72 79 0a 09 61 75 74 6f 20 6c 65  rectory..auto le
16f0: 78 66 20 3d 20 6c 65 78 65 72 46 72 6f 6d 46 69  xf = lexerFromFi
1700: 6c 65 28 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64  le("polemy/lex.d
1710: 22 29 3b 09 0a 09 6c 65 78 66 20 3d 20 66 69 6e  ");...lexf = fin
1720: 64 21 60 61 2e 73 74 72 20 3d 3d 20 22 6d 6f 64  d!`a.str == "mod
1730: 75 6c 65 22 60 28 6c 65 78 66 29 3b 0a 09 61 73  ule"`(lexf);..as
1740: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72  sert_eq( lexf.fr
1750: 6f 6e 74 2e 73 74 72 2c 20 22 6d 6f 64 75 6c 65  ont.str, "module
1760: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28  " );..assert_eq(
1770: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e   lexf.front.pos.
1780: 66 69 6c 65 6e 61 6d 65 2c 20 22 70 6f 6c 65 6d  filename, "polem
1790: 79 2f 6c 65 78 2e 64 22 20 29 3b 0a 09 61 73 73  y/lex.d" );..ass
17a0: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f  ert_eq( lexf.fro
17b0: 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37  nt.pos.lineno, 7
17c0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20   );..assert_eq( 
17d0: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63  lexf.front.pos.c
17e0: 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 6c 65 78  olumn, 1 );..lex
17f0: 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73  f.popFront;..ass
1800: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f  ert_eq( lexf.fro
1810: 6e 74 2e 73 74 72 2c 20 22 70 6f 6c 65 6d 79 22  nt.str, "polemy"
1820: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20   );..assert_eq( 
1830: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c  lexf.front.pos.l
1840: 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73  ineno, 7 );..ass
1850: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f  ert_eq( lexf.fro
1860: 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 38  nt.pos.column, 8
1870: 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f   );..lexf.popFro
1880: 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f  nt;..lexf.popFro
1890: 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f  nt;..lexf.popFro
18a0: 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f  nt;..lexf.popFro
18b0: 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20  nt;..assert_eq( 
18c0: 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20  lexf.front.str, 
18d0: 22 69 6d 70 6f 72 74 22 20 29 3b 0a 09 61 73 73  "import" );..ass
18e0: 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f  ert_eq( lexf.fro
18f0: 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38  nt.pos.lineno, 8
1900: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20   );..assert_eq( 
1910: 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63  lexf.front.pos.c
1920: 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 7d 0a 0d 0a  olumn, 1 );.}...
1930: 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 73  unittest..{...as
1940: 73 65 72 74 5f 74 68 72 6f 77 21 55 6e 65 78 70  sert_throw!Unexp
1950: 65 63 74 65 64 45 4f 46 28 20 6c 65 78 65 72 46  ectedEOF( lexerF
1960: 72 6f 6d 53 74 72 69 6e 67 28 60 22 60 29 20 29  romString(`"`) )
1970: 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 74 65 73 74 0a  ;..}...unittest.
1980: 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65  {..auto lex = le
1990: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 6d  xerFromString(`m
19a0: 79 20 23 20 63 6f 6d 6d 65 6e 74 20 73 68 6f 75  y # comment shou
19b0: 6c 64 60 7e 22 5c 72 5c 6e 22 7e 60 23 20 68 65  ld`~"\r\n"~`# he
19c0: 79 21 21 0a 62 65 20 69 67 6e 6f 72 65 64 2e 0a  y!!.be ignored..
19d0: 68 61 68 61 68 61 22 68 69 68 69 68 69 22 22 68  hahaha"hihihi""h
19e0: 75 5c 5c 5c 22 68 75 68 75 22 23 31 32 33 20 61  u\\\"huhu"#123 a
19f0: 61 0a 31 32 33 20 61 61 20 22 61 61 61 60 7e 22  a.123 aa "aaa`~"
1a00: 5c 6e 22 7e 60 62 62 62 20 23 20 31 32 33 60 7e  \n"~`bbb # 123`~
1a10: 22 5c 72 5c 6e 22 7e 60 65 65 65 22 0a 7a 7a 7a  "\r\n"~`eee".zzz
1a20: 0a 60 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73  .`);..Token[] ts
1a30: 20 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 72   = std.array.arr
1a40: 61 79 28 6c 65 78 29 3b 0a 09 61 73 73 65 72 74  ay(lex);..assert
1a50: 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20  _eq( ts[0].str, 
1a60: 22 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 74 5f  "my" );..assert_
1a70: 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69  eq( ts[0].pos.li
1a80: 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65  neno, 1 );..asse
1a90: 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f  rt(   !ts[0].quo
1aa0: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65  ted );..assert_e
1ab0: 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 62  q( ts[1].str, "b
1ac0: 65 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71  e" );..assert_eq
1ad0: 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65  ( ts[1].pos.line
1ae0: 6e 6f 2c 20 33 20 29 3b 0a 09 61 73 73 65 72 74  no, 3 );..assert
1af0: 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74 65  (   !ts[1].quote
1b00: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28  d );..assert_eq(
1b10: 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 69 67 6e   ts[2].str, "ign
1b20: 6f 72 65 64 22 20 29 3b 0a 09 61 73 73 65 72 74  ored" );..assert
1b30: 28 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f 74 65  (   !ts[2].quote
1b40: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28  d );..assert_eq(
1b50: 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 2e 22 20   ts[3].str, "." 
1b60: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74  );..assert(   !t
1b70: 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09  s[3].quoted );..
1b80: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d  assert_eq( ts[4]
1b90: 2e 73 74 72 2c 20 22 68 61 68 61 68 61 22 20 29  .str, "hahaha" )
1ba0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73  ;..assert_eq( ts
1bb0: 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20  [4].pos.lineno, 
1bc0: 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20  4 );..assert(   
1bd0: 21 74 73 5b 34 5d 2e 71 75 6f 74 65 64 20 29 3b  !ts[4].quoted );
1be0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b  ..assert_eq( ts[
1bf0: 35 5d 2e 73 74 72 2c 20 22 68 69 68 69 68 69 22  5].str, "hihihi"
1c00: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20   );..assert_eq( 
1c10: 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f  ts[5].pos.lineno
1c20: 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20  , 4 );..assert( 
1c30: 20 20 20 74 73 5b 35 5d 2e 71 75 6f 74 65 64 20     ts[5].quoted 
1c40: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1c50: 73 5b 36 5d 2e 73 74 72 2c 20 60 68 75 5c 22 68  s[6].str, `hu\"h
1c60: 75 68 75 60 20 29 3b 0a 09 61 73 73 65 72 74 5f  uhu` );..assert_
1c70: 65 71 28 20 74 73 5b 36 5d 2e 70 6f 73 2e 6c 69  eq( ts[6].pos.li
1c80: 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65  neno, 4 );..asse
1c90: 72 74 28 20 20 20 20 74 73 5b 36 5d 2e 71 75 6f  rt(    ts[6].quo
1ca0: 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65  ted );..assert_e
1cb0: 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 31  q( ts[7].str, "1
1cc0: 32 33 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65  23" );..assert_e
1cd0: 71 28 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e  q( ts[7].pos.lin
1ce0: 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 73 65 72  eno, 5 );..asser
1cf0: 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72 2c  t_eq( ts[8].str,
1d00: 20 22 61 61 22 20 29 3b 0a 09 61 73 73 65 72 74   "aa" );..assert
1d10: 5f 65 71 28 20 74 73 5b 39 5d 2e 70 6f 73 2e 6c  _eq( ts[9].pos.l
1d20: 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 73  ineno, 5 );..ass
1d30: 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 73 74  ert_eq( ts[9].st
1d40: 72 2c 20 22 61 61 61 5c 6e 62 62 62 20 23 20 31  r, "aaa\nbbb # 1
1d50: 32 33 5c 6e 65 65 65 22 20 29 3b 0a 09 61 73 73  23\neee" );..ass
1d60: 65 72 74 28 20 20 20 20 74 73 5b 39 5d 2e 71 75  ert(    ts[9].qu
1d70: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f  oted );..assert_
1d80: 65 71 28 20 74 73 5b 31 30 5d 2e 70 6f 73 2e 6c  eq( ts[10].pos.l
1d90: 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73  ineno, 8 );..ass
1da0: 65 72 74 28 20 20 20 21 74 73 5b 31 30 5d 2e 71  ert(   !ts[10].q
1db0: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74  uoted );..assert
1dc0: 5f 65 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c 20  _eq( ts.length, 
1dd0: 31 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65  11 );.}...unitte
1de0: 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78  st..{...auto lex
1df0: 32 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72  2 = lexerFromStr
1e00: 69 6e 67 28 22 20 61 31 32 5c 6e 33 61 20 35 20  ing(" a12\n3a 5 
1e10: 22 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28  ");...assert_eq(
1e20: 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c   lex2.front.str,
1e30: 20 22 61 31 32 22 20 29 3b 0d 0a 09 6c 65 78 32   "a12" );...lex2
1e40: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 75 74  .popFront;...aut
1e50: 6f 20 6c 65 78 33 20 3d 20 6c 65 78 32 2e 73 61  o lex3 = lex2.sa
1e60: 76 65 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28  ve;...assert_eq(
1e70: 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c   lex2.front.str,
1e80: 20 22 33 61 22 20 29 3b 0d 0a 09 6c 65 78 32 2e   "3a" );...lex2.
1e90: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65  popFront;...asse
1ea0: 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f 6e  rt_eq( lex3.fron
1eb0: 74 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a  t.str, "3a" );..
1ec0: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32  .assert_eq( lex2
1ed0: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22 20  .front.str, "5" 
1ee0: 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f  );...lex2.popFro
1ef0: 6e 74 3b 0d 0a 09 6c 65 78 33 2e 70 6f 70 46 72  nt;...lex3.popFr
1f00: 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c  ont;...assert( l
1f10: 65 78 32 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61  ex2.empty );...a
1f20: 73 73 65 72 74 28 20 21 6c 65 78 33 2e 65 6d 70  ssert( !lex3.emp
1f30: 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65  ty );...assert_e
1f40: 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74  q( lex3.front.st
1f50: 72 2c 20 22 35 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a  r, "5" );..}....
1f60: 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75  unittest..{...au
1f70: 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72  to lex = lexerFr
1f80: 6f 6d 53 74 72 69 6e 67 28 60 3d 22 22 60 29 3b  omString(`=""`);
1f90: 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78  ...assert_eq(lex
1fa0: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 3d 22 29  .front.str, "=")
1fb0: 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d  ; lex.popFront;.
1fc0: 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 2e  ..assert_eq(lex.
1fd0: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 22 29 3b 20  front.str, ""); 
1fe0: 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09  lex.popFront;...
1ff0: 61 73 73 65 72 74 28 20 6c 65 78 2e 65 6d 70 74  assert( lex.empt
2000: 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71  y );...assert_eq
2010: 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e  ( lexerFromStrin
2020: 67 28 60 2d 40 60 29 2e 66 72 6f 6e 74 2e 73 74  g(`-@`).front.st
2030: 72 2c 20 22 2d 22 20 29 3b 0d 0a 7d 0d 0a 0d 0a  r, "-" );..}....
2040: 2f 2f 2f 20 46 6f 72 77 61 72 64 20 72 61 6e 67  /// Forward rang
2050: 65 20 66 6f 72 20 72 65 61 64 65 72 20 63 68 61  e for reader cha
2060: 72 61 63 74 65 72 20 62 79 20 63 68 61 72 61 63  racter by charac
2070: 74 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 70 69 6e  ter,../// keepin
2080: 67 20 74 72 61 63 6b 20 6f 66 20 70 6f 73 69 74  g track of posit
2090: 69 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20  ion information 
20a0: 61 6e 64 20 63 61 72 69 6e 67 20 5c 72 5c 6e 20  and caring \r\n 
20b0: 2d 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 69 6f 6e  -> \n conversion
20c0: 2e 0d 0a 0d 0a 73 74 72 75 63 74 20 50 6f 73 69  .....struct Posi
20d0: 74 69 6f 6e 65 64 52 65 61 64 65 72 28 43 68 61  tionedReader(Cha
20e0: 72 53 65 71 29 0d 0a 09 69 66 28 20 69 73 46 6f  rSeq)...if( isFo
20f0: 72 77 61 72 64 52 61 6e 67 65 21 28 43 68 61 72  rwardRange!(Char
2100: 53 65 71 29 20 26 26 20 69 73 28 45 6c 65 6d 65  Seq) && is(Eleme
2110: 6e 74 54 79 70 65 21 28 43 68 61 72 53 65 71 29  ntType!(CharSeq)
2120: 3d 3d 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a 09  ==dchar) )..{...
2130: 43 68 61 72 53 65 71 20 62 75 66 66 65 72 3b 0d  CharSeq buffer;.
2140: 0a 09 73 74 72 69 6e 67 20 20 66 69 6c 65 6e 61  ..string  filena
2150: 6d 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c 69  me;...int     li
2160: 6e 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 20  neno;...int     
2170: 63 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20  column;...../// 
2180: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d  Range primitive.
2190: 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f  ..bool empty() /
21a0: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b  *@property*/...{
21b0: 0d 0a 09 09 72 65 74 75 72 6e 20 62 75 66 66 65  ....return buffe
21c0: 72 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a  r.empty;...}....
21d0: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69  ./// Range primi
21e0: 74 69 76 65 0d 0a 09 64 63 68 61 72 20 66 72 6f  tive...dchar fro
21f0: 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79  nt() /*@property
2200: 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20  */...{....dchar 
2210: 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e 74  c = buffer.front
2220: 3b 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 3d 3d  ;....return (c==
2230: 27 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 29  '\r' ? '\n' : c)
2240: 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61  ;...}...../// Ra
2250: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09  nge primitive...
2260: 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20  void popFront() 
2270: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09  /*@property*/...
2280: 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62  {....dchar c = b
2290: 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09  uffer.front;....
22a0: 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b  buffer.popFront;
22b0: 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 20  ....if( c=='\r' 
22c0: 29 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 21  )....{.....if( !
22d0: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20  buffer.empty && 
22e0: 62 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c  buffer.front=='\
22f0: 6e 27 20 29 0d 0a 09 09 09 09 62 75 66 66 65 72  n' )......buffer
2300: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 63  .popFront;.....c
2310: 20 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a 09   = '\n';....}...
2320: 09 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d 0a  .if( c=='\n' )..
2330: 09 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 2b  ..{.....lineno +
2340: 2b 3b 09 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 3d  +;......column =
2350: 20 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65   1;....}....else
2360: 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b 0d  .....column ++;.
2370: 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67  ..}...../// Rang
2380: 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 79  e primitive...ty
2390: 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28  peof(this) save(
23a0: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d  ) /*@property*/.
23b0: 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 68  ..{....return th
23c0: 69 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20  is;...}...../// 
23d0: 47 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 20  Get the current 
23e0: 70 6f 73 69 74 69 6f 6e 0d 0a 09 4c 65 78 50 6f  position...LexPo
23f0: 73 69 74 69 6f 6e 20 63 75 72 72 65 6e 74 50 6f  sition currentPo
2400: 73 69 74 69 6f 6e 28 29 20 63 6f 6e 73 74 0d 0a  sition() const..
2410: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 6e 65 77  .{....return new
2420: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 66 69 6c   LexPosition(fil
2430: 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63  ename, lineno, c
2440: 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a  olumn);...}..}..
2450: 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09  ..unittest..{...
2460: 61 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72  assert( isForwar
2470: 64 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e  dRange!(Position
2480: 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29  edReader!string)
2490: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73   );...assert( is
24a0: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f  (ElementType!(Po
24b0: 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73  sitionedReader!s
24c0: 74 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29  tring) == dchar)
24d0: 20 29 3b 0d 0a 7d 0d 0a                           );..}..