Hex Artifact Content
Not logged in

Artifact 480bb741b8b1612b258dc8b15abadb3fe0dff936:


0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20  /**. * Authors: 
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e  k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20  se: NYSL 0.9982 
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f  http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20  s.net/nysl/. *. 
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65  * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c  my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64  anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a  ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63  import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0d 0a 69 6d 70 6f 72 74 20 70  ommon;..import p
00b0: 6f 6c 65 6d 79 2e 66 61 69 6c 75 72 65 3b 0a 69  olemy.failure;.i
00c0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 20  mport std.file  
00d0: 3a 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f  : readText;.impo
00e0: 72 74 20 73 74 64 2e 63 74 79 70 65 20 3a 20 69  rt std.ctype : i
00f0: 73 73 70 61 63 65 2c 20 69 73 61 6c 6e 75 6d 3b  sspace, isalnum;
0100: 0d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 65 73 65 6e  ..../// Represen
0110: 74 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 6e  ts a lexer token
0120: 0a 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b 0a  ..class Token.{.
0130: 09 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 6f  .immutable LexPo
0140: 73 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 2f  sition pos;    /
0150: 2f 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 72  // Position wher
0160: 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 75  e the token occu
0170: 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 72  rred in the sour
0180: 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 74  ce..immutable st
0190: 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 20  ring      str;  
01a0: 20 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e 20    /// The token 
01b0: 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 69  string itself..i
01c0: 6d 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 20  mmutable bool   
01d0: 20 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f 2f       quoted; ///
01e0: 20 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 65   Was it a "quote
01f0: 64 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 75  d" token or unqu
0200: 6f 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 69  oted?...mixin Si
0210: 6d 70 6c 65 43 6c 61 73 73 3b 0a 7d 0a 0a 75 6e  mpleClass;.}..un
0220: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70  ittest.{..auto p
0230: 20 3d 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65   = new immutable
0240: 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 22 68  (LexPosition)("h
0250: 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20  ello.cpp", 123, 
0260: 34 35 29 3b 0a 09 61 75 74 6f 20 74 20 3d 20 6e  45);..auto t = n
0270: 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61  ew Token(p, "cla
0280: 73 73 22 2c 20 66 61 6c 73 65 29 3b 0a 09 61 75  ss", false);..au
0290: 74 6f 20 75 20 3d 20 6e 65 77 20 54 6f 6b 65 6e  to u = new Token
02a0: 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 74 72 75  (p, "class", tru
02b0: 65 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28  e);...assert_eq(
02c0: 20 74 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 61 73   t.pos, p );..as
02d0: 73 65 72 74 5f 65 71 28 20 74 2e 73 74 72 2c 20  sert_eq( t.str, 
02e0: 22 63 6c 61 73 73 22 20 29 3b 0a 09 61 73 73 65  "class" );..asse
02f0: 72 74 28 20 21 74 2e 71 75 6f 74 65 64 20 29 3b  rt( !t.quoted );
0300: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2c 20  ..assert_eq( t, 
0310: 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c  new Token(p, "cl
0320: 61 73 73 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a  ass", false) );.
0330: 09 61 73 73 65 72 74 5f 6c 74 28 20 74 2c 20 6e  .assert_lt( t, n
0340: 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 73 74 72  ew Token(p, "str
0350: 75 63 74 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a  uct", false) );.
0360: 09 61 73 73 65 72 74 5f 6e 65 28 20 74 2c 20 75  .assert_ne( t, u
0370: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 75 2e 71   );..assert( u.q
0380: 75 6f 74 65 64 20 29 3b 0a 0a 09 61 73 73 65 72  uoted );...asser
0390: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d  t( !__traits(com
03a0: 70 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b 65 6e  piles, new Token
03b0: 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f  ) );..assert( !_
03c0: 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73  _traits(compiles
03d0: 2c 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 61  , t.pos=p) );..a
03e0: 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73  ssert( !__traits
03f0: 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 74 72  (compiles, t.str
0400: 3d 37 38 39 29 20 29 3b 0a 09 61 73 73 65 72 74  =789) );..assert
0410: 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70  ( !__traits(comp
0420: 69 6c 65 73 2c 20 74 2e 71 75 6f 74 65 64 3d 74  iles, t.quoted=t
0430: 72 75 65 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 4e  rue) );.}../// N
0440: 61 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 73  amed Construtors
0450: 20 66 6f 72 20 4c 65 78 65 72 0a 0a 4c 65 78 65   for Lexer..Lexe
0460: 72 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28  r lexerFromFile(
0470: 54 2e 2e 2e 29 28 20 73 74 72 69 6e 67 20 66 69  T...)( string fi
0480: 6c 65 6e 61 6d 65 2c 20 54 20 6c 6e 5f 63 6e 20  lename, T ln_cn 
0490: 29 0a 7b 0a 09 72 65 74 75 72 6e 20 6c 65 78 65  ).{..return lexe
04a0: 72 46 72 6f 6d 53 74 72 69 6e 67 28 20 73 74 64  rFromString( std
04b0: 2e 66 69 6c 65 2e 72 65 61 64 54 65 78 74 28 66  .file.readText(f
04c0: 69 6c 65 6e 61 6d 65 29 2c 20 66 69 6c 65 6e 61  ilename), filena
04d0: 6d 65 2c 20 6c 6e 5f 63 6e 20 29 3b 0a 7d 0a 09  me, ln_cn );.}..
04e0: 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74  ./// Named Const
04f0: 72 75 74 6f 72 20 66 6f 72 20 4c 65 78 65 72 0d  rutor for Lexer.
0500: 0a 0d 0a 4c 65 78 65 72 54 21 28 50 6f 73 69 74  ...LexerT!(Posit
0510: 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 61 72  ionedReader!Char
0520: 53 65 71 29 20 2f 2a 20 64 64 6f 63 20 64 6f 65  Seq) /* ddoc doe
0530: 73 6e 27 74 20 72 65 63 6f 67 6e 69 7a 65 20 61  sn't recognize a
0540: 75 74 6f 20 72 65 74 75 72 6e 2e 2e 2e 20 62 75  uto return... bu
0550: 67 7a 69 6c 6c 61 3a 32 35 38 31 20 2a 2f 0d 0a  gzilla:2581 */..
0560: 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28  lexerFromString(
0570: 43 68 61 72 53 65 71 29 28 20 43 68 61 72 53 65  CharSeq)( CharSe
0580: 71 20 73 74 72 2c 20 73 74 72 69 6e 67 20 66 69  q str, string fi
0590: 6c 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64  lename="<unnamed
05a0: 3e 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31  >", int lineno=1
05b0: 2c 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 29  , int column=1 )
05c0: 0a 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 77 20  .{. .return new 
05d0: 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e  LexerT!(Position
05e0: 65 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71  edReader!CharSeq
05f0: 29 28 0d 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64  )(....Positioned
0600: 52 65 61 64 65 72 21 43 68 61 72 53 65 71 28 73  Reader!CharSeq(s
0610: 74 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69  tr, filename, li
0620: 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09  neno, column)...
0630: 29 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61  );.}../// Standa
0640: 72 64 20 4c 65 78 65 72 20 54 79 70 65 20 28 61  rd Lexer Type (a
0650: 6c 6c 20 79 6f 75 20 68 61 76 65 20 74 6f 20 6b  ll you have to k
0660: 6e 6f 77 20 69 73 20 74 68 61 74 20 74 68 69 73  now is that this
0670: 20 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 61   is a forward ra
0680: 6e 67 65 20 6f 66 20 54 6f 6b 65 6e 73 21 29 0d  nge of Tokens!).
0690: 0a 0d 0a 61 6c 69 61 73 20 4c 65 78 65 72 54 21  ...alias LexerT!
06a0: 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65  (PositionedReade
06b0: 72 21 73 74 72 69 6e 67 29 20 4c 65 78 65 72 3b  r!string) Lexer;
06c0: 0a 0a 2f 2f 2f 20 4c 65 78 65 72 20 49 6d 70 6c  ../// Lexer Impl
06d0: 65 6d 65 6e 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c  ementation....cl
06e0: 61 73 73 20 4c 65 78 65 72 54 28 52 65 61 64 65  ass LexerT(Reade
06f0: 72 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 61  r)...if( isForwa
0700: 72 64 52 61 6e 67 65 21 28 52 65 61 64 65 72 29  rdRange!(Reader)
0710: 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79   && is(ElementTy
0720: 70 65 21 28 52 65 61 64 65 72 29 3d 3d 64 63 68  pe!(Reader)==dch
0730: 61 72 29 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e  ar) ).{../// Ran
0740: 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 62 6f  ge primitive..bo
0750: 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72  ol empty() /*@pr
0760: 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65  operty*/..{...re
0770: 74 75 72 6e 20 63 75 72 72 65 6e 74 20 69 73 20  turn current is 
0780: 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52  null;..}.../// R
0790: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09  ange primitive..
07a0: 54 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 20 2f 2a  Token front() /*
07b0: 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09  @property*/..{..
07c0: 09 72 65 74 75 72 6e 20 73 74 64 2e 65 78 63 65  .return std.exce
07d0: 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75  ption.enforce(cu
07e0: 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61  rrent, "Lexer ha
07f0: 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 65  s already reache
0800: 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 7d 0a  d the end");..}.
0810: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d  ../// Range prim
0820: 69 74 69 76 65 0a 09 76 6f 69 64 20 70 6f 70 46  itive..void popF
0830: 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72  ront() /*@proper
0840: 74 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 78  ty*/..{...std.ex
0850: 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28  ception.enforce(
0860: 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20  current, "Lexer 
0870: 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 63  has already reac
0880: 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09  hed the end");..
0890: 09 63 75 72 72 65 6e 74 20 3d 20 72 65 61 64 4e  .current = readN
08a0: 65 78 74 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20  ext();..}.../// 
08b0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a  Range primitive.
08c0: 09 74 79 70 65 6f 66 28 74 68 69 73 29 20 73 61  .typeof(this) sa
08d0: 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79  ve() /*@property
08e0: 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e  */..{...return n
08f0: 65 77 20 74 79 70 65 6f 66 28 74 68 69 73 29 28  ew typeof(this)(
0900: 72 65 61 64 65 72 2e 73 61 76 65 2c 20 63 75 72  reader.save, cur
0910: 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61  rent);..}..priva
0920: 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74  te: // implement
0930: 61 74 69 6f 6e 0a 0a 09 52 65 61 64 65 72 20 72  ation...Reader r
0940: 65 61 64 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 63  eader;..Token  c
0950: 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 69  urrent;...invari
0960: 61 6e 74 28 29 0a 09 7b 0a 09 09 61 73 73 65 72  ant()..{...asser
0970: 74 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20  t( reader.empty 
0980: 7c 7c 20 21 69 73 53 70 61 63 65 28 72 65 61 64  || !isSpace(read
0990: 65 72 2e 66 72 6f 6e 74 29 20 29 3b 0a 09 7d 0d  er.front) );..}.
09a0: 0a 0d 0a 09 74 68 69 73 28 20 52 65 61 64 65 72  ....this( Reader
09b0: 20 72 65 61 64 65 72 2c 20 54 6f 6b 65 6e 20 63   reader, Token c
09c0: 75 72 72 65 6e 74 20 3d 20 6e 75 6c 6c 20 29 0d  urrent = null ).
09d0: 0a 09 7b 0d 0a 09 09 74 68 69 73 2e 72 65 61 64  ..{....this.read
09e0: 65 72 20 3d 20 72 65 61 64 65 72 3b 0d 0a 09 09  er = reader;....
09f0: 72 65 61 64 57 68 69 6c 65 21 69 73 53 70 61 63  readWhile!isSpac
0a00: 65 28 29 3b 0d 0a 09 09 74 68 69 73 2e 63 75 72  e();....this.cur
0a10: 72 65 6e 74 20 3d 20 28 63 75 72 72 65 6e 74 20  rent = (current 
0a20: 69 73 20 6e 75 6c 6c 20 3f 20 72 65 61 64 4e 65  is null ? readNe
0a30: 78 74 28 29 20 3a 20 63 75 72 72 65 6e 74 29 3b  xt() : current);
0a40: 0d 0a 09 7d 0d 0a 0d 0a 09 70 75 62 6c 69 63 20  ...}.....public 
0a50: 73 74 61 74 69 63 0d 0a 09 7b 0a 09 09 62 6f 6f  static...{...boo
0a60: 6c 20 69 73 53 70 61 63 65 20 20 20 28 64 63 68  l isSpace   (dch
0a70: 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 73  ar c) { return s
0a80: 74 64 2e 63 74 79 70 65 2e 69 73 73 70 61 63 65  td.ctype.isspace
0a90: 28 63 29 21 3d 30 3b 20 7d 0a 09 09 62 6f 6f 6c  (c)!=0; }...bool
0aa0: 20 69 73 53 79 6d 62 6f 6c 20 20 28 64 63 68 61   isSymbol  (dcha
0ab0: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 30 78  r c) { return 0x
0ac0: 32 31 3c 3d 63 20 26 26 20 63 3c 3d 30 78 37 66  21<=c && c<=0x7f
0ad0: 20 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e 69   && !std.ctype.i
0ae0: 73 61 6c 6e 75 6d 28 63 29 20 26 26 20 63 21 3d  salnum(c) && c!=
0af0: 27 5f 27 20 26 26 20 63 21 3d 27 5c 27 27 3b 20  '_' && c!='\''; 
0b00: 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 53 53 79 6d  }....bool isSSym
0b10: 62 6f 6c 20 28 64 63 68 61 72 20 63 29 20 7b 20  bol (dchar c) { 
0b20: 72 65 74 75 72 6e 20 22 28 29 5b 5d 7b 7d 3b 40  return "()[]{};@
0b30: 22 2e 63 61 6e 46 69 6e 64 28 63 29 3b 20 7d 0d  ".canFind(c); }.
0b40: 0a 09 09 62 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f  ...bool isMSymbo
0b50: 6c 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65  l (dchar c) { re
0b60: 74 75 72 6e 20 69 73 53 79 6d 62 6f 6c 28 63 29  turn isSymbol(c)
0b70: 20 26 26 20 21 69 73 53 53 79 6d 62 6f 6c 28 63   && !isSSymbol(c
0b80: 29 20 26 26 20 63 21 3d 27 22 27 20 26 26 20 63  ) && c!='"' && c
0b90: 21 3d 27 23 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c  !='#'; }....bool
0ba0: 20 69 73 4c 65 74 74 65 72 20 20 28 64 63 68 61   isLetter  (dcha
0bb0: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 21 69  r c) { return !i
0bc0: 73 53 70 61 63 65 28 63 29 20 26 26 20 21 69 73  sSpace(c) && !is
0bd0: 53 79 6d 62 6f 6c 28 63 29 3b 20 7d 0d 0a 09 7d  Symbol(c); }...}
0be0: 0d 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64  .....string read
0bf0: 51 75 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78  Quoted(const Lex
0c00: 50 6f 73 69 74 69 6f 6e 20 70 6f 73 29 7b 63 68  Position pos){ch
0c10: 61 72 5b 5d 20 62 75 66 3b 20 72 65 74 75 72 6e  ar[] buf; return
0c20: 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c   readQuoted(pos,
0c30: 62 75 66 29 3b 7d 0d 0a 09 73 74 72 69 6e 67 20  buf);}...string 
0c40: 72 65 61 64 51 75 6f 74 65 64 28 63 6f 6e 73 74  readQuoted(const
0c50: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73   LexPosition pos
0c60: 2c 20 72 65 66 20 63 68 61 72 5b 5d 20 62 75 66  , ref char[] buf
0c70: 29 0d 0a 09 7b 0d 0a 09 09 69 66 28 20 72 65 61  )...{....if( rea
0c80: 64 65 72 2e 65 6d 70 74 79 20 29 0d 0a 09 09 09  der.empty ).....
0c90: 74 68 72 6f 77 20 67 65 6e 65 78 21 55 6e 65 78  throw genex!Unex
0ca0: 70 65 63 74 65 64 45 4f 46 28 70 6f 73 2c 20 22  pectedEOF(pos, "
0cb0: 51 75 6f 74 65 64 20 73 74 72 69 6e 67 20 6e 6f  Quoted string no
0cc0: 74 20 74 65 72 6d 69 6e 61 74 65 64 22 29 3b 0d  t terminated");.
0cd0: 0a 09 09 64 63 68 61 72 20 63 20 3d 20 72 65 61  ...dchar c = rea
0ce0: 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65  der.front;....re
0cf0: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a  ader.popFront;..
0d00: 09 09 69 66 28 20 63 20 3d 3d 20 27 22 27 20 29  ..if( c == '"' )
0d10: 0d 0a 09 09 09 72 65 74 75 72 6e 20 61 73 73 75  .....return assu
0d20: 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d 0a  meUnique(buf);..
0d30: 09 09 69 66 28 20 63 20 3d 3d 20 27 5c 5c 27 20  ..if( c == '\\' 
0d40: 26 26 20 21 72 65 61 64 65 72 2e 65 6d 70 74 79  && !reader.empty
0d50: 20 29 20 7b 0d 0a 09 09 09 69 66 28 20 72 65 61   ) {.....if( rea
0d60: 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 27 20 29  der.front=='"' )
0d70: 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 72 2e 70   {......reader.p
0d80: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 65  opFront;......re
0d90: 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 28  turn readQuoted(
0da0: 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 22 27 29  pos,buf ~= '\"')
0db0: 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 69 66 28 20  ;.....}.....if( 
0dc0: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c  reader.front=='\
0dd0: 5c 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 64  \' ) {......read
0de0: 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09  er.popFront;....
0df0: 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f  ..return readQuo
0e00: 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 27  ted(pos,buf ~= '
0e10: 5c 5c 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 7d  \\');.....}....}
0e20: 0d 0a 09 09 72 65 74 75 72 6e 20 72 65 61 64 51  ....return readQ
0e30: 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d  uoted(pos,buf ~=
0e40: 20 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72   c);...}.....str
0e50: 69 6e 67 20 72 65 61 64 57 68 69 6c 65 28 61 6c  ing readWhile(al
0e60: 69 61 73 20 66 6e 29 28 29 0d 0a 09 7b 0d 0a 09  ias fn)()...{...
0e70: 09 63 68 61 72 5b 5d 20 62 75 66 3b 0d 0a 09 09  .char[] buf;....
0e80: 66 6f 72 28 3b 20 21 72 65 61 64 65 72 2e 65 6d  for(; !reader.em
0e90: 70 74 79 20 26 26 20 66 6e 28 72 65 61 64 65 72  pty && fn(reader
0ea0: 2e 66 72 6f 6e 74 29 3b 20 72 65 61 64 65 72 2e  .front); reader.
0eb0: 70 6f 70 46 72 6f 6e 74 29 0d 0a 09 09 09 62 75  popFront).....bu
0ec0: 66 20 7e 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e  f ~= reader.fron
0ed0: 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 61 73 73  t;....return ass
0ee0: 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d  umeUnique(buf);.
0ef0: 0a 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 65 61 64  ..}...Token read
0f00: 4e 65 78 74 28 29 0a 09 7b 0a 09 09 69 66 28 20  Next()..{...if( 
0f10: 72 65 61 64 65 72 2e 65 6d 70 74 79 20 29 0a 09  reader.empty )..
0f20: 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c 3b 0d 0a  ..return null;..
0f30: 09 09 73 63 6f 70 65 28 73 75 63 63 65 73 73 29  ..scope(success)
0f40: 0d 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 69  .....readWhile!i
0f50: 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 69 66 28  sSpace();....if(
0f60: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d   reader.front ==
0f70: 20 27 23 27 20 29 20 2f 2f 20 63 6f 6d 6d 65 6e   '#' ) // commen
0f80: 74 0d 0a 09 09 7b 0d 0a 09 09 09 72 65 61 64 65  t....{.....reade
0f90: 72 20 3d 20 66 69 6e 64 28 72 65 61 64 65 72 2c  r = find(reader,
0fa0: 20 27 5c 6e 27 29 3b 0d 0a 09 09 09 72 65 61 64   '\n');.....read
0fb0: 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b  While!isSpace();
0fc0: 0d 0a 09 09 09 72 65 74 75 72 6e 20 72 65 61 64  .....return read
0fd0: 4e 65 78 74 28 29 3b 0d 0a 09 09 7d 0a 09 09 65  Next();....}...e
0fe0: 6c 73 65 20 69 66 28 20 72 65 61 64 65 72 2e 66  lse if( reader.f
0ff0: 72 6f 6e 74 20 3d 3d 20 27 22 27 20 29 20 2f 2f  ront == '"' ) //
1000: 20 71 75 6f 74 65 64 0d 0a 09 09 7b 0d 0a 09 09   quoted....{....
1010: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64  .auto pos = read
1020: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69  er.currentPositi
1030: 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 61 64 65 72  on();.....reader
1040: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 72  .popFront;.....r
1050: 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28  eturn new Token(
1060: 70 6f 73 2c 20 72 65 61 64 51 75 6f 74 65 64 28  pos, readQuoted(
1070: 70 6f 73 29 2c 20 74 72 75 65 29 3b 0d 0a 09 09  pos), true);....
1080: 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73  }....else if( is
1090: 53 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66  SSymbol(reader.f
10a0: 72 6f 6e 74 29 20 29 20 2f 2f 20 70 61 72 65 6e  ront) ) // paren
10b0: 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70  ....{.....auto p
10c0: 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72  os = reader.curr
10d0: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a  entPosition();..
10e0: 09 09 09 73 74 72 69 6e 67 20 73 3b 20 73 7e 3d  ...string s; s~=
10f0: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 20 72 65  reader.front; re
1100: 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a  ader.popFront;..
1110: 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f  ...return new To
1120: 6b 65 6e 28 70 6f 73 2c 20 73 2c 20 66 61 6c 73  ken(pos, s, fals
1130: 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65  e);....}....else
1140: 20 69 66 28 20 69 73 4d 53 79 6d 62 6f 6c 28 72   if( isMSymbol(r
1150: 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f  eader.front) ) /
1160: 2f 20 73 79 6d 62 6f 6c 0d 0a 09 09 7b 0a 09 09  / symbol....{...
1170: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64  .auto pos = read
1180: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69  er.currentPositi
1190: 6f 6e 28 29 3b 0a 09 09 09 72 65 74 75 72 6e 20  on();....return 
11a0: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72  new Token(pos, r
11b0: 65 61 64 57 68 69 6c 65 21 69 73 4d 53 79 6d 62  eadWhile!isMSymb
11c0: 6f 6c 28 29 2c 20 66 61 6c 73 65 29 3b 0a 09 09  ol(), false);...
11d0: 7d 0a 09 09 65 6c 73 65 0a 09 09 7b 0a 09 09 09  }...else...{....
11e0: 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 65  auto pos = reade
11f0: 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f  r.currentPositio
1200: 6e 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20  n();.....return 
1210: 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72  new Token(pos, r
1220: 65 61 64 57 68 69 6c 65 21 69 73 4c 65 74 74 65  eadWhile!isLette
1230: 72 28 29 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09  r(), false);....
1240: 7d 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74  }..}.}..unittest
1250: 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 2e  .{..assert( std.
1260: 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 52  range.isForwardR
1270: 61 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b 0a  ange!(Lexer) );.
1280: 09 61 73 73 65 72 74 28 20 69 73 28 45 6c 65 6d  .assert( is(Elem
1290: 65 6e 74 54 79 70 65 21 28 4c 65 78 65 72 29 20  entType!(Lexer) 
12a0: 3d 3d 20 54 6f 6b 65 6e 29 20 29 3b 0d 0a 7d 0a  == Token) );..}.
12b0: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74  .unittest.{..aut
12c0: 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f  o lex = lexerFro
12d0: 6d 53 74 72 69 6e 67 28 22 74 68 69 73 09 69 73  mString("this.is
12e0: 20 61 20 5c 74 5c 72 5c 6e 20 70 65 6e 20 3a 2d   a \t\r\n pen :-
12f0: 28 20 40 40 3b 20 20 22 29 3b 0a 09 54 6f 6b 65  ( @@;  ");..Toke
1300: 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72  n[] ts = std.arr
1310: 61 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 0a  ay.array(lex);..
1320: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30  .assert_eq( ts[0
1330: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20  ].pos.lineno, 1 
1340: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1350: 73 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c  s[0].pos.column,
1360: 20 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20   1 );..assert(  
1370: 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 29   !ts[0].quoted )
1380: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73  ;..assert_eq( ts
1390: 5b 30 5d 2e 73 74 72 2c 20 22 74 68 69 73 22 20  [0].str, "this" 
13a0: 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20  );...assert_eq( 
13b0: 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f  ts[1].pos.lineno
13c0: 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65  , 1 );..assert_e
13d0: 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 63 6f 6c  q( ts[1].pos.col
13e0: 75 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 73 65 72  umn, 6 );..asser
13f0: 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74  t(   !ts[1].quot
1400: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71  ed );..assert_eq
1410: 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 69 73  ( ts[1].str, "is
1420: 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71  " );...assert_eq
1430: 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c 69 6e 65  ( ts[2].pos.line
1440: 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74  no, 1 );..assert
1450: 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 63  _eq( ts[2].pos.c
1460: 6f 6c 75 6d 6e 2c 20 39 20 29 3b 0a 09 61 73 73  olumn, 9 );..ass
1470: 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 75  ert(   !ts[2].qu
1480: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f  oted );..assert_
1490: 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22  eq( ts[2].str, "
14a0: 61 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65  a" );...assert_e
14b0: 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e 6c 69 6e  q( ts[3].pos.lin
14c0: 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 73 65 72  eno, 2 );..asser
14d0: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e  t_eq( ts[3].pos.
14e0: 63 6f 6c 75 6d 6e 2c 20 32 20 29 3b 0a 09 61 73  column, 2 );..as
14f0: 73 65 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71  sert(   !ts[3].q
1500: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74  uoted );..assert
1510: 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20  _eq( ts[3].str, 
1520: 22 70 65 6e 22 20 29 3b 0a 0a 09 61 73 73 65 72  "pen" );...asser
1530: 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e  t_eq( ts[4].pos.
1540: 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73  lineno, 2 );..as
1550: 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70  sert_eq( ts[4].p
1560: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a  os.column, 6 );.
1570: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34  .assert_eq( ts[4
1580: 5d 2e 73 74 72 2c 20 22 3a 2d 22 20 29 3b 0a 0a  ].str, ":-" );..
1590: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35  .assert_eq( ts[5
15a0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20  ].pos.lineno, 2 
15b0: 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 20  );...assert_eq( 
15c0: 74 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e  ts[5].pos.column
15d0: 2c 20 38 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f  , 8 );...assert_
15e0: 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22  eq( ts[5].str, "
15f0: 28 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65  (" );...assert_e
1600: 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 22 40  q( ts[6].str, "@
1610: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71  " );...assert_eq
1620: 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 40 22  ( ts[7].str, "@"
1630: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28   );...assert_eq(
1640: 20 74 73 5b 38 5d 2e 73 74 72 2c 20 22 3b 22 20   ts[8].str, ";" 
1650: 29 3b 20 2f 2f 20 70 61 72 65 6e 20 61 6e 64 20  ); // paren and 
1660: 73 69 6d 69 63 6f 6c 6f 6e 73 2c 20 61 74 6d 61  simicolons, atma
1670: 72 6b 73 20 61 72 65 20 73 70 6c 69 74 0d 0a 0d  rks are split...
1680: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 2e  ..assert_eq( ts.
1690: 6c 65 6e 67 74 68 2c 20 39 20 29 3b 0a 7d 0a 0a  length, 9 );.}..
16a0: 75 6e 69 74 74 65 73 74 0a 7b 0a 09 2f 2f 20 21  unittest.{..// !
16b0: 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 75 6e  ! be sure to run
16c0: 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 6f 6e   the unittest on
16d0: 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 68 65   the root of the
16e0: 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 6f 72   source director
16f0: 79 0a 09 61 75 74 6f 20 6c 65 78 66 20 3d 20 6c  y..auto lexf = l
1700: 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 22 70 6f  exerFromFile("po
1710: 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b 09 0a 09  lemy/lex.d");...
1720: 6c 65 78 66 20 3d 20 66 69 6e 64 21 60 61 2e 73  lexf = find!`a.s
1730: 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 60 28  tr == "module"`(
1740: 6c 65 78 66 29 3b 0a 09 61 73 73 65 72 74 5f 65  lexf);..assert_e
1750: 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74  q( lexf.front.st
1760: 72 2c 20 22 6d 6f 64 75 6c 65 22 20 29 3b 0a 09  r, "module" );..
1770: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e  assert_eq( lexf.
1780: 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 6e 61  front.pos.filena
1790: 6d 65 2c 20 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e  me, "polemy/lex.
17a0: 64 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71  d" );..assert_eq
17b0: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73  ( lexf.front.pos
17c0: 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61  .lineno, 7 );..a
17d0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66  ssert_eq( lexf.f
17e0: 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c  ront.pos.column,
17f0: 20 31 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46   1 );..lexf.popF
1800: 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 71  ront;..assert_eq
1810: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72  ( lexf.front.str
1820: 2c 20 22 70 6f 6c 65 6d 79 22 20 29 3b 0a 09 61  , "polemy" );..a
1830: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66  ssert_eq( lexf.f
1840: 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c  ront.pos.lineno,
1850: 20 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71   7 );..assert_eq
1860: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73  ( lexf.front.pos
1870: 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c  .column, 8 );..l
1880: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c  exf.popFront;..l
1890: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c  exf.popFront;..l
18a0: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c  exf.popFront;..l
18b0: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61  exf.popFront;..a
18c0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66  ssert_eq( lexf.f
18d0: 72 6f 6e 74 2e 73 74 72 2c 20 22 69 6d 70 6f 72  ront.str, "impor
18e0: 74 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71  t" );..assert_eq
18f0: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73  ( lexf.front.pos
1900: 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61  .lineno, 8 );..a
1910: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66  ssert_eq( lexf.f
1920: 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c  ront.pos.column,
1930: 20 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65   1 );.}...unitte
1940: 73 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 5f 74  st..{...assert_t
1950: 68 72 6f 77 21 55 6e 65 78 70 65 63 74 65 64 45  hrow!UnexpectedE
1960: 4f 46 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 72  OF( lexerFromStr
1970: 69 6e 67 28 60 22 60 29 20 29 3b 0d 0a 7d 0d 0a  ing(`"`) );..}..
1980: 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 75 74  .unittest.{..aut
1990: 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 6f  o lex = lexerFro
19a0: 6d 53 74 72 69 6e 67 28 60 6d 79 20 23 20 63 6f  mString(`my # co
19b0: 6d 6d 65 6e 74 20 73 68 6f 75 6c 64 60 7e 22 5c  mment should`~"\
19c0: 72 5c 6e 22 7e 60 23 20 68 65 79 21 21 0a 62 65  r\n"~`# hey!!.be
19d0: 20 69 67 6e 6f 72 65 64 2e 0a 68 61 68 61 68 61   ignored..hahaha
19e0: 22 68 69 68 69 68 69 22 22 68 75 5c 5c 5c 22 68  "hihihi""hu\\\"h
19f0: 75 68 75 22 23 31 32 33 20 61 61 0a 31 32 33 20  uhu"#123 aa.123 
1a00: 61 61 20 22 61 61 61 60 7e 22 5c 6e 22 7e 60 62  aa "aaa`~"\n"~`b
1a10: 62 62 20 23 20 31 32 33 60 7e 22 5c 72 5c 6e 22  bb # 123`~"\r\n"
1a20: 7e 60 65 65 65 22 0a 7a 7a 7a 0a 60 29 3b 0a 09  ~`eee".zzz.`);..
1a30: 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64  Token[] ts = std
1a40: 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78  .array.array(lex
1a50: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1a60: 73 5b 30 5d 2e 73 74 72 2c 20 22 6d 79 22 20 29  s[0].str, "my" )
1a70: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73  ;..assert_eq( ts
1a80: 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20  [0].pos.lineno, 
1a90: 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20  1 );..assert(   
1aa0: 21 74 73 5b 30 5d 2e 71 75 6f 74 65 64 20 29 3b  !ts[0].quoted );
1ab0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b  ..assert_eq( ts[
1ac0: 31 5d 2e 73 74 72 2c 20 22 62 65 22 20 29 3b 0a  1].str, "be" );.
1ad0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31  .assert_eq( ts[1
1ae0: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 33 20  ].pos.lineno, 3 
1af0: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74  );..assert(   !t
1b00: 73 5b 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09  s[1].quoted );..
1b10: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d  assert_eq( ts[2]
1b20: 2e 73 74 72 2c 20 22 69 67 6e 6f 72 65 64 22 20  .str, "ignored" 
1b30: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74  );..assert(   !t
1b40: 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09  s[2].quoted );..
1b50: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d  assert_eq( ts[3]
1b60: 2e 73 74 72 2c 20 22 2e 22 20 29 3b 0a 09 61 73  .str, "." );..as
1b70: 73 65 72 74 28 20 20 20 21 74 73 5b 33 5d 2e 71  sert(   !ts[3].q
1b80: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74  uoted );..assert
1b90: 5f 65 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20  _eq( ts[4].str, 
1ba0: 22 68 61 68 61 68 61 22 20 29 3b 0a 09 61 73 73  "hahaha" );..ass
1bb0: 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 6f  ert_eq( ts[4].po
1bc0: 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09  s.lineno, 4 );..
1bd0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 34 5d  assert(   !ts[4]
1be0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65  .quoted );..asse
1bf0: 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72  rt_eq( ts[5].str
1c00: 2c 20 22 68 69 68 69 68 69 22 20 29 3b 0a 09 61  , "hihihi" );..a
1c10: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e  ssert_eq( ts[5].
1c20: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b  pos.lineno, 4 );
1c30: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b  ..assert(    ts[
1c40: 35 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73  5].quoted );..as
1c50: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73  sert_eq( ts[6].s
1c60: 74 72 2c 20 60 68 75 5c 22 68 75 68 75 60 20 29  tr, `hu\"huhu` )
1c70: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73  ;..assert_eq( ts
1c80: 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20  [6].pos.lineno, 
1c90: 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20  4 );..assert(   
1ca0: 20 74 73 5b 36 5d 2e 71 75 6f 74 65 64 20 29 3b   ts[6].quoted );
1cb0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b  ..assert_eq( ts[
1cc0: 37 5d 2e 73 74 72 2c 20 22 31 32 33 22 20 29 3b  7].str, "123" );
1cd0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b  ..assert_eq( ts[
1ce0: 37 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35  7].pos.lineno, 5
1cf0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20   );..assert_eq( 
1d00: 74 73 5b 38 5d 2e 73 74 72 2c 20 22 61 61 22 20  ts[8].str, "aa" 
1d10: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1d20: 73 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c  s[9].pos.lineno,
1d30: 20 35 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71   5 );..assert_eq
1d40: 28 20 74 73 5b 39 5d 2e 73 74 72 2c 20 22 61 61  ( ts[9].str, "aa
1d50: 61 5c 6e 62 62 62 20 23 20 31 32 33 5c 6e 65 65  a\nbbb # 123\nee
1d60: 65 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20  e" );..assert(  
1d70: 20 20 74 73 5b 39 5d 2e 71 75 6f 74 65 64 20 29    ts[9].quoted )
1d80: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73  ;..assert_eq( ts
1d90: 5b 31 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c  [10].pos.lineno,
1da0: 20 38 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20   8 );..assert(  
1db0: 20 21 74 73 5b 31 30 5d 2e 71 75 6f 74 65 64 20   !ts[10].quoted 
1dc0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74  );..assert_eq( t
1dd0: 73 2e 6c 65 6e 67 74 68 2c 20 31 31 20 29 3b 0a  s.length, 11 );.
1de0: 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d  }...unittest..{.
1df0: 0a 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 6c 65  ..auto lex2 = le
1e00: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 20  xerFromString(" 
1e10: 61 31 32 5c 6e 33 61 20 35 20 22 29 3b 0d 0a 09  a12\n3a 5 ");...
1e20: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e  assert_eq( lex2.
1e30: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 61 31 32 22  front.str, "a12"
1e40: 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72   );...lex2.popFr
1e50: 6f 6e 74 3b 0d 0a 09 61 75 74 6f 20 6c 65 78 33  ont;...auto lex3
1e60: 20 3d 20 6c 65 78 32 2e 73 61 76 65 3b 0d 0a 09   = lex2.save;...
1e70: 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 32 2e  assert_eq( lex2.
1e80: 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 20  front.str, "3a" 
1e90: 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 6f  );...lex2.popFro
1ea0: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28  nt;...assert_eq(
1eb0: 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 2c   lex3.front.str,
1ec0: 20 22 33 61 22 20 29 3b 0d 0a 09 61 73 73 65 72   "3a" );...asser
1ed0: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74  t_eq( lex2.front
1ee0: 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a 09 6c  .str, "5" );...l
1ef0: 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09  ex2.popFront;...
1f00: 6c 65 78 33 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a  lex3.popFront;..
1f10: 09 61 73 73 65 72 74 28 20 6c 65 78 32 2e 65 6d  .assert( lex2.em
1f20: 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 28  pty );...assert(
1f30: 20 21 6c 65 78 33 2e 65 6d 70 74 79 20 29 3b 0d   !lex3.empty );.
1f40: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78  ..assert_eq( lex
1f50: 33 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22  3.front.str, "5"
1f60: 20 29 3b 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65   );..}....unitte
1f70: 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 78  st..{...auto lex
1f80: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69   = lexerFromStri
1f90: 6e 67 28 60 3d 22 22 60 29 3b 0d 0a 09 61 73 73  ng(`=""`);...ass
1fa0: 65 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74  ert_eq(lex.front
1fb0: 2e 73 74 72 2c 20 22 3d 22 29 3b 20 6c 65 78 2e  .str, "="); lex.
1fc0: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65  popFront;...asse
1fd0: 72 74 5f 65 71 28 6c 65 78 2e 66 72 6f 6e 74 2e  rt_eq(lex.front.
1fe0: 73 74 72 2c 20 22 22 29 3b 20 6c 65 78 2e 70 6f  str, ""); lex.po
1ff0: 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74  pFront;...assert
2000: 28 20 6c 65 78 2e 65 6d 70 74 79 20 29 3b 0d 0a  ( lex.empty );..
2010: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 65  .assert_eq( lexe
2020: 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 2d 40 60  rFromString(`-@`
2030: 29 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 2d 22  ).front.str, "-"
2040: 20 29 3b 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f   );..}..../// Fo
2050: 72 77 61 72 64 20 72 61 6e 67 65 20 66 6f 72 20  rward range for 
2060: 72 65 61 64 65 72 20 63 68 61 72 61 63 74 65 72  reader character
2070: 20 62 79 20 63 68 61 72 61 63 74 65 72 2c 0d 0a   by character,..
2080: 2f 2f 2f 20 6b 65 65 70 69 6e 67 20 74 72 61 63  /// keeping trac
2090: 6b 20 6f 66 20 70 6f 73 69 74 69 6f 6e 20 69 6e  k of position in
20a0: 66 6f 72 6d 61 74 69 6f 6e 20 61 6e 64 20 63 61  formation and ca
20b0: 72 69 6e 67 20 5c 72 5c 6e 20 2d 3e 20 5c 6e 20  ring \r\n -> \n 
20c0: 63 6f 6e 76 65 72 73 69 6f 6e 2e 0d 0a 0d 0a 73  conversion.....s
20d0: 74 72 75 63 74 20 50 6f 73 69 74 69 6f 6e 65 64  truct Positioned
20e0: 52 65 61 64 65 72 28 43 68 61 72 53 65 71 29 0d  Reader(CharSeq).
20f0: 0a 09 69 66 28 20 69 73 46 6f 72 77 61 72 64 52  ..if( isForwardR
2100: 61 6e 67 65 21 28 43 68 61 72 53 65 71 29 20 26  ange!(CharSeq) &
2110: 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65  & is(ElementType
2120: 21 28 43 68 61 72 53 65 71 29 3d 3d 64 63 68 61  !(CharSeq)==dcha
2130: 72 29 20 29 0d 0a 7b 0d 0a 09 43 68 61 72 53 65  r) )..{...CharSe
2140: 71 20 62 75 66 66 65 72 3b 0d 0a 09 73 74 72 69  q buffer;...stri
2150: 6e 67 20 20 66 69 6c 65 6e 61 6d 65 3b 0d 0a 09  ng  filename;...
2160: 69 6e 74 20 20 20 20 20 6c 69 6e 65 6e 6f 3b 0d  int     lineno;.
2170: 0a 09 69 6e 74 20 20 20 20 20 63 6f 6c 75 6d 6e  ..int     column
2180: 3b 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20  ;...../// Range 
2190: 70 72 69 6d 69 74 69 76 65 0d 0a 09 62 6f 6f 6c  primitive...bool
21a0: 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70   empty() /*@prop
21b0: 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 65  erty*/...{....re
21c0: 74 75 72 6e 20 62 75 66 66 65 72 2e 65 6d 70 74  turn buffer.empt
21d0: 79 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52  y;...}...../// R
21e0: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a  ange primitive..
21f0: 09 64 63 68 61 72 20 66 72 6f 6e 74 28 29 20 2f  .dchar front() /
2200: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b  *@property*/...{
2210: 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 75  ....dchar c = bu
2220: 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72  ffer.front;....r
2230: 65 74 75 72 6e 20 28 63 3d 3d 27 5c 72 27 20 3f  eturn (c=='\r' ?
2240: 20 27 5c 6e 27 20 3a 20 63 29 3b 0d 0a 09 7d 0d   '\n' : c);...}.
2250: 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72  ..../// Range pr
2260: 69 6d 69 74 69 76 65 0d 0a 09 76 6f 69 64 20 70  imitive...void p
2270: 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f  opFront() /*@pro
2280: 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64  perty*/...{....d
2290: 63 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 2e  char c = buffer.
22a0: 66 72 6f 6e 74 3b 0d 0a 09 09 62 75 66 66 65 72  front;....buffer
22b0: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 66  .popFront;....if
22c0: 28 20 63 3d 3d 27 5c 72 27 20 29 0d 0a 09 09 7b  ( c=='\r' )....{
22d0: 0d 0a 09 09 09 69 66 28 20 21 62 75 66 66 65 72  .....if( !buffer
22e0: 2e 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 72  .empty && buffer
22f0: 2e 66 72 6f 6e 74 3d 3d 27 5c 6e 27 20 29 0d 0a  .front=='\n' )..
2300: 09 09 09 09 62 75 66 66 65 72 2e 70 6f 70 46 72  ....buffer.popFr
2310: 6f 6e 74 3b 0d 0a 09 09 09 63 20 3d 20 27 5c 6e  ont;.....c = '\n
2320: 27 3b 0d 0a 09 09 7d 0d 0a 09 09 69 66 28 20 63  ';....}....if( c
2330: 3d 3d 27 5c 6e 27 20 29 0d 0a 09 09 7b 0d 0a 09  =='\n' )....{...
2340: 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b 09 0d 0a 09  ..lineno ++;....
2350: 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09  ..column = 1;...
2360: 09 7d 0d 0a 09 09 65 6c 73 65 0d 0a 09 09 09 63  .}....else.....c
2370: 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a 09 7d 0d 0a 0d  olumn ++;...}...
2380: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d  ../// Range prim
2390: 69 74 69 76 65 0d 0a 09 74 79 70 65 6f 66 28 74  itive...typeof(t
23a0: 68 69 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70  his) save() /*@p
23b0: 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09  roperty*/...{...
23c0: 09 72 65 74 75 72 6e 20 74 68 69 73 3b 0d 0a 09  .return this;...
23d0: 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 65 74 20 74 68  }...../// Get th
23e0: 65 20 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69  e current positi
23f0: 6f 6e 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 28 4c  on...immutable(L
2400: 65 78 50 6f 73 69 74 69 6f 6e 29 20 63 75 72 72  exPosition) curr
2410: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 20 63 6f  entPosition() co
2420: 6e 73 74 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72  nst...{....retur
2430: 6e 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28  n new immutable(
2440: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c  LexPosition)(fil
2450: 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63  ename, lineno, c
2460: 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a  olumn);...}..}..
2470: 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09  ..unittest..{...
2480: 61 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72  assert( isForwar
2490: 64 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e  dRange!(Position
24a0: 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29  edReader!string)
24b0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73   );...assert( is
24c0: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f  (ElementType!(Po
24d0: 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73  sitionedReader!s
24e0: 74 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29  tring) == dchar)
24f0: 20 29 3b 0d 0a 7d 0d 0a                           );..}..