@@ -91,21 +91,21 @@ export function tokenizeSyx(source: string): Token[] {
9191 curPos ++ ;
9292 }
9393 }
94- if ( src [ 0 ] === '(' ) tokens . push ( { type : inString ? 20 : TokenType . OpenParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
95- else if ( src [ 0 ] === ')' ) tokens . push ( { type : inString ? 20 : TokenType . CloseParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
96- else if ( src [ 0 ] === '{' ) tokens . push ( { type : inString ? 20 : TokenType . OpenBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
97- else if ( src [ 0 ] === '}' ) tokens . push ( { type : inString ? 20 : TokenType . CloseBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
98- else if ( src [ 0 ] === '[' ) tokens . push ( { type : inString ? 20 : TokenType . OpenSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
99- else if ( src [ 0 ] === ']' ) tokens . push ( { type : inString ? 20 : TokenType . CloseSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
100- else if ( src [ 0 ] === ',' ) tokens . push ( { type : inString ? 20 : TokenType . Comma , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
101- else if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
102- else if ( src [ 0 ] === '<' ) tokens . push ( { type : inString ? 20 : TokenType . OpenDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
103- else if ( src [ 0 ] === '>' ) tokens . push ( { type : inString ? 20 : TokenType . CloseDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
94+ if ( src [ 0 ] === '(' ) tokens . push ( { type : inString ? 20 : TokenType . OpenParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
95+ else if ( src [ 0 ] === ')' ) tokens . push ( { type : inString ? 20 : TokenType . CloseParen , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
96+ else if ( src [ 0 ] === '{' ) tokens . push ( { type : inString ? 20 : TokenType . OpenBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
97+ else if ( src [ 0 ] === '}' ) tokens . push ( { type : inString ? 20 : TokenType . CloseBrace , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
98+ else if ( src [ 0 ] === '[' ) tokens . push ( { type : inString ? 20 : TokenType . OpenSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
99+ else if ( src [ 0 ] === ']' ) tokens . push ( { type : inString ? 20 : TokenType . CloseSquare , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
100+ else if ( src [ 0 ] === ',' ) tokens . push ( { type : inString ? 20 : TokenType . Comma , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
101+ else if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
102+ else if ( src [ 0 ] === '<' ) tokens . push ( { type : inString ? 20 : TokenType . OpenDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
103+ else if ( src [ 0 ] === '>' ) tokens . push ( { type : inString ? 20 : TokenType . CloseDiamond , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
104104 else if ( src [ 0 ] === '\'' ) { tokens . push ( { type : TokenType . SingleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '\'' ) ; }
105105 else if ( src [ 0 ] === '"' ) { tokens . push ( { type : TokenType . DoubleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '"' ) ; }
106- else if ( src [ 0 ] === '|' ) tokens . push ( { type : inString ? 20 : TokenType . VarSeperator , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
106+ else if ( src [ 0 ] === '|' ) tokens . push ( { type : inString ? 20 : TokenType . VarSeperator , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
107107 else if ( src [ 0 ] === '+' && chars . includes ( src [ 1 ] ) ) {
108- if ( src [ 1 ] === 's' ) tokens . push ( { type : inString ? 20 : TokenType . WhitespaceIdentifier , value : '+s' , range : tpr ( pos ( curLine , curPos ) , pos ( curLine , curPos + 2 ) ) } ) ;
108+ if ( src [ 1 ] === 's' ) tokens . push ( { type : inString ? 20 : TokenType . WhitespaceIdentifier , value : '+s' , range : tpr ( pos ( curLine , curPos ) , pos ( curLine , curPos + 2 ) ) } ) ;
109109 curPos += 2 ;
110110 src . shift ( ) ; src . shift ( ) ;
111111 } else if ( isInt ( src [ 0 ] ) ) {
@@ -116,7 +116,7 @@ export function tokenizeSyx(source: string): Token[] {
116116 }
117117
118118 curPos += ident . length ;
119- tokens . push ( { type : inString ? 20 : TokenType . IntNumber , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
119+ tokens . push ( { type : inString ? 20 : TokenType . IntNumber , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
120120 } else if ( isAlphabetic ( src [ 0 ] ) ) {
121121 let ident = '' ;
122122 const startPos = curPos ;
@@ -126,7 +126,7 @@ export function tokenizeSyx(source: string): Token[] {
126126 }
127127
128128 const reserved = keywords [ ident ] ;
129- tokens . push ( { type : inString ? 20 : reserved ?? TokenType . Identifier , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
129+ tokens . push ( { type : inString ? 20 : reserved ?? TokenType . Identifier , value : ident , range : tpr ( pos ( curLine , startPos ) , pos ( curLine , curPos ) ) } ) ;
130130 } else if ( isSkippable ( src [ 0 ] ) && ! inString ) {
131131 src . shift ( ) ;
132132 curPos ++ ;
@@ -161,7 +161,7 @@ export function tokenizeSys(source: string): Token[] {
161161 let curLine = 1 ;
162162
163163 while ( src . length > 0 && `${ src [ 0 ] } ${ src [ 1 ] } ${ src [ 2 ] } ` !== ':::' ) {
164- if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
164+ if ( src [ 0 ] === ';' ) tokens . push ( { type : inString ? 20 : TokenType . Semicolon , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ;
165165 else if ( src [ 0 ] === '\'' ) { tokens . push ( { type : TokenType . SingleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '\'' ) ; }
166166 else if ( src [ 0 ] === '"' ) { tokens . push ( { type : TokenType . DoubleQuote , value : src . shift ( ) , range : opr ( curLine , curPos ++ ) } ) ; t ( '"' ) ; }
167167 else if ( isAlphabetic ( src [ 0 ] ) ) {
0 commit comments