@@ -107,8 +107,8 @@ fn parse_token_list(file: &str) -> HashMap<String, token::Token> {
107107 "OR" => token:: BinOp ( token:: Or ) ,
108108 "GT" => token:: Gt ,
109109 "LE" => token:: Le ,
110- "LIT_BINARY " => token:: Literal ( token:: Binary ( Name ( 0 ) ) , None ) ,
111- "LIT_BINARY_RAW " => token:: Literal ( token:: BinaryRaw ( Name ( 0 ) , 0 ) , None ) ,
110+ "LIT_BYTE_STR " => token:: Literal ( token:: ByteStr ( Name ( 0 ) ) , None ) ,
111+ "LIT_BYTE_STR_RAW " => token:: Literal ( token:: ByteStrRaw ( Name ( 0 ) , 0 ) , None ) ,
112112 "QUESTION" => token:: Question ,
113113 "SHEBANG" => token:: Shebang ( Name ( 0 ) ) ,
114114 _ => continue ,
@@ -137,8 +137,8 @@ fn str_to_binop(s: &str) -> token::BinOpToken {
137137 }
138138}
139139
140- /// Assuming a string/binary literal, strip out the leading/trailing
141- /// hashes and surrounding quotes/raw/binary prefix.
140+ /// Assuming a string/byte string literal, strip out the leading/trailing
141+ /// hashes and surrounding quotes/raw/byte prefix.
142142fn fix ( mut lit : & str ) -> ast:: Name {
143143 if lit. char_at ( 0 ) == 'r' {
144144 if lit. char_at ( 1 ) == 'b' {
@@ -205,8 +205,8 @@ fn parse_antlr_token(s: &str, tokens: &HashMap<String, token::Token>, surrogate_
205205 token:: DocComment ( ..) => token:: DocComment ( nm) ,
206206 token:: Literal ( token:: Integer ( ..) , n) => token:: Literal ( token:: Integer ( nm) , n) ,
207207 token:: Literal ( token:: Float ( ..) , n) => token:: Literal ( token:: Float ( nm) , n) ,
208- token:: Literal ( token:: Binary ( ..) , n) => token:: Literal ( token:: Binary ( nm) , n) ,
209- token:: Literal ( token:: BinaryRaw ( ..) , n) => token:: Literal ( token:: BinaryRaw ( fix ( content) ,
208+ token:: Literal ( token:: ByteStr ( ..) , n) => token:: Literal ( token:: ByteStr ( nm) , n) ,
209+ token:: Literal ( token:: ByteStrRaw ( ..) , n) => token:: Literal ( token:: ByteStrRaw ( fix ( content) ,
210210 count ( content) ) , n) ,
211211 token:: Ident ( ..) => token:: Ident ( ast:: Ident { name : nm, ctxt : 0 } ,
212212 token:: ModName ) ,
@@ -340,8 +340,8 @@ fn main() {
340340 token:: Literal ( token:: Float ( ..) , _) ,
341341 token:: Literal ( token:: Str_ ( ..) , _) ,
342342 token:: Literal ( token:: StrRaw ( ..) , _) ,
343- token:: Literal ( token:: Binary ( ..) , _) ,
344- token:: Literal ( token:: BinaryRaw ( ..) , _) ,
343+ token:: Literal ( token:: ByteStr ( ..) , _) ,
344+ token:: Literal ( token:: ByteStrRaw ( ..) , _) ,
345345 token:: Ident ( ..) ,
346346 token:: Lifetime ( ..) ,
347347 token:: Interpolated ( ..) ,
0 commit comments