코드 문자

코드 문자는 나루 코드를 이루는 유니코드 스칼라 값이다. 물론 모든 코드는 내부적으로 바이트열로 해석되겠지만, 토큰화 과정에서 무조건 코드 문자열로 변환되어야 한다.

모든 문자는 그 용도에 따라 다음 중 하나로 분류할 수 있다.

분류	용도	예제
이름 시작 문자	이름의 맨 앞이나 중간에 올 수 있음	A..Z, a..z, _, ㅋ
이름 계속 문자	이름의 중간에만 올 수 있음	U+00B7 ·
십진 자리 문자	숫자 리터럴 맨 앞이나 이름의 중간에 올 수 있음	0..9
기호 문자	기호를 이룸	!, &, <
여는 구획 문자	구획의 시작을 이룸	(, {, [
닫는 구획 문자	구획의 끝을 이룸	), }, ]
여는 따옴표 문자	토큰화시 따옴표 모드를 켬	‘, “
닫는 따옴표 문자	토큰화시 따옴표 모드를 끔	’, ”
여닫는 따옴표 문자	토큰화시 따옴표 모드를 반전함	', ", `
가로 공백 문자	연속되어 공백을 이룸	U+0009, U+0020, U+FEFF
세로 공백 문자	개행으로 해석됨	U+000A, U+000D
기타 문자	오류 토큰으로 해석됨	U+0000, U+20A9 ₩