공백

공백은 한 개 이상의 가로 공백 문자만으로 이루어진 토큰이다. 공백은 다음 용도로 쓰인다.

• 공백이 없으면 하나의 토큰으로 합쳐지는 토큰들을 나누고자 할 경우. 특히 필드 표현식(expr field)에서 흔하게 나타난다.
• 들여쓰기로 코드의 논리적인 구조를 나타내고자 할 경우.

다른 많은 언어와는 달리 공백은 그 자체로 토큰이며, (대부분 무시되긴 하지만) 파싱 단계에서 공백이 있느냐 없느냐에 따라 다른 해석이 일어날 수 있다. 다만 두 공백 토큰이 연속될 수 없기 때문에 내부 표현에서 공백을 오롯이 한 종류의 토큰으로 취급할 필요는 없다.