GPT 토큰의 비밀. 한국어는 왜 더 느리고 요금도 더 많이 나올까?

OpenAI API를 사용시 한국어 문장을 사용하면 더 많은 비용이 나오게 됩니다. 이와 관련하여 토큰의 개념, 영어와 한글의 토큰 수 비교, Tokenizer에 대한 내용을 정리하였습니다.