AI Productivity Glossary
Token
TokenLLM이 텍스트를 학습하고 이해하며 출력할 때 사용하는 글자나 형태소 단위의 물리적인 기본 청크.
실생활 & 실무 활용 예시
영어 단어 "apple"은 1토큰에 해당할 수 있으나, 한글 단어 "사과"는 여러 토큰으로 쪼개질 수 있어 한글 프롬프트 작성 시 토큰 소모 효율을 고민해야 합니다.
공유하기
영어 단어 "apple"은 1토큰에 해당할 수 있으나, 한글 단어 "사과"는 여러 토큰으로 쪼개질 수 있어 한글 프롬프트 작성 시 토큰 소모 효율을 고민해야 합니다.