ClauText구현상, "abc def"가 같은 문장이 있고 여백기준으로 Tokenizer를 구성할 떄, "를 고려하지 않으면
"abc, def" 로 나누어져 문자열의 의미?를 잃고 만다. 그래서 Tokenizer를 만들면서, 여백(엔터키등은 제외)을 포함할 수 있는 문자열("나 '둘러쌓인 문자열)은 여백등에 의해서 나누어 지지 않도록 따로 option을 두어서구현하였다.
ClauText구현상, "abc def"가 같은 문장이 있고 여백기준으로 Tokenizer를 구성할 떄, "를 고려하지 않으면
"abc, def" 로 나누어져 문자열의 의미?를 잃고 만다. 그래서 Tokenizer를 만들면서, 여백(엔터키등은 제외)을 포함할 수 있는 문자열("나 '둘러쌓인 문자열)은 여백등에 의해서 나누어 지지 않도록 따로 option을 두어서구현하였다.
vztpv |
현재 버전 | |
---|---|
선택 버전 |