띄어쓰기 모델을 실험 및 구현한 방법에 대한 글입니다.
대화체에 유연한 띄어쓰기 모델 만들기
자연어 형태의 텍스트를 컴퓨터가 이해하기 하기 위해서는 토크나이징 (tokenizing) 과정이 필수적으로 진행되어야 합니다. 그러나 핑퐁팀에서 다루고 있는 채팅 데이터는 띄어쓰기가 제대로 안 된 데이터가 많고 이로 인해 토크나이징 단계에서 오류가 발생하기도 합니다. 어떻게 하면 채팅 문장의 띄어쓰기를 수정할 수 있을까요?
blog.pingpong.us
로그인
기업 정보
비밀번호 재설정
가입하신 이메일 혹은 전화번호를 입력해 주세요.
인증번호를 못 받으셨나요? 다시 받기
로켓펀치 모바일 앱
(TEXT AREA)
서수인
띄어쓰기 모델을 실험 및 구현한 방법에 대한 글입니다.
대화체에 유연한 띄어쓰기 모델 만들기
자연어 형태의 텍스트를 컴퓨터가 이해하기 하기 위해서는 토크나이징 (tokenizing) 과정이 필수적으로 진행되어야 합니다. 그러나 핑퐁팀에서 다루고 있는 채팅 데이터는 띄어쓰기가 제대로 안 된 데이터가 많고 이로 인해 토크나이징 단계에서 오류가 발생하기도 합니다. 어떻게 하면 채팅 문장의 띄어쓰기를 수정할 수 있을까요?
blog.pingpong.us