NCS학습목표
빅데이터 분석에 필요한 데이터를 내·외부에서 수집하고 추출, 정제, 변환, 검증하여 데이터 분석에
필요한 형태로 수집할 수 있다.
수집 계획 세우기
데이터를 분석하려면 데이터가 있어야겠죠. 그런데 데이터를 어디서 구할까요? 수집 계획을 세워봅니다.
수집 시스템 만들기
- 수면 데이터를 수집하기 위해서 Sleep (for Android)얩을 이용해서, 슬립 클라우드에 등록합니다.
- 수면 위생 상태를 정형화된 형태로 기록하기 위해서 엑셀이나, Calc를 이용합니다.
데이터 읽어오고 검증하기
- 슬립클라우드에서 수면 데이터를 다운로드 받습니다.
- 엑셀 파일을 R이 읽을 수 있는 CSV 파일로 변환합니다.
- R에서 데이터들을 읽어들입니다.
- 원하는 데이터가 맞는지, 누락된 데이터는 없는지 확인합니다.
Q : 데이터베이스는 안 쓰나요?
우리는 Sleep Cloud를 이용하고, 파일은 CSV 형태로 저장합니다. 그래서 특별한 데이터 저장 시스템을 구축할 필요는 없습니다.
하지만 빅데이터처럼 정보가 많은 경우에는 데이터베이스를 다룰 줄 알아야합니다. 아닌 게 아니라 정말 중요한 기술입니다. 취업공고와 시중에 나온 서적들을 근거로 보면 SQL이나 몽고DB를 많이씁니다. 데이터베이스에 대해서 배우고 싶으시다면 DATABASEn을 참고하세요. SQL전문가 같은 관련 자격증도 있습니다.
