Kinetica Import CSV

kinetica gadmin에서 csv파일을 import하기 위해서는 kinetica에 맞는 양식에 맞춰주어야 합니다.

위의 화면은 Data카테고리의 CSV Import 화면입니다.

shop_id|long|data
shop_name|string|data|char128|text_search
longitude|double|data

데이터베이스의 속성값을 위와 같이 입력해주어야합니다.

데이터 타입, string이면 char 사이즈, text_search를 가능하게 할 것인지 등등이 있습니다.

속성값으로 어떠한 것들을 줄수 있는지 Tables -> Create에 들어가서 먼저 확인을 해보고 값을 설정하는 것이 좋습니다.

CSV파일을 양식에 알맞게 수정했으면 Select File버튼을 눌러 업로드한 뒤 Import하면 됩니다.

여기서 VM내부의 브라우저로 Kinetica를 접속했을 시 csv파일을 VM에 넘겨줘야 하기 때문에 번거로울 수 있다.(scp를 사용하면 되긴 됨) 그렇기 때문에 포트포워딩을 한 후 kinetica를 윈도우의 브라우저로 접속하면 윈도우의 파일을 업로드 할 수 있기 때문에 포트포워딩을 하는 것을 추천합니다.

csv파일이 잘 import 됐으면 위와 같은 화면이 출력된다.(Error가 발생한다면 보통 2가지입니다. 속성값이 잘못되었거나 속성에 대한 데이터가 잘못된 값이거나... 저는 char크기를 너무 작게줘서 Error가 많이 발생했습니다.)

Tables에 들어가 import시킨 db명을 클릭하여 들어가면 아래와 같이 데이터베이스가 잘 업로드 됐는지 확인할 수 있습니다.

kinetica gadmin에서 제공하는 KiSQL을 이용해 쿼리문을 테스트해 볼 수 있습니다.

한글이 깨지는 현상이 발생하는데 Reveal Dashboard에서는 깨지지않고 잘 나오기 때문에 괜찮습니다.

korea_shop_info_lite.csv

0.29MB

이 포스터에서 사용된 데이터는 약 77MB이지만 블로그에 올릴 수 있는 데이터가 10MB로 제한되어 있어 약 1000건의 데이터로 추린 파일을 업로드 해놓았습니다.

위의 데이터는 공공데이터포털에서 찾았으며 국가중점데이터 카테고리의 상권정보에서 이 데이터를 찾을 수 있다. 다만 개인적으로 불필요하다고 생각되는 컬럼을 몇부분 삭제했습니다.

https://www.data.go.kr/

공공데이터포털

공공데이터포털에서 본인이 kinetica에 넣어보고 싶은 데이터를 찾아 import 해보는 것도 좋을 것 같습니다.(Kinetica Reveal을 적극 활용하고 싶다면 좌표값이 있는 지리적 데이터를 선택하는 것을 추천합니다.) 한글이 있는 데이터를 kinetica reveal dashboard에 나타내고 싶다면 데이터 인코딩을 꼭 utf-8로 변환해주어야 합니다.(보통 엑셀로 열어서 저장하면 ansi로 저장되는데 csv파일을 메모장으로 열고 '다른이름으로 저장'을 한뒤 인코딩을 utf-8로 변경하여 저장하면 쉽게 인코딩을 변경할 수 있음)

 

Kinetica Ver : kinetica/kinetica-intel:6.2.0.10.20180629213923.ga