본문 바로가기

데이터 Story/데이터 상념(想念)

액셀과 사례 데이터 이번 주에 기준 엔터티를 설계할 때의 일입니다. 보통은 머리 속에서 데이터 생성하면서 엔터티를 설계합니다.설계한 후에 맞는지 머리 속에서 다시 데이터 생성해 보고요.이상하면 엔터티 다시 설계하고, 또 데이터 생성해 봅니다.이걸 저는 수읽기라고 합니다. 바둑을 아시면 금방 이해하실 거에요.내가 여기에 두면 상대는 어디다 둘 거고, 그럼 나는 또 어디에 두고, 상대는 어디에 둘거다를 머리 속에서 둬보는 것이죠.내가 둘 수 밖에 없는 곳, 또는 가장 유리한 곳을 찾은 후에 상대의 입장에서도 그 곳을 찾는 게 수읽기입니다.프로기사는 50수 정도 수읽기를 한다고 해요.보통 1분 내에 한 수를 둬야 하니까 엄청난 속도입니다. 여담이지만 알파고는 이 수읽기를 50수 정도 한 게 아니고 바둑 끝까지 한 것입니다.쉽게 .. 더보기
모델링과 바둑 이야기 저는 바둑을 무척 좋아합니다. 대학 때 동호회가 기우회(棋友會)였어요. 동호회 얘기할 때마다 반복하는 해명인데, 비가 오라고 비는 곳이 아닙니다. 학교에 그런 동호회가 있을 리 없죠. 바둑 동호회입니다. 잠깐 옆으로 새면, 기우(祈雨)를 하면 반드시 비가 오는 부족이 있다고 합니다. 비결은, 비가 올 때까지 빈다고 합니다. 간단하죠. 제가 기우회에서 4급 정도를 두었는데요. 방황을 하던 때라서 바둑보다는 농구를 더 많이 한 탓에 바둑 실력이 좋지 않았습니다. 약간 후회가 됩니다. 선배들처럼 1~2급까지 갔으면 좋았을텐데요. 참고로 아마추어는 단(段)이 없고 최고가 1급(級)입니다. 천차만별이지만 아마추어 1급을 아마추어 단으로 치면 3~6단 정도 되는 거 같아요. 이 글은 모델링에 대한 글이지만 잠깐 바.. 더보기
개념 모델에 대한 논쟁 개념 모델에 대한 논쟁이 끊이지 않고 있습니다.저만 그렇게 생각하고 있을 수도 있습니다. ㅎ 오늘은 간단하게 설명하겠지만, 언젠가는 매우 자세하게 설명할 생각입니다. 어떤 모델을 개념 모델이라고 할까요?매우 개념적이라 답이 없어 보이지만, 저는 나름의 기준을 가지고 있습니다. 건축으로 치면 조감도가 개념 모델일까요? 저는 철골 구조가 개념 모델이라고 생각합니다. 사람의 실제 얼굴을 그린 정밀 초상화를 물리 모델이라고 할 때, 개념 모델은 무엇일까요? 누구를 그렸는지 알 수 있고, 감탄사가 나올 정도로 특징을 잘 묘사한 캐리커처(Caricature)가 개념 모델일까요?여러 사진을 조합해서 존재하지 않는 대상을 만든 몽타주 정도가 개념 모델이 될까요?혹은 사람 얼굴을 추상적으로 표현해서 누군지 알기 힘든 추.. 더보기
모델링에 답이 어딨어? 얼마 전 어떤 분이 한 말이다.일부 개발자의 생각을 안타까워하면서 한 얘기다.악의는 전혀 없었다.눈치가 없었을 뿐이었다. 왜 유독 모델링에 답이 없다고 하는 것일까?“튜닝에 답이 어딨어?”라는 말은 들어보지 못했다. 최고로 튜닝할 수 있는 절대 시간은 알기 어렵다.최고수가 행한 결과가 기준이나 정답은 될 수 있겠지만, 특정한 정답은 없는 것이다.이전보다 좋은 결과가 나오고, 근거가 명확하면 튜닝은 끝난 것이고 사람들은 수긍한다. 다만 튜닝은 실행 시간이라는 정량적인 수치가 있다.정답은 아닐 수 있지만 숫자가 나오니 정답처럼 느끼는 것일지 모른다. 사실 “답이 어딨어?”라는 말은 어떤 분야에도 해당되는 말이다.개발도 마찬가지다.하지만 완벽하진 않지만 좋은 코딩은 있을 것이다. 답이 없으면 찾아야 한다.최선.. 더보기
[번역글] 텍스트 분석: 차세대 빅데이터 개인적으론 너무 마케팅에만 치우친 것 같아 텍스트 분석이 그다지 매력적이지는 않은데요.시대의 흐름이고 DQ와도 연관돼 있어 관심을 가질 필요가 있는 거 같습니다.더욱이 모델러는 데이터를 다루는 사람이니 연관 분야입니다. 주로 텍스트 분석의 중요성에 대해서 언급한 기사입니다.특별한 내용은 없지만 참고하세요. 텍스트 분석은 도구를 이해하는 게 중요할 거 같다는 생각이 드네요.DQ 솔루션과 겹치는 부분도 있을 거 같고요. 출처: http://insidebigdata.com/2015/06/05/text-analytics-the-next-generation-of-big-data/ --다니엘 구티에레스. 2015. 6. 15 이 특집 기사에서 Lexalytics의 제프 캐틀린은 텍스트 분석의 사례와 빅데이터의 관심.. 더보기
[번역글] 데이터 아키텍트(Data Architect)의 삶 데이터 아키텍트(DA)에 대한 번역글입니다.당연히 미국의 DA 상황인데요.한국의 DA 역할과 매우 유사하다고 생각되는데, 기술 능력은 너무 광범위하네요. 그래도 빅데이터 관련 기술이 눈에 띄입니다.현재 한국에서는 DA에게 빅데이터 관련 지식을 요구하지 않을 거 같지만 앞으로는 그렇게 될 수도 있다는 생각이 듭니다.데이터 아키텍트의 확장판(?)인 빅데이터 아키텍트가 생길 수도 있고요. 원문: http://www.mastersindatascience.org/careers/data-architect/ -- 데이터 아키텍트는 데이터 관리 시스템을 위한 청사진을 만든다. 데이터 아키텍트는 회사의 잠재적인 데이터 소스(내부 및 외부)를 평가한 후 통합하고 중앙 집중화하며, 보호 및 관리하는 계획을 설계한다. 이를 .. 더보기
[번역글] 데이터 과학자(Data Scientist)란? 데이터 과학자에 대해 조금이나마 알 수 있는 글입니다.데이터 모델러와는 완전 다르네요. ㅎ 원문: https://www.sas.com/en_us/insights/analytics/what-is-a-data-scientist.html# -- 데이터 과학자는 복잡한 문제를 해결할 수 있는 기술적 능력을 갖추고 있고, 해결돼야 할 문제를 찾는 호기심이 있는 새로운 유형의 분석 데이터 전문가다. 그들은 수학자이고, 컴퓨터 과학자이자 유행에 민감한 사람이다. 그리고 비즈니스와 IT 세계를 아우르고 있기 때문에 수요가 많고 급여가 높다. 누가 데이터 과학자가 되고 싶지 않겠는가? 그들은 시대의 상징과 같다. 데이터 과학자들은 10년 전에 많은 관심을 끌지 못했지만, 갑작스런 인기는 기업이 현재 빅데이터에 대해 어떻.. 더보기
모델러가 모델링을 하는 목적은 좋은 모델을 만들기 위함이어야 한다 또 다시 새해를 맞았습니다.자꾸 새해가 밀려오네요. 모델링의 가치가 무엇인지는 최근 2~3년 동안 스스로에게 많이 했던 질문입니다. 한참 전에는 모델링이 재미있어서 했습니다.바둑 둘 때나 농구할 때와 같이 모델링을 하면 시간 가는 줄을 몰랐어요.아무리 많은 일을 맡아도 힘들지 않고 재미있게 했습니다.몰두하면 머리도 맑아지고, 재미있는데 돈까지 벌 수 있으니 좋았어요. 그러다 체력이 떨어지고 건강이 나빠지기 시작하니까 모델링이 힘들어지기 시작했어요.여전히 재미는 있었지만, 힘든 상황에서 무엇을 위해 모델링을 해야 하는지를 자주 생각하게 됐습니다. 사설이 걸어졌네요. 결국, 모델링을 하는 목적은 좋은 모델을 만들기 위함이라고 생각합니다.좋은 모델을 간단하게 설명할 수 없지만, 데이터 자체를 있는 그대로설계하.. 더보기
컴퓨터가 모델링을 할 수 있을까? 매뉴얼을 쓰던 중 갑자기 알파고가 떠올랐어요. 모델링 노트 책에 아래 문구가 있습니다. “컴퓨터가 아무리 발달해도 인간에게 바둑을 이길 수 없듯이 풀이 과정을 판단하면서 앎의 정도를 기계적으로 채점할 방법은 없을 것이다.” 다들 아시듯이 컴퓨터가 인간에게 바둑을 이길 수 없다는 저의 확신은 틀렸습니다. ㅎ책에서도, 강의에서도 확고하게 언급한 내용인데요. 이세돌이 알파고에게 첫 판을 졌을 때 충격을 받았어요.왕년에 좀 뒀던 바둑인(?)으로서 상심이 컸고, 기계가 어떻게 수읽기를 해서 더 나은 수를 판달할 수 있는지 이해할 수가 없었어요. 하지만 많은 기사들을 읽고 약간의 해답을 얻었어요.이세돌이 왜 질 수밖에 없는지를요. 알파고는 판단을 한 것이 아니라 계산을 한 것이라는 게 제가 발견한 위안거리입니다.상.. 더보기
프로미엄 가이드 2쇄 이미지 누락 프리미엄 가이드 2쇄에 누락된 이미지가 많습니다. 인쇄 들어가기 직전의 검판용 파일에는 이상이 없었는데요.생각지도 못했던 일입니다. 제가 쓴 책을 떠나 책을 아끼는 사람으로서 너무 죄송하게 생각합니다.자신의 일에 능숙하지 않은 사람들이 있는 거 같아 안타깝습니다. 누락된 이미지는 우선 이 글에 올리겠습니다. 93페이지 [그림 4.18] 96페이지 [그림 4.23] 100페이지 [그림 4.29] 상단 이미지 316페이지 [그림 10.1] 324페이지 [그림 10.12] 327페이지 [그림 10.16] 328페이지 [그림 10.17] 335페이지 [그림 10.26] 454페이지 [그림 12.12] 더보기

티스토리툴바