태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

이번 주에 기준 엔터티를 설계할 때의 일입니다.

 

보통은 머리 속에서 데이터 생성하면서 엔터티를 설계합니다.

설계한 후에 맞는지 머리 속에서 다시 데이터 생성해 보고요.

이상하면 엔터티 다시 설계하고, 또 데이터 생성해 봅니다.

이걸 저는 수읽기라고 합니다.

 

바둑을 아시면 금방 이해하실 거에요.

내가 여기에 두면 상대는 어디다 둘 거고, 그럼 나는 또 어디에 두고, 상대는 어디에 둘거다를 머리 속에서 둬보는 것이죠.

내가 둘 수 밖에 없는 곳, 또는 가장 유리한 곳을 찾은 후에 상대의 입장에서도 그 곳을 찾는 게 수읽기입니다.

프로기사는 50수 정도 수읽기를 한다고 해요.

보통 1분 내에 한 수를 둬야 하니까 엄청난 속도입니다.

 

여담이지만 알파고는 이 수읽기를 50수 정도 한 게 아니고 바둑 끝까지 한 것입니다.

쉽게 얘기하면 혼자 끝까지 둬보고 계가까지 한 후에 지지 않을 수를 선택하는 식이죠.

그래서 끝까지 둬보고 계산해보기 없기라는 규칙이 있어야 된다고 생각해요.

인간이야 그게 능력이지만, 기계는 성능일 뿐이죠.

일대일 대결도 아니었고, 알파고와의 대결은 불공정한 게임이었다는 게 저의 위안거리입니다.

 

어쨌든 이번에 기준 엔터티를 설계할 때, 머리 속에서 데이터가 생성이 안 됐습니다.

몇 발자국 못 가서 데이터가 없어지고 하는 식이어서 설계를 못했습니다.

최근에는 없었던 일인데, 이제 수읽기가 벅찬 게 아닌가 하는 생각이 들었어요.

 

바둑은 의외로 체력이 승부를 가르기도 합니다.

얼마 전 소개해 드렸던 조치훈의 교통사고 후 대국은, 전문가라면 말도 안 되는 일이라고 생각할 대국이었죠.

어쨌든 수읽기는 엄청난 체력을 소모해요.

 

그리고 나이와도 연관됩니다.

슬프지만 40~50대 기사가 정상에 오르는 경우는 없고요.

세계 1위 기사가 40대까지 정상을 유지하는 경우도 없습니다.

이창호가 30대를 지나면서 평범한 기사가 된 게, 어쩔 수 없는 슬픈 현실입니다.

 

바둑을 조금 아는 제가 느낀 게 이런 거였습니다.

체력을 소모할 정도의 수읽기가 필요한 것은 아니라서 체력과는 크게 상관이 없는데, 나이가 들면서 둔해진 거 같은 느낌이 들었어요.

그렇다고 제 나이가 그렇게 많지는 않습니다.

 

이번에 설계한 기준 엔터티는 조건이 포함돼 다소 까다롭긴 했지만, 수읽기는 완전 실패했고요.

대신 액셀에 사례 데이터를 만들면서 엔터티를 설계했습니다.

데이터를 먼저 설계하면서 엔터티를 확정하는 식인데, 사실상 액셀에서 설계하는 방식입니다.

 

저는 액셀에 사례 데이터를 만들어서 자주 사용하는데요.

설명이 쉽게 되진 않는데, 이번처럼 먼저 액셀에 사례 데이터를 생성하면서 설계를 하는 경우가 있습니다.

사실상 액셀에서 설계가 끝나는 것이고 ERD에는 엔터티를 그리는 것인데요.

바둑 때문에 수읽기가 정확한 편이라서 액셀에서 먼저 설계하는 경우는 드물고, 대개는 머리 속에서 사례 데이터 생성시키면서 엔터티 설계를 합니다.

 

대부분은 엔터티를 설계하고, 그 데이터를 보여주기 위해 액셀에 사례 데이터를 만듭니다.

기준 엔터티는 사례 데이터만 보여주는 끝이라서, 설명을 쉽게 하기 위해서 사례 데이터를 만드는 것이죠.

 

어쨌든 사례 데이터는 반드시 작성해 보는 게 좋습니다.

데이터를 머리 속에서만 생성해 보면 오류가 많습니다.

확신을 위해서라도 사례 데이터 작성을 추천합니다.

 

개인적으로 설계할 때 액셀을 많이 사용하는데요.

크게 두 가지인데, 위에서 설명한 기준 엔터티에 대한 사례 데이터를 작성할 때 액셀을 사용하고요.

더 자주 사용하는 것은 엔터티를 통합할 때입니다.

통합할 때는 ERD로 작업하지 않습니다.

 

여러 유사한 엔터티를 통합하는 일반화(Generalization) 작업이나, 한 엔터티에서 서브타입 엔터티를 도출하는 상세화(Specialization) 작업을 액셀로 합니다.

전체 속성을 대상으로 분석해야 실제적인 서브타입 개념과 서브타입 엔터티를 잘 반영한다고 생각해서 이렇게 작업합니다.

물론 상향식(Bottom-up) 방법이라 가능한 것입니다.

액셀을 사용하는 자세한 방법은 나중에 설명하겠습니다.

 

엔터티 통합 작업과 기준 엔터티 작업에서 액셀을 사용하니, 모델링할 때 액셀을 많이 사용하는 편입니다.

ERWin이나 DA#으로만 설계하는 것은 한계가 있으니 액셀도 많이 활용해 보세요.

 

중요한 것은 반드시 사례 데이터를 작성해 봐야 한다는 것입니다.

머리 속에서만 생각해 보면 오류도 많고, 잘못된 데이터를 찾아내기 힘듭니다.

특히 나는 죽어도 맞는 거 같은데 상대는 틀리다고 말할 때, 반드시 작성해 보세요.

전문 모델러일수록 사례 데이터 생성을 습관화해야 합니다.

블로그 이미지

블루퍼필

댓글을 달아 주세요

저는 바둑을 무척 좋아합니다. 대학 때 동호회가 기우회(棋友會)였어요. 동호회 얘기할 때마다 반복하는 해명인데, 비가 오라고 비는 곳이 아닙니다. 학교에 그런 동호회가 있을 리 없죠. 바둑 동호회입니다. 잠깐 옆으로 새면, 기우(祈雨)를 하면 반드시 비가 오는 부족이 있다고 합니다. 비결은, 비가 올 때까지 빈다고 합니다. 간단하죠.

 

제가 기우회에서 4급 정도를 두었는데요. 방황을 하던 때라서 바둑보다는 농구를 더 많이 한 탓에 바둑 실력이 좋지 않았습니다. 약간 후회가 됩니다. 선배들처럼 1~2급까지 갔으면 좋았을텐데요. 참고로 아마추어는 단()이 없고 최고가 1()입니다. 천차만별이지만 아마추어 1급을 아마추어 단으로 치면 3~6단 정도 되는 거 같아요.

 

이 글은 모델링에 대한 글이지만 잠깐 바둑 얘기를 해야겠습니다. 처음 동호회 방에 갔을 때 한 선배가 기력 테스트를 한다고 앉혔습니다. 몇 마디 물어보더니 9점을 깔라고 하는 겁니다. 주변 사람한테 별로 저본 적이 없어서 깜짝 놀랐습니다. 저도 상대한테 9점을 깔라고 하는 경우가 많았던 때라 더욱 그랬죠.

 

결과는 예상하시겠죠. 만방으로 졌습니다. 바둑을 좀 두는 상태라서 9점을 깔아주고 어떻게 둘런지 선배를 걱정했는데요. 제 생각은 완전 오판이었습니다. 신비한 경험이었어요. 실력차가 이렇게까지 심하게 날 수 있구나를 실감했죠. 그당시 그 선배는 3~4급이었던 거 같고, 그 선배가 졸업할 때는 1급이었던 거 같습니다.

 

아마추어 1급 중에서 고수가 프로와 둘 때는 보통 4~6점을 깐다고 합니다. 제가 4급이라고 하면 프로와 두려면 13점을 깔아야 하는데요. 사실 더 깐다면 어디다 깔아야 하는지 몰라서 13점입니다. 이미 13점이면 상대가 둘 곳이 없는 정도의 상태인데, 실전 결과는 제가 만방으로 지는 거겠죠.

 

프로 1단과 프로 9단은 서로 깔고 두지 않습니다. 그래서 실력이 동급일 거 같은데, 미세한 차이지만 결과는 상당히 큽니다. 이창고가 전성기일 때는 프로기사라도 이창호와 둬서 이길 확률이 10% 이내니까 차이가 많이 나는 것입니다.

 

바둑을 잘 모르시는 분들은 프로 바둑기사를 그냥 천재라고 생각하면 되는데요. 일례로 프로기사끼리는 흰색의 돌로만 바둑을 둘 수 있습니다. 내가 둔 수와 상대가 둔 수가 머릿 속에 있기 때문에 흰색 돌만 놓여있는 바둑판은 형식일 뿐이죠. 바둑을 모르시면 밥만 먹고 바둑을 두니 그 정도는 돼야 한다고 생각하실 수 있는데, 많은 돌이 얽혀있고 집 수를 계산하면서 매 수를 둔다는 걸 고려하면 엄청난 일입니다. 대개 한 수는 1분 내에 둬야 합니다.

 

바둑기사는 신()의 경지에 있다고 할 수 있습니다. 성경책을 몽땅 외운 신학생이나 지식의 깊이를 가늠할 수 없는 사람도 비할 바가 못 되는 거 같습니다.

 

바둑 얘기가 길어졌네요. 바둑 얘기를 하는 이유는 모델링과 매우 유사하기 때문입니다. 모델러 중에 바둑을 좋아하시는 분들은 공감하실 거에요.

 

우선 ERWin 툴에서 엔터티를 그리는 흰 판이 바둑판과 매우 흡사합니다. 줌으로 조절해서 전체를 보면 바둑판과 같습니다. R9 버전의 경우 의미가 없지만, R7 버전의 경우 저는 왼쪽 최상단 위치에서 엔터티를 설계하기 시작합니다. 가장 중요한 엔터티를 설계합니다. 실체 엔터티가 되겠죠. 바둑은 두는 사람 기준으로 오늘쪽 상단 귀퉁이에서 시작합니다.

 

바둑은 정석(定石)을 기반으로 두어집니다. 바둑에서 정석을 무시하고 두는 프로기사는 없을 것입니다. 간혹 한 수씩 비틀기는 하지만, 상대를 흔들기 위한 응용일 뿐이지 근저에는 정석이 있습니다. 간혹 정석대로 잘 두지 않는 프로기사가 있는데, 제 기억에 요다라는 일본 기사가 창의적인 바둑을 두었던 거 같아요. 외모와도 어울려서 나름 멋있었지만, 성적은 이창호 등에 비할 바가 못되었죠.

 

바둑은 정석을 모르면 제대로 두기 어렵습니다. 오랜 실전 역사가 쌓여서 생긴 정석은 무시할 대상이 아닌 것이죠. 모델링의 정석은 정규화를 기반으로 한 모델링 이론입니다. 1정규화, 2정규화 등의 정규화와 엔터티관계통합, 이력 설계 방법 등의 이론이 바둑에서의 정석에 해당합니다. 때로는 기계적으로 적용되기도 하는 정석과 같은 이론을 모르고서는 모델을 제대로 설계하기 어렵습니다.

 

네 개의 귀퉁이에서 정석을 기반으로 해서 두는 것을 초반 포석 단계라고 합니다. 모델링의 개념 모델 단계와 동일합니다. 첫수를 둘 때의 느낌이 첫 엔터티를 그릴 때의 느낌과 유사합니다. 판이 어떻게 짜일지를 기대하면서 첫수를 두죠. 최선을 다해 한 수씩 두면서 바둑의 포석이 정해지듯이 중요 엔터티를 하나씩 설계하면서 모델의 구조가 정해집니다. 초반 정석을 잘못 선택하거나 삐끗하면 판 전체가 엉망이 되듯이 처음에 핵심적인 엔터티를 제대로 설계하지 못하면 모델링이 전반적으로 힘들어진다.

 

초반 포석이 상당히 중요하지만, 당연히 중반이나 끝내기에서 승패가 갈리기도 합니다. 구조를 잡는 개념 모델이 상당히 중요하지만, 이후 단계에서 데이터 정합성이나 성능 등의 문제를 간과하면 모델에 심각한 하자가 생기는 것과 비슷합니다.

 

초반 포석 단계가 끝나면 중반전으로 넘어가면서 상대 집을 공격하기도 하고 내 집을 지키기도 하죠. 그러면서 집의 윤곽이 뚜렷해집니다. 핵심 엔터티의 구조를 설계한 후에 하위 엔터티로 확장해가면서 상세 논리 모델로 나아가는 것과 유사합니다.

 

바둑은 상대가 있는데, 모델링은 상대가 있을까요? 바둑 둘 때 내가 한 수를 두는 것은 상대에게 어떻게 둘래?‘라며 물어보는 것입니다. 모델링은 설계를 하기 전에 물어봐야 할 수 있습니다. 설계한 후에도 어떻게 사용하는지 설명하고 제대로 사용할 수 있는지 물어봐야 하고요.

 

정석이나 포석, 행마, 끝내기 등의 중요한 요소를 열심히 공부해도 프로 바둑기사가 되기는 하늘의 별따기와도 같습니다. 사실 모델러가 되는 것은 쉽습니다. 정규화나 통합, 엔터티, 관계 등의 이론도 쉽게 익힐 수 있지만, 문제는 직접 모델링을 하기가 쉽지 않다는 것입니다.

 

저는 바둑 중계를 볼 때 프로기사가 둔 수를 명확하게 이해할 수 있습니다. 방송 해설을 들으면 더욱 그렇지요. 상식적이고 자연스러운 위치여서 그자리에 둘 수밖에 없다고도 생각합니다. 하지만 실제로 저에게 두라고 하면 그 자리에 못 둔다는 것을 압니다.

 

어쩌다 프로처럼 멋진 수를 둘 수 있지만 항상 그렇게 두지는 못하죠. 모델링도 마찬가지로 전문 모델러가 설계한 모델을 보거나 설명을 들으면 이해가 되고 그런 구조가 맞는 것 같습니다. 하지만 이론만 아는 상태에서 실제로 그렇게 설계하는 게 쉽지 않습니다.

 

바둑에서 수 읽기가 중요하듯이 모델링을 수행하면서 데이터가 생성되는 것을 읽어야 합니다. 머릿속에서 사례 데이터가 생겼다 없어지고, 관계에 따라 데이터가 움직이기도 합니다. 바둑을 둘 때 머리속으로 집을 계산하듯이 머리속에서 조인(Join)한 결과를 보기도 합니다. 바둑기사가 한 수를 둘 때마다 반집의 집도 계산해 보듯이 모델링을 하면서 사례 데이터를 만들어 보는 것이 좋습니다.

 

정석을 꿰고 있는 것은 기본이고 창의적으로 응용할 수 있어야 하며, 반집을 소중하게 여길 정도로 최선을 다하고, 자신만의 철학을 가지고 바둑을 일관되게 두면 정상의 프로기사가 될 수 있다고 생각합니다.

 

이론을 꿔고 있고, 간혹 창의적으로 응용할 수 있으며, 속성 하나에도 최선을 다해 설계한다면 최고의 모델러가 될 수 있습니다. 모델러의 철학은 단순하다고 생각합니다. RDB의 존재 이유인 데이터 무결성을 지키는 것이고, 좋은 모델을 설계하는 데 집중하는 것입니다.

 

이미 경지에 올랐지만 정석을 공부하며, 끊임 없이 묘수를 연구하는 프로기사처럼 모든 모델러가 기본을 중시하고 더 좋은 모델을 연구하는 프로 모델러를 목료로 했으면 좋겠습니다. 모델러가 됐다고 그만인 게 아니라 그때부터 진정으로 시작이 됐으면 좋겠습니다. 저 역시 좋은 시스템을 만들어 국가 경쟁력을 높이는 데 조금이라도 이바지할 수 있도록 노력하겠습니다.

 

마지막으로 유명한 사진 한 장 첨부했습니다. 휠체어를 탄 사람은 조치훈 9단입니다. 대국 10일 전에 전치 25주의 교통사고를 당했지만 머리와 오른손이 문제가 없다면서 대국을 강행했죠. "목숨을 걸고 둔다"는 평소의 인생관을 그대로 보여주는 장면입니다.

 


 

PS. 바둑하면 떠오르는 갑갑한 현실도 있어요. 제가 쓴 모델링 노트 책에 기계가 사람을 이길 수 없다고 확신하는 내용이 있습니다. 알파고에 대해 할말은 많지만 어쨌든 책은 수정해야 할 판입니다.

 

 

블로그 이미지

블루퍼필

댓글을 달아 주세요

개념 모델에 대한 논쟁이 끊이지 않고 있습니다.

저만 그렇게 생각하고 있을 수도 있습니다

 

오늘은 간단하게 설명하겠지만언젠가는 매우 자세하게 설명할 생각입니다.

 

어떤 모델을 개념 모델이라고 할까요?

매우 개념적이라 답이 없어 보이지만저는 나름의 기준을 가지고 있습니다.

 

건축으로 치면 조감도가 개념 모델일까요?

 

저는 철골 구조가 개념 모델이라고 생각합니다.

 

사람의 실제 얼굴을 그린 정밀 초상화를 물리 모델이라고 할 때개념 모델은 무엇일까요?

 

누구를 그렸는지 알 수 있고감탄사가 나올 정도로 특징을 잘 묘사한 캐리커처(Caricature)가 개념 모델일까요?

여러 사진을 조합해서 존재하지 않는 대상을 만든 몽타주 정도가 개념 모델이 될까요?

혹은 사람 얼굴을 추상적으로 표현해서 누군지 알기 힘든 추상화가 개념 모델일까요?

 

저는 정밀 초상화를 그리기 위해 기초 작업을 한 스케치가 개념 모델이라고 생각합니다.

캐리커처도 완성하기 위해서는 스케치가 필요할 것이고, 그 스케치가 개념 모델 역할을 하는 것이죠.

 

개념 모델은 실제의 모델을 반영해야 합니다즉 물리 모델로 이어져야 하죠.

스케치가 정밀 초상화로 이어지는 것입니다.

철골 구조가 건물로 이어지는 것이고요.

 

조감도나 캐리커처처럼 또 다른 목적을 가지는 모델이 필요할 수 있습니다.

이를 개념도로 구분하고개념 모델과는 성격이나 특징이 다르다고 생각하고 있습니다.

 

개념도(Conceptual Diagram)가 필요할 때가 있고개념 모델(Conceptual Entity-Relationship Diagram)이 필요할 때가 있습니다.

 

이를 구분하면 실무에서 많은 도움이 됩니다.



블로그 이미지

블루퍼필

댓글을 달아 주세요

얼마 전 어떤 분이 한 말이다.

일부 개발자의 생각을 안타까워하면서 한 얘기다.

악의는 전혀 없었다.

눈치가 없었을 뿐이었다.

 

왜 유독 모델링에 답이 없다고 하는 것일까?

튜닝에 답이 어딨어?”라는 말은 들어보지 못했다.

 

최고로 튜닝할 수 있는 절대 시간은 알기 어렵다.

최고수가 행한 결과가 기준이나 정답은 될 수 있겠지만특정한 정답은 없는 것이다.

이전보다 좋은 결과가 나오고근거가 명확하면 튜닝은 끝난 것이고 사람들은 수긍한다.

 

다만 튜닝은 실행 시간이라는 정량적인 수치가 있다.

정답은 아닐 수 있지만 숫자가 나오니 정답처럼 느끼는 것일지 모른다.


사실 “답이 어딨어?”라는 말은 어떤 분야에도 해당되는 말이다.

개발도 마찬가지다.

하지만 완벽하진 않지만 좋은 코딩은 있을 것이다.

 

답이 없으면 찾아야 한다.

최선을 찾지 못하면 차선을 찾아야 한다.

최선이 없을 때 차선, 80, 60점을 찾으라고 전문가가 있는 것이다.

 

답을 찾으려고 노력하는 것이 각자 맡은 소임을 다하는 것일 게다.

개선(改善)하는 것은 인간이 할 일이다.



블로그 이미지

블루퍼필

댓글을 달아 주세요

개인적으론 너무 마케팅에만 치우친 것 같아 텍스트 분석이 그다지 매력적이지는 않은데요.

시대의 흐름이고 DQ와도 연관돼 있어 관심을 가질 필요가 있는 거 같습니다.

더욱이 모델러는 데이터를 다루는 사람이니 연관 분야입니다.


주로 텍스트 분석의 중요성에 대해서 언급한 기사입니다.

특별한 내용은 없지만 참고하세요.


텍스트 분석은 도구를 이해하는 게 중요할 거 같다는 생각이 드네요.

DQ 솔루션과 겹치는 부분도 있을 거 같고요.


출처: http://insidebigdata.com/2015/06/05/text-analytics-the-next-generation-of-big-data/


--

다니엘 구티에레스. 2015. 6. 15

 

특집 기사에서 Lexalytics 제프 캐틀린은 텍스트 분석의 사례와 빅데이터의 관심 증가에 대한 중요성을 제시한다. 제프는 사내 클라우드 기반 기술을 사용하는 일련의 비즈니스에 감정 의도 분석을 제공하는 회사인 Lexalytics CEO. 제프 캐틀린은 검색, 분류 텍스트 분석 제품 서비스 분야에서 15 이상의 경력을 쌓았다. 그는 Thomson Financial Sovereign Hill Software 같은 다양한 회사에서 기술, 경영 고위 경영직을 역임했다. Lexalytics 설립하기 전에 제프는 LightSpeed Software 구조화되지 않은 데이터 그룹의 총책임자로 일했으며, 여기서 Knowledge Appliance iFocus 제품의 판매, 마케팅 개발 작업을 담당했다. 제프는 1987 Amherst에서 전기 공학 학위를 취득했다.

 

빅데이터

 

센서, 트윗, 이메일, 클릭 스트림, CRM 정보, 공급망 도구 등의 데이터가 모든 비즈니스에서 넘쳐 흐르고 있으며, 폭주로부터 실용적인 정보를 가장 쉽게 처리할 있는 비즈니스가 가장 많은 수익을 창출하는 비즈니스가 것이다. 데이터 홍수는 대기업의 문제만은 아니다. 중소기업 또한 많은 채널을 사용하여 고객과 상호 작용하며, 사이트와 데이터베이스 그리고 분석할 많은 양의 다른 데이터를 가지고 있다. 따라서 "빅데이터” 주변이 매우 부산하다. 그러나 말이 실제로 의미하는 바는 무엇이며, 여러분의 비즈니스에 어떻게 적용되는가?

 

“빅데이터"라는 용어는 모호하다. 단지 “데이터”가 되는 것으로부터 넘어서는 것은 언제인가? 명백한 사실은 아무도 확신할 없다는 것이다. 어떤 사람들은 “기계 학습과 같은 도구를 사용해야 때” 또는 “일반적인 데이터베이스 소프트웨어 도구가 포착하고 저장하고 관리하고 분석할 있는 능력을 넘어서는 크기의 데이터 집합”과 같은 정의를 가지고 있다. 빅데이터를 비즈니스에 긍정적인 영향을 미치는 의사 결정에 필요한 데이터로 정의하는 것이 유용할 있다. 문자 그대로 데이터의 양이 얼마나 많은가의 관점이 아니라 돈을 있는 잠재적인 면에서 "거대함" 대해 생각해 보라.

 

비정형 데이터

 

그것이 계산될 있다면, 그것은 분석될 있다. 분석이 가능하다면 해석될 있다. 그러나 고객 서비스 트랜잭션의 음성 녹음으로 어떤 종류의 계산이나 해석이 가능한가? 트윗이나 산문은 어떻게 해석 되는가? 고객 제품 리뷰에서 수집할 있는 정보 유형은 무엇인가? 리뷰가 동영상일 어떻게 되는가?

비구조적 데이터는 빅데이터의 커다란 부분이다. 여러분은 클릭률(CTR) 광고 캠페인에서의 전환과 같은 순전히 구조화된 데이터로부터 많은 정보를 얻을 있다. 그러나 그것은 실제로 당신에게 무엇을 말하고 있는지에 대한 견해를 주지 않을 것이다. 대화란 무엇인가? 대화를 탐구하고 그것이 여러분의 비즈니스에 대해 긍정적인지 여부를 판단하기 위해서는 데이터의 구조화되지 않은 측면에 흥미를 가져야 한다.

구조화되지 않은 데이터와 구조화된 데이터의 차이점은 간단하다. 컴퓨터는 구조화된 데이터를 조작하는 매우 능숙하며, 데이터를 시각화하고 예측할 있는 전체 도구 모음이 늘어났다. 구조화된 데이터는 기본적으로 페이지를 방문한 횟수, 사이트에 머문 시간, 방문한 장소, 구입한 제품 핵심적인 숫자다. 구조화되지 않은 데이터는 텍스트(설문 조사 또는 트윗으로부터), 비디오 또는 고객 서비스 트랜잭션의 음성 녹음과 같은 것이다.

회사와 고객 파트너 간의 대화를 분석하는 가지 방법은 꿋꿋하게 육체 노동을 적용하는 것이다. 이메일, 트윗 리뷰 모든 서면 통신을 읽을 있고 비디오를 있고 오디오 녹음을 들을 있다. 그런 다음 대화의 정서적 인상과 해석을 조직의 기존 데이터 원천을 보완하는 비즈니스 인텔리전스 도구로 공급할 있는 구조화된 데이터로 수동 변환할 있다.

많은 기업들이 다른 유형보다 접근 방법을 공식적으로 채택한다. 어떤 사람들은 페이스북 페이지의 좋아하는 , 댓글 또는 트윗 스트림을 보고 상황이 진행되고 있는지에 대한 "느낌을 갖기” 위해 노력한다. 다른 사람들은 구조화되지 않은 데이터는 무시한다. 그들은 모을 있는 데이터나 통찰력의 가치를 이해하지 못하거나 그들의 비즈니스에 사용하기에 너무 힘들다고 생각한다.

 

비정형 텍스트를 위한 빅데이터 - 텍스트 분석

 

구조화된 데이터가 크다면 구조화되지 않은 데이터는 거대하다. 일반적으로 받아들여지는 격언은 구조화된 데이터는 조직에 제공되는 정보의 20%만을 나타낸다. 이는 모든 데이터의 80% 구조화되지 않은 형식임을 의미한다. 기업이 데이터의 20% 분석하여 가치를 얻는다면, 비구조적 데이터 분석에 활용되길 기다리는 엄청난 잠재력이 있다.

잠재력을 여는 것은 다음 빅데이터 과제를 나타낸다. 그리고 비구조화된 데이터의 텍스트 부분에 대한 솔루션은 텍스트 분석이다. 텍스트 마이닝(Text mining) 또는 자연어처리(Natural language processing)라고도 하는 텍스트 분석은 구조화되지 않은 텍스트를 구조화된 데이터로 바꾸는 과학이다. 그것은 대학 연구로부터 모든 비즈니스에서 사용할 있는 실제 제품으로 이전했다.

텍스트 분석은 대화에서 핵심 정보를 추출하는 중점을 둔다. 언어, 문맥 일상 대화에서 언어가 사용되는 방식을 이해함으로써 텍스트 분석은 대화와 관계된 "사람", "장소", "시간", “대상”, “이야기”와 “어떻게” 사람들이 느끼고, “왜” 대화가 생겼는지를 알아낸다. 대화를 분류하고 토론 주제를 확인한다.

다른 중요한 정보는 사람들이 어떻게 느끼고 대화가 진행되는지를 나타내는 대화의 어조다. 감정을 밝히기가 특히 어려우며, 사람이 바로 기계로 교체되지 않는 가장 이유다.

 

텍스트 분석의 비즈니스 가치

 

"누가", "무엇을", "언제", "어디서", "" 알아내고, 대화의 감정이 구조화되지 않은 데이터를 구조화된 데이터로 변환돼서 비즈니스가 모든 대화를 들을 있게 한다. 구조화된 대화 데이터는 기업의 기존 대형 데이터 비즈니스 인텔리전스 비즈니스 분석 패키지에 통합될 있다.

완벽한 텍스트 분석 시스템은 소셜 미디어 모니터링 솔루션으로서 또는 고객의 소리나 고객 경험 관리 솔루션으로서 판매된다. 많은 판매회사들은 소셜 미디어와 고객의 소리를 하나의 패키지에 포함시켜서 기업이 고객과의 대화와 현장에서 회사의 언급을 듣고 응답할 있게 하도록 한다.

전형적인 사례는 브랜드 관리다. 브랜드는 종종 올림픽, 메이저 리그 스포츠, 지역 마라톤 또는 자선 행사와 같은 행사를 후원한다. 브랜드 스폰서 이벤트가 제대로 관리되지 않는 경우 이벤트의 부정적인 영향이 브랜드에 부여될 있다. 회사가 행사 주변의 대화를 듣지 않는다면 부정적 감정에 대해 결코 알지 못할 수도 있으며, 판매가 감소한 원인을 이해하지 못할 수도 있다.

접대 레스토랑 산업은 텍스트 분석을 사용하여 대화를 듣는 많은 도움이 된다. 호텔, 리조트 레스토랑에 대한 고객 피드백의 대부분은 고객과 회사간 대화 외에서 발생한다. 리뷰는 수많은 웹사이트에 올라오고, 회사는 수동으로 찾아서 대화를 해석하도록 있다. 자동화된 텍스트 분석 도구를 통해 호텔은 새로운 식탁보 또는 연못 개선에 돈을 지출해야 하는지 여부를 쉽고 빠르게 평가할 있다.

텍스트 분석은 고객이 좋아하는 것과 싫어하는 , 그리고 동기에 대한 이해를 높이는 사용할 있다. 고객의 욕구에 부합하는 고객보상 프로그램 인센티브를 변경하면 고객 충성도를 높이고 매출을 높일 있다.

다른 많은 예가 있으며, 텍스트 분석을 사용하여 대화를 듣는 것은 본질적으로 무한하다. 그리고 대화를 듣는 데는 중요한 가치가 있다. 대화는 즉각적이다. 사람들은 브랜드 또는 회사와 상호 작용하는 순간, 경험을 쌓은 순간에 대화하고 있다. 그들은 대화를 통해 자신이 신뢰하고 자신의 삶의 일부로 갖고 싶은 브랜드를 파악하려고 한다. 판매는 지연적인 지표지만 토론은 선도적인 지표다.

 

텍스트 분석 시대의 도래 - 차세대 빅데이터

 

비즈니스, 경쟁사, 고객 공급업체와의 대화에 귀를 기울이고 듣는 것은 도전처럼 보일 있다. 그러나 듣지 않는다면, 상황이 바뀔 놀랄 것이다. 놀라움이 좋을 때도 있지만, 종종 그렇지 않다. 부정적인 대화가 발생하면 비즈니스에 미치는 영향이 극단적이 있다.

다행히도 텍스트 분석은 성숙해 있으며, 크고 작은 비즈니스는 대화를 듣는 것으로부터 이익을 얻을 있다. 최근에 페이스북은 이벤트, 브랜드, 주제, 활동에 대해 관객이 말하고 있는 것을 밝히기 위해 텍스트 분석을 사용하는 Topic Data 유용성을 발표했다. 마케팅 담당자는 정보를 사용하여 제품 로드맵을 작성하고 해당 활동에 대해 나은 결정을 내린다.

일부 마케팅 담당자는 소셜 미디어 모니터링이나 고객 경험 관리 시스템과 같은 비정형 데이터를 수집, 분석 시각화하기 위해 규격품 서비스를 사용할 것이다. 시장에 서비스를 제공하는 회사는 수백 곳이며, 매일 많은 기업이 생긴다. 다른 분석가들은 특정 비즈니스 인텔리전스 도구에 대한 선호도가 높다. 도구 상당수는 텍스트 분석 기술과 어울리므로 분석가가 구조화된 데이터와 비구조화된 데이터를 일관된 이야기로 혼합할 있다. 서로 다른 가격대의 다양한 틈새 시장을 대상으로 하는 도구를 광범위하게 사용할 있기 때문에 원하는 작은 규모로 비즈니스를 시작할 있다.

주요 기업들은 텍스트 분석의 중요성을 보여주는 명확한 움직임을 보이고 있다. 예를 들어, IBM Watson 플랫폼을 매우 열심히 추진했으며, 최근 Watson 분석 측면을 강화하기 위해 AlchemyAPI 인수했다. 다른 예로, Microsoft eDiscovery 주력하는 텍스트 분석 회사인 Equivio 인수했다.

이러한 외에도 텍스트 분석 기술은 영어, 프랑스어, 스페인어, 독일어, 북경어 일본어를 비롯한 다른 많은 인기있는 언어를 다루는 여러 공급 업체에서 상용화 되었다. 만약 어떤 언어를 생각할 있다면, 아마도 그것을 지원하는 누군가가 있을 것이다.

텍스트 분석을 사용하면 비즈니스에서 고객 파트너의 말을 듣고 사람들이 실제로 말하는 데이터의 80%에서 잠재력을 확보하고, 지연된 판매 데이터를 기다리지 않고 선도적인 지표로서 대화를 활용할 있다. 지금 일어나고 있는 다양한 상호 작용에 귀머거리가 되기 보다는 세계에서 일어나는 일을 계획할 있는 것이 좋다.

어떻게 있는가? 작게 시작하라. 데이터를 알아보라. 대답하고 싶은 질문에 대해 명확한 생각을 가지고 있어야 한다. 가지 기성 서비스를 시도해서 처리할 있는 데이터를 얻고 비즈니스 인텔리전스 플랫폼으로 가져와라. 자신을 탐험하고 놀라게 기회를 제공하라. 텍스트 분석은 언어가 어렵고, 세계의 브랜드와 제품 그리고 회사에 여전히 실질적인 비즈니스 가치를 제공하기 때문에 불완전한 과학이다.


--


[원문]


Text Analytics: The Next Generation of Big Data

 

June 5, 2015 by Daniel Gutierrez

 

In this special guest feature, Jeff Catlin of Lexalytics lays out the case for text analytics and its importance to the rising interest in big data. Jeff is CEO of Lexalytics, a company providing sentiment and intent analysis to an array of businesses using on-premise and cloud-based technology. Jeff Catlin has over 15 years of experience in the fields of search, classification and text analytics products and services. He has held technical, managerial and senior management positions within a variety of companies including Thomson Financial and Sovereign Hill Software. Prior to the formation of Lexalytics, Jeff acted as the General Manager for the unstructured data group of LightSpeed Software where he was responsible for sales, marketing and development efforts for the Knowledge Appliance and iFocus products. Jeff graduated from UMass Amherst with a degree in Electrical Engineering in 1987.

 

Big Data

 

Sensors, tweets, emails, web clickstreams, CRM information, supply chain tools – data is flooding into every business, and the businesses that have the most facile processes for divining actionable information from the deluge are going to be the businesses that make the most money.  This data deluge is not just a problem for large enterprises.  Small businesses also interact with their customers using many channels and have websites, databases and often large amounts of other data to analyze.  Hence all the buzz around “big data.”  But what does that phrase actually mean, and how does it apply to your business?

 

The term “big data” is ambiguous – when does it actually cross the line from just being “data”?  The plain truth is that nobody is really sure.  Some people have definitions like “when you have to use tools like machine learning” or “datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze.”    It can be more useful to define Big Data as the data necessary to make decisions that have a positive impact on a business.  Think about the “bigness” not in terms of literally how much data there is, but in its potential to help make more money.

 

Unstructured Data

 

If it can be counted, it can be analyzed.  If it can be analyzed, it can be interpreted.  But what type of count or interpretation can be made from a voice recording of a customer service transaction?  How are tweets or prose to be interpreted?  What type of information can be gleaned from customer product reviews?  What happens when those reviews are videos?

Unstructured data is a large part of big data.   You can get a lot of information from purely structured data, things like the Click Through Rate (CTR) and conversions from an advertising campaign.   But that’s not going to give you a view into what is actually being said.  What is the conversation?  In order to delve into the dialog, and whether it is a positive one for your business, you have to get into the unstructured side of things.

The difference between unstructured data and structured data is simple.  Computers are very, very good at manipulating structured data, and a whole suite of tools has grown up around visualizing and making predictions from this data.  Structured data is basically numbers at its core – how many times a page was visited, how long someone was on your site, where they came in from, what products they bought.   Unstructured data are things like text (say, from a survey or from tweets), or video, or a voice recording of a customer service transaction.

One approach to analyzing the conversation between a company and its customers and partners is to apply brute force manual labor.  You can read all written communication – emails, tweets, and reviews; watch the videos; listen to the audio recordings.  Then you can manually convert emotional impressions and interpretations of the conversation into structured data that can be fed into business intelligence tools as a complement to the organization’s traditional data sources.

Many businesses take this approach, some more formally than others.  Some just take a look at their Facebook page likes and comments, or their tweet stream, trying to “get a vibe” for whether or not things are going well.  Others ignore unstructured data –they don’t understand the value of the data or the insights that can be gleaned or they believe that it is too hard for their business to use.

 

Big Data for Unstructured Text – Text Analytics

 

If structured data is big, then unstructured data is huge.  The generally accepted maxim is that structured data represents only 20% of the information available to an organization.  That means that 80% of all the data is in unstructured form.  If businesses are gaining value from analyzing only 20% of their data, then there is a massive potential waiting to be leveraged in the analysis of unstructured data.

Unlocking this potential represents the next Big Data challenge.  And for the text portion of unstructured data, the solution is text analytics.  Also known as text mining or natural language processing, text analytics is the science of turning unstructured text into structured data.  It has moved from university research into real-world products that can be used by any business.

Text analytics is focused on extracting key pieces of information from conversations.  By understanding the language, the context, and how language is used in everyday conversations, text analytics uncovers the “who,” “where,” and “when” of the conversation, the “what” or the “buzz” of the conversation, “how” people are feeling and “why” the conversation is happening. Conversations are categorized and topics of discussion are identified.

Another key piece of information is the tone of the conversation – how people are feeling and why this conversation is happening.  Uncovering this sentiment is especially difficult, and is the largest reason why man is not going to be replaced by machine any time soon.

 

The Business Value of Text Analytics

 

Identifying the “who,” “what,” “when,” “where,” “why,” and the sentiment of the conversation converts unstructured data into structured data, and enables businesses to listen to all of the conversations.  The structured data of the conversations can then be incorporated into businesses’ existing big data business intelligence and business analytics packages.

Complete text analytics systems are marketed as social media monitoring solutions, or as voice of customer or customer experience management solutions.  Many vendors incorporate both social media and voice of customer into one package, enabling companies to listen and respond to conversations with the customer, and to mentions of the company in the wild.

A classic use case is brand management.  Brands often sponsor events – the Olympics, major league sports, local marathons, or charity events.  If a brand-sponsored event is poorly managed, negativity from the event can attach to the brand.  Unless the company is listening to the conversations around the event, it may never know about the negative sentiment, and may not understand what caused a drop in sales.

The hospitality and restaurant industries also benefit greatly from using text analytics to listen to the conversation.  Much of the customer feedback for hotels, resorts, and restaurants takes place outside of the customer-company conversation.  Reviews can be placed on a plethora of websites, forcing companies to manually seek out and interpret the conversation.  With automated text analytics tools, a hotel can quickly and easily assesss whether they should be spending money on new linens or pool improvements.

Text analytics can be used to develop a better understanding of the likes, dislikes and motivations of the customer.  Changing loyalty program incentives to match customers’ desires can improve customer loyalty and increase sales.

There are many other examples, and the uses of text analytics to listen to the conversation are essentially limitless.  And there is significant value in listening to the conversation.  The conversation is immediate – people are talking in the moment they have an experience, in the moment they interact with the brand or the company.  They are having conversations to try and figure out which brands they trust and want to have as part of their lives.  While sales are a lagging indicator, discussions are a leading indicator.

 

The Coming of Age of Text Analytics – The Next Generation of Big Data

 

It can seem like a challenge to keep an ear to the ground, listening to conversations about your business, competitors, customers and suppliers.  But if you’re not listening, you’ll be surprised when the winds change.  While sometimes the surprise is good, often it is not.  And when negative conversations take place, the impact to the business can be drastic.

Fortunately, text analytics has come of age, and businesses both large and small can benefit from listening to the conversations taking place.  Just recently, Facebook announced the availability of Topic Data which uses text analytics to reveal what audiences are saying on Facebook about events, brands, subjects and activities.  Marketers use this information to build product roadmaps and make better decisions about their activities.

Some marketers will use off-the-shelf services to collect, analyze and visualize the unstructured data, like with social media monitoring or customer experience management systems.   There are hundreds of companies serving this market, and more launching every day.   Other analysts have an affinity for a particular business intelligence tool, many of which play nicely with text analytics, allowing the analyst to blend the structured and the unstructured data into a coherent story.  Because of the broad availability of tools serving different niche markets at different price points, a business can start as small as they want and build from there.

Major companies have made clear moves showing the importance of text analytics.   For example, IBM has been pushing their Watson platform really hard, and recently acquired AlchemyAPI to augment the analytics side of Watson.   In another example, Microsoft purchased Equivio, a text analytics company focusing on eDiscovery.

In addition to those examples, Text analytics technology has been commercialized by a number of vendors, and not only covers English, but also many other popular languages including French, Spanish, German, Mandarin, and Japanese.   If you can think of a language, there is probably someone out there that supports it.

Using text analytics enables a business to listen to customers and partners, unlocking the potential from 80% of the data that is what people are actually saying, levering conversations as leading indicators, rather than waiting for lagging sales data.  Its way better to be able to plan for what’s happening in the world rather than being deaf to the rich variety of interactions that are occurring right now.

How can you do it?  Start small.  Get to know the data.   Have a clear idea of the questions that you want to answer.   Try a few off-the-shelf services, or get some data you can process and import into your business intelligence platform.  Explore and give yourself a chance to be surprised.   Text analytics is an imperfect science because language is hard, and it is still providing very real business value to brands, products, and companies around the world.





블로그 이미지

블루퍼필

댓글을 달아 주세요

데이터 아키텍트(DA)에 대한 번역글입니다.

당연히 미국의 DA 상황인데요.

한국의 DA 역할과 매우 유사하다고 생각되는데, 기술 능력은 너무 광범위하네요.

 

그래도 빅데이터 관련 기술이 눈에 띄입니다.

현재 한국에서는 DA에게 빅데이터 관련 지식을 요구하지 않을 거 같지만 앞으로는 그렇게 될 수도 있다는 생각이 듭니다.

데이터 아키텍트의 확장판(?)인 빅데이터 아키텍트가 생길 수도 있고요.

 

원문: http://www.mastersindatascience.org/careers/data-architect/

 

--

 

데이터 아키텍트는 데이터 관리 시스템을 위한 청사진을 만든다. 데이터 아키텍트는 회사의 잠재적인 데이터 소스(내부 외부) 평가한 통합하고 중앙 집중화하며, 보호 관리하는 계획을 설계한다. 이를 통해 직원들은 적시에 적절한 장소에서 중요한 정보에 접근할 있다.

 

데이터 아키텍트의 책임

 

데이터 아키텍트는 다음을 수행할 있다.

 

- IT 경영진과 협업하여 업계 요구사항을 해결하는 데이터 전략을 수립한다.

- 아키텍처를 구현하는 필요한 데이터 목록을 구축한다.

- 데이터를 획득하기 위한 새로운 기회를 연구한다.

- 현행 데이터 관리 기술을 식별하고 평가한다.

- 데이터가 조직에서 어떻게 흐르는지에 대한 가변적인 양단간 비전을 창조한다.

- 데이터베이스 구조에 대한 데이터 모델을 개발한다.

- 데이터베이스 아키텍처 응용 프로그램(: 대규모 관계형 데이터베이스) 설계하고 문서화하며 구성하고 배포한다.

- 기술적 기능(: 확장성, 보안, 성능, 데이터 복구, 안정성 ) 통합한다.

- 데이터 정확성 접근 가능성 보장을 위한 조치를 구현한다.

- 데이터 관리 시스템의 성능을 지속적으로 모니터링, 조정 보고한다.

- 기존의 웨어하우스 구조에 새로운 시스템을 혼합시킨다.

- 데이터베이스 개발 표준을 작성하고 시행한다.

- 모든 데이터 아키텍처 산출물 절차에 대한 공동 저장소를 관리한다.

 

여러분은 데이터 아키텍트가 힘든 직업이라는 말을 듣고 놀라지 않을 것이다. 일부 기업은 데이터 모델링 기술에서 은밀하게 행동하는 데이터 아키텍트가 필요하다. 다른 기업은 데이터 웨어하우징, ETL 도구, SQL 데이터베이스 또는 데이터 관리 전문가를 원하고 있다. 대부분의 데이터 아키텍트는 비즈니스 인텔리전스 분야에서 수년간 경력을 쌓은 고위급 직원이다.

 

데이터 아키텍트 급여

 

실리콘 밸리(Silicon Valley) 있는 샌프란시스코는 데이터 아키텍트를 위한 최상의 도시 하나다. PayScale 따르면 2015 평균 급여는 144,883달러(전국 평균보다 29% 높음)였다대형 대학 보건 기관이 많은 Boston 144,883달러(23% 이상), 뉴욕은 135,467달러(20% 이상) 평균 급여다.

 

데이터 아키텍트 자격

 

- 어떤 종류의 학위가 필요한가?

 

데이터 아키텍트가 되려면 컴퓨터 과학, 컴퓨터 공학 또는 관련 분야에서 학사 학위를 취득해야 한다. 교과 과정에는 데이터 관리, 프로그래밍, 빅데이터 개발, 시스템 분석 기술 아키텍처가 포함돼야 한다. 고위직의 경우 일반적으로 석사 학위를 선호한다.

 

구직 신청의 핵심 요소는 경험일 것이다. 최고 고용주는 응시자가 어플리케이션 아키텍처, 네트워크 관리 성과 관리를 다루는 최소한 5 년을 소비했으면 한다.

 

- 어떤 종류의 기술이 필요한가?

 

기술 능력

 

l  프로그램 서버 소프트웨어(: Oracle)

l  데이터베이스 관리 시스템 소프트웨어(: Microsoft SQL Server)

l  사용자 인터페이스 및 쿼리 소프트웨어(: IBM DB2)

l  기업 애플리케이션 통합 소프트웨어(: XML)

l  개발 환경 소프트웨어

l  백업/보관 소프트웨어

l  어자일 방법론 및 ERP 구현

l  예측 모델링, NLP 및 텍스트 분석

l  데이터 모델링 도구(: ERWin, Enterprise Architect Visio)

l  데이터 마이닝

l  UML

l  ETL 도구

l  파이썬, C/C++, 자바,

l  UNIX, Linux, Solaris MS Windows

l  Hadoop NoSQL databases

l  기계 학습

l  데이터 시각화

 

언제나 그렇듯이 목록은 기술의 변화에 따라 달라질 있다.

 

비즈니스 기술

 

l  분석적 문제 해결중요한 데이터에 대한 명확한 시각으로 고차원 데이터 문제에 접근하며, 시간과 인적 자원을 최대한 활용하기 위한 올바른 접근 방식을 사용한다.

l  효과적인 의사 소통관리자, 데이터 분석가 및 관련 직원의 의견을 주의 깊게 듣고 최고의 데이터 설계를 내놓고, 비 기술적인 동료에게 복잡한 개념을 설명한다.

l  전문가 관리데이터 모델러, 데이터 엔지니어, 데이터베이스 관리자 및 후배 아키텍드 팀을 효과적으로 지휘하고 조언한다.

l  업계 지식선택한 업계의 기능 및 데이터 수집, 분석 및 활용 방식을 이해하며, 빅 데이터 개발에도 유연하게 대처한다.

 

- 자격증은 어떤가?

 

2015 현재 데이터 아키텍트에게 명시적으로 요구되는 전문가 자격증은 없다. 그러나 데이터 관리 분야의 이해 관계자(: Oracle, Microsoft, IBM ) 기술 관련 자격증은 많다. 확신이 서지 않으면 멘토와 상담하고 최신 직업 설명을 검토한 다음 어떤 약어가 시간과 돈의 가치가 있는지 결정하기 위해 2015년에 대한 Tom IT Pro Best Database 자격증과 유사한 기사를 확인하라.

 

데이터 아키텍트와 유사한 작업

 

데이터 아키텍트가 되기 위해 다양한 경로를 택할 있다. 사람들은 종종 데이터베이스 관리자(DBA) 또는 초급 프로그래머로 일하면서 시작한다. DBA 데이터 관리와 관련된 일상적인 작업(: 설치, 업그레이드, 백업 복구 ) 집중함으로써 데이터 저장 사용 방법을 이해한다.

 

아마도 아키텍트와 가장 가까운 직업은 데이터 엔지니어다. Aditya Singh 적절하게 언급한 것처럼 많은 아키텍트와 엔지니어는 동일한 기술 집합을 가지고 있지만 업무 프로파일은 다르다.

 

     아키텍트는 업무 요건 분석, 논리 모델 개발 프로시저 개발과 같은 뷰에 관심을 갖는 경향이 있다.

  엔지니어는 처음부터 데이터 관리 시스템을 설계, 구현 관리하는 건설 단계에 많이 참여할 있다.

 

데이터 아키텍트는 데이터를 분석하지 않는다. 대신 다른 사람들이 데이터를 사용할 있도록 한다. 분석가 분야에 관심이 있다면 데이터 분석가나 데이터 과학자가 되는 것을 고려할 있다.

 

데이터 아키텍트 직업 전망

 

데이터 관리와 관련된 다른 모든 직업과 마찬가지로 직업에 대한 수요가 향후 10 내에 증가할 것으로 기대할 있다. 데이터 아키텍트는 단지 1990년대부터 존재했지만, 기업들은 계속해서 그들을 찾고 있다. 이유는 빅데이터 때문이다.

과거에는 백엔드 데이터 관리 시스템을 구축하는 것이 상대적으로 간단했다. 아키텍트는 웨어하우스를 구축하고 SQL 데이터베이스에 정보를 구조화하여 통합하고 개별 부서가 데이터를 사용할 있도록 만들면 작업이 완료됐다.

 

하지만 시절은 끝났다. 정보가 시장에 흘러넘치면서 아키텍트들은 비즈니스 결정을 내리는 도움이 있는 모든 종류의 비정형 데이터(: 오디오, 비디오, 텍스트) 대한 접근을 요구하고 있다. 이로 인해 아키텍트는 새로운 기술(: Hadoop) 기존 관계형 데이터베이스와 혼합하여 비용 효율적이고 안전한 유연한 인프라를 만드는 까다로운 작업을 수행해야 한다.

 

Dip Kharod 지적한 것처럼, 빅데이터 아키텍트는 이제 스스로에게 질문해야 한다.

 

"보안 환경에서 이전에 묻지 않았던 질문에 답할 있도록 고도의 분석을 통해 엄청난 양의 데이터를 처리하면서 시기 적절한 결정을 만들도록 비즈니스의 수중에 있는 충분한 정보를 제공하는 플랫폼을 어떻게 구축하는가?


[원문]


The Life of a Data Architect

 

Data architects create blueprints for data management systems. After assessing a company’s potential data sources (internal and external), architects design a plan to integrate, centralize, protect and maintain them. This allows employees to access critical information in the right place, at the right time.

 

Data Architect Responsibilities

 

A data architect may be required to:

 

-Collaborate with IT teams and management to devise a data strategy that addresses industry requirements

-Build an inventory of data needed to implement the architecture

-Research new opportunities for data acquisition

-Identify and evaluate current data management technologies

-Create a fluid, end-to-end vision for how data will flow through an organization

-Develop data models for database structures

-Design, document, construct and deploy database architectures and applications (e.g. large relational databases)

-Integrate technical functionality (e.g. scalability, security, performance, data recovery, reliability, etc.)

-Implement measures to ensure data accuracy and accessibility

-Constantly monitor, refine and report on the performance of data management systems

-Meld new systems with existing warehouse structures

-Produce and enforce database development standards

-Maintain a corporate repository of all data architecture artifacts and procedures

 

You won’t be surprised to hear that this is a difficult job. Some companies need data architects who are ninjas in data modeling techniques; others want experts in data warehousing, ETL tools, SQL databases or data administration. Most data architects are senior-level employees with plenty of years in business intelligence under their belts.

 

Data Architect Salaries

 

Home to Silicon Valley, San Francisco tops the list of best-paying cities for data architects. Acccording to PayScale, the median pay in 2015 was $144,883 (29% above the national average). The runners up? Boston – a hotbed of large universities and healthcare entities – with a median pay of $144,883 (23% above) and New York, with a median pay of $135,467 (20% above).

 

Data Architect Qualifications

 

-What Kind of Degree Will I Need?

 

To become a data architect, you should start with a bachelor’s degree in computer science, computer engineering or a related field. Coursework should include coverage of data management, programming, big data developments, systems analysis and technology architectures. For senior positions, a master’s degree is usually preferred.

 

The key aspect of your employment application will be experience. Top employers expect job candidates to have spent at least five years dealing with application architecture, network management and performance management, if not more.

 

-What Kind of Skills Will I Need?

 

Technical Skills

 

l  Application server software (e.g. Oracle)

l  Database management system software (e.g. Microsoft SQL Server)

l  User interface and query software (e.g. IBM DB2)

l  Enterprise application integration software (e.g. XML)

l  Development environment software

l  Backup/archival software

l  Agile methodologies and ERP implementation

l  Predictive modeling, NLP and text analysis

l  Data modeling tools (e.g. ERWin, Enterprise Architect and Visio)

l  Data mining

l  UML

l  ETL tools

l  Python, C/C++ Java, Perl

l  UNIX, Linux, Solaris and MS Windows

l  Hadoop and NoSQL databases

l  Machine learning

l  Data visualization

 

As always, this list is subject to changes in technology.

 

Business Skills

 

l  Analytical Problem-Solving: Approaching high-level data challenges with a clear eye on what is important; employing the right approach/methods to make the maximum use of time and human resources.

l  Effective Communication: Carefully listening to management, data analysts and relevant staff to come up with the best data design; explaining complex concepts to non-technical colleagues.

l  Expert Management: Effectively directing and advising a team of data modelers, data engineers, database administrators and junior architects.

l  Industry Knowledge: Understanding the way your chosen industry functions and how data are collected, analyzed and utilized; maintaining flexibility in the face of big data developments.

 

-What About Certifications?

 

As of 2015, there was no expert certification explicitly dedicated to data architects. There are, however, plenty of skill-specific credentials from vendors with a stake in data management (e.g. Oracle, Microsoft, IBM, etc.). When in doubt, consult your mentors, examine recent job descriptions and check out similar articles to Tom’s IT Pro Best Database Certifications for 2015 to decide which acronyms are worth your time and money.

 

Jobs Similar to Data Architect

 

You can take a variety of paths to become a data architect. Folks often get their start working as Database Administrators (DBAs) or entry-level programmers. By concentrating on the day-to-day tasks involved with data management (e.g. installation, upgrades, back-up and recovery, etc.), DBAs gain an understanding of how data are stored and used.

 

Perhaps the closest job to an architect is a Data Engineer. As Aditya Singh aptly puts it, many architects and engineers have the same skill sets, but different work profiles:

 

·       Architects tend to be concerned with the 10,000 foot view – analyzing business needs, developing logical models and developing procedures.

·       Engineers may be more involved in the construction phase – designing, implementing and maintaining data management systems from the ground up.

 

Data architects do not analyze data. Instead, they make it available to others. If you’re interested in playing in the analyst sandbox, you could consider becoming a:

 

·       Data Analyst

·       Data Scientist

 

Data Architect Job Outlook

 

Like every other job related to data management, you can expect demand for this title to grow in the next 10 years. Although data architects have only been around since the 1990s, companies are continuing to seek them out. The reason? Big data.

 

In the past, building back-end data management systems was relatively straightforward. Architects might set up a warehouse, structure and consolidate information into an SQL database and make data available to individual departments. Job done.

 

Those days are gone. As information floods the market, analysts are demanding access to all kinds of unstructured data (e.g. audio, video, text) that could help in making business decisions. This leaves architects with the tricky task of mixing new technologies (e.g. Hadoop) with existing relational databases to create flexible infrastructures that are cost-effective and secure.

 

As Dip Kharod notes, big data architects must now ask themselves:

 

How do I build a platform that provides just enough information in the hands of the business to make timely decisions while processing a massive amount of data that allows advanced analytics to answer never-before-asked questions in a secure environment?)

 


 

블로그 이미지

블루퍼필

댓글을 달아 주세요

데이터 과학자에 대해 조금이나마 알 수 있는 글입니다.

데이터 모델러와는 완전 다르네요. ㅎ


원문: https://www.sas.com/en_us/insights/analytics/what-is-a-data-scientist.html#


--


데이터 과학자는 복잡한 문제를 해결할 있는 기술적 능력을 갖추고 있고, 해결돼야 문제를 찾는 호기심이 있는 새로운 유형의 분석 데이터 전문가다.

 

그들은 수학자이고, 컴퓨터 과학자이자 유행에 민감한 사람이다. 그리고 비즈니스와 IT 세계를 아우르고 있기 때문에 수요가 많고 급여가 높다. 누가 데이터 과학자가 되고 싶지 않겠는가?

그들은 시대의 상징과 같다. 데이터 과학자들은 10년 전에 많은 관심을 끌지 못했지만, 갑작스런 인기는 기업이 현재 빅데이터에 대해 어떻게 생각하고 있는지를 반영한다. 이처럼 다루기 힘든 대량의 구조화되지 않은 정보는 이상 무시되거나 잊혀지지 않는다. 이전에는 누구도 예상하지 못했던 비즈니스 통찰력을 발굴하는 사람이 있는 , 이런 정보는 매출 증대에 도움이 되는 가상의 금광이다. 데이터 과학자가 되라.

 

데이터 과학자는 어디에서 왔는가?

 

많은 데이터 과학자들은 통계학자나 데이터 분석가로서 경력을 쌓기 시작했다. 그러나 빅데이터(하둡과 같은 빅데이터 저장 처리 기술) 성장하고 발전하기 시작하자 이러한 역할도 발전했다. 데이터는 이상 IT 부서에서 처리할 있는 부가적인 것이 아니다. 데이터는 분석, 창조적 호기심 하이테크 아이디어에 대한 재능을 수익 창출을 위해 새로운 방식으로 전환하는 핵심 정보다.

데이터 과학자 역할 또한 학문적 기원을 가지고 있다. , 대학은 고용주가 협업을 하는 프로그래머를 원한다는 것을 인식하기 시작했다. 교수들은 노스캐롤라이나 주립 대학교(North Carolina State University) 고급분석연구원(Institute for Advanced Analytics) 같은 프로그램을 통해서 차세대 데이터 과학자들을 대량 생산할 준비를 했다. 현재 전국의 대학에는 60 이상의 유사한 프로그램이 있다.

 

데이터 과학자의 전형적인 업무

 

데이터 과학자 역할에 관한 명확한 업무 설명은 없다. 그러나 그들은 아래와 같은 가지 작업을 수행할 것이다.

 

- 많은 양의 비정형 데이터를 수집하여 보다 유용한 형식으로 변환한다.

- 데이터 기반 기술을 사용하여 비즈니스 관련 문제를 해결한다.

- SAS, R Python 포함한 다양한 프로그래밍 언어로 작업한다.

- 통계 검증 배포를 포함한 통계에 대해 확실히 이해하고 있다.

- 기계 학습(machine learning), 러닝(deep learning) 텍스트 분석(text analytics) 같은 분석 기법을 기반으로 한다.

- IT 비즈니스와 협력해서 커뮤니케이션한다.

- 비즈니스의 핵심을 도울 있는 추세를 알아내는 것뿐만 아니라 데이터 내에서 주문 패턴을 조사한다.

 

데이터 과학자의 연장통에는 무엇이 있는가?

 

아래와 같은 용어나 기술은 데이터 과학자가 일반적으로 사용한다.

 

- 데이터 시각화(Data visualization): 데이터를 그림이나 그래픽 형식으로 표현하면 데이터를 쉽게 분석할 있다.

- 기계 학습(Machine learning): 수학 알고리즘 자동화를 기반으로 인공 지능의 분야다.

- 러닝(Deep learning): 복잡한 추상화를 모델링하기 위해 데이터를 사용하는 기계 학습 연구의 영역이다.

- 패턴 인식(Pattern recognition): 데이터의 패턴을 인식하는 기술이다(종종 기계 학습과 상호 교환 가능).

- 데이터 준비(Data preparation): 원시 데이터를 다른 형식으로 변환하여 보다 쉽게 사용할 있도록 하는 프로세스다.

- 텍스트 분석(Text analytics): 구조적 데이터를 검토하여 주요 비즈니스 통찰력을 수집하는 프로세스다.

 

어떻게 하면 데이터 과학자가 있나?

 

데이터 과학 분야의 경력을 쌓는 것이 현명한 방법이 있다. 이는 취업 기회가 풍부할 뿐만 아니라 실험 창의력의 여지가 있는 기술 분야에서 일할 있는 기회가 것이다. 그렇다면 어떤 전략이 있는가?

 

만약에 학생이라면, 데이터 과학 학위를 제공하는 대학을 선택하거나 데이터 과학 분석 분야에 최소한 하나의 과정을 제공하는 대학을 선택하는 것이 중요한 번째 단계다. 오클라호마 주립 대학, 앨라바마 대학, 케네사 주립 대학, 남부 감리교 대학, 노스 캐롤라이나 주립 대학 텍사스 A&M 데이터 과학 프로그램이 있는 학교다.

 

만약 직업을 바꾸고 싶은 전문가라면, 대부분의 데이터 과학자들은 데이터 분석가 또는 통계 전문가로서의 배경을 가지고 있지만, 다른 사람들은 비즈니스 또는 경제와 같은 비기술적인 분야에서 넘어온다. 어떻게 다양한 배경의 전문가가 같은 분야에 종사할 있나? 공통점이 무엇인지 살펴보는 것이 중요하다. 문제 해결의 요령, 의사소통을 잘하는 능력, 그리고 사물이 어떻게 작동하는지에 대한 끊임없는 호기심을 가진 사람들이다.

 

이러한 특성 이외에 아래에 대한 확실한 이해가 필요하다.

 

- 통계학 기계 학습

- SAS, R 또는 Python 같은 코딩 언어

- MySQL Postgres 같은 데이터베이스

- 데이터 시각화 보고 기술

- 하둡 맵리듀스

 

이러한 기술을 직접 배우고 싶지 않은 경우 온라인 코스 프로그램에 등록하라. 그리고 나서, 물론 네트워크를 구축해야 한다. 회사의 다른 데이터 과학자와 연결되거나 온라인 커뮤니티를 찾으라. 그들은 데이터 과학자들이 하는 일에 대한 정보와 가장 좋은 직장을 찾을 있는 곳을 알려줄 것이다.

 

기업은 언제 데이터 과학자를 고용할 준비를 하는가?

 

데이터 과학자 직책을 수락하기 전에 조직에 대한 가지 사항을 검토해야 한다.

 

- 대량의 데이터를 다루며, 해결해야 복잡한 문제가 있는가? 진정으로 데이터 과학자가 필요한 조직은 가지 공통점이 있다. 대용량의 데이터를 관리하며, 매일매일 중요한 문제에 직면한다. 그들은 일반적으로 금융, 정부 제약과 같은 산업에 종사하고 있다.

- 가치 있는 데이터인가? 회사의 문화는 데이터 과학자를 고용해야 하는지에 영향을 미친다. 분석을 지원하는 환경이 있는가? 경영진의 지원이 있는가? 그렇지 않다면 데이터 과학자에게 투자하는 것은 낭비가 것이다.

- 바꿀 준비가 됐나? 데이터 과학자로서, 당신은 진지하게 받아 들여지기를 기대하며, 그중 일부는 당신의 작업이 성취되는 것을 보게된다. 비즈니스가 보다 작동할 있는 방법을 찾는데 시간을 할애하라. 이에 대한 응답으로 비즈니스는 당신이 발견한 결과를 기꺼이 따를 준비가 되어 있어야 한다.

 

데이터를 기반으로 비즈니스 의사 결정을 이끄는 데이터 과학자를 고용하는 것은 일부 조직에는 맹신이 있다. 당신이 일하고 있는 비즈니스가 올바른 사고 방식을 가지고 있는지 확인하고 변화를 준비하라.

 

[원문]

What is a Data Scientist?

 

Data scientists are a new breed of analytical data expert who have the technical skills to solve complex problems – and the curiosity to explore what problems need to be solved.

 

They’re part mathematician, part computer scientist and part trend-spotter. And, because they straddle both the business and IT worlds, they’re highly sought-after and well-paid. Who wouldn’t want to be one?

They’re also a sign of the times. Data scientists weren’t on many radars a decade ago, but their sudden popularity reflects how businesses now think about 
big data. That unwieldy mass of unstructured information can no longer be ignored and forgotten. It’s a virtual gold mine that helps boost revenue – as long as there’s someone who digs in and unearths business insights that no one thought to look for before. Enter the data scientist.

 

Where did they come from?

 

Many data scientists began their careers as statisticians or data analysts. But as big data (and big data storage and processing technologies such as Hadoop) began to grow and evolve, those roles evolved as well. Data is no longer just an afterthought for IT to handle. It’s key information that requires analysis, creative curiosity and a knack for translating high-tech ideas into new ways to turn a profit.

The data scientist role also has academic origins. A few years ago, universities began to recognize that employers wanted people who were programmers and team players. Professors tweaked their classes to accommodate this – and some programs, such as the Institute for Advanced Analytics at North Carolina State University, prepared to churn out the next generation of data scientists. There are now more than 60 similar programs in universities around the country.

 

* Typical job duties for data scientists

 

There's not a definitive job description when it comes to a data scientist role. But here are a few things you'll likely be doing:

 

-Collecting large amounts of unruly data and transforming it into a more usable format.

-Solving business-related problems using data-driven techniques.

-Working with a variety of programming languages, including SAS, R and Python.

-Having a solid grasp of statistics, including statistical tests and distributions.

-Staying on top of analytical techniques such as machine learning, deep learning and text analytics.

-Communicating and collaborating with both IT and business.

-Looking for order and patterns in data, as well as spotting trends that can help a business’s bottom line.

 

* What’s in a data scientist’s toolbox?

 

These terms and technologies are commonly used by data scientists:

 

-Data visualization: the presentation of data in a pictorial or graphical format so it can be easily analyzed.

-Machine learning: a branch of artificial intelligence based on mathematical algorithms and automation.

-Deep learning: an area of machine learning research that uses data to model complex abstractions.

-Pattern recognition: technology that recognizes patterns in data (often used interchangeably with machine learning).

-Data preparation: the process of converting raw data into another format so it can be more easily consumed.

-Text analytics: the process of examining unstructured data to glean key business insights.

 

How can you become a data scientist?

 

Positioning yourself for a career in data science could be a smart move. You’ll have plenty of job opportunities, plus it’s a chance to work in the technology field with room for experimentation and creativity. So what’s your strategy?

 

If you’re a student

Choosing a university that offers a data science degree – or at least one offering classes in data science and analytics – is an important first step. Oklahoma State University, University of Alabama, Kennesaw State University, Southern Methodist University, North Carolina State University and Texas A&M are all examples of schools with data science programs.

 

If you’re a professional who wants to shift careers

While most data scientists have backgrounds as data analysts or statisticians, others come from non-technical fields such as business or economics. How can professionals from such diverse backgrounds end up in the same field? It’s important to look at what they have in common: a knack for solving problems, the ability to communicate well and an insatiable curiosity about how things work.

 

Aside from those qualities, you’ll also need a solid understanding of:

 

-Statistics and machine learning.

-Coding languages such as SAS, R or Python.

-Databases such as MySQL and Postgres.

-Data visualization and reporting technologies.

-Hadoop and MapReduce.

 

If you don’t want to learn these skills on your own, take an online course or enroll in a bootcamp. And then, of course, you should network. Connect with other data scientists in your company, or find an online community. They’ll give you insider information into what data scientists do – and where you’ll find the best jobs.

 

 

When is a business ready to hire a data scientist?

 

Before you accept a data scientist position, there are a few things about the organization you should evaluate:

 

-Does it deal with large amounts of data and have complex issues that need to be solved? Organizations that truly need data scientists have two things in common: They manage massive amounts of data, and they face weighty issues on a day-to-day basis. They’re typically in industries such as finance, government and pharma.

-Does it value data? A company's culture has an impact on whether it should hire a data scientist. Does it have an environment that supports analytics? Does it have executive buy-in? If not, investing in a data scientist would be money down the drain.

-Is it ready to change? As a data scientist, you expect to be taken seriously, and part of that entails seeing your work come to fruition. You devote your time to finding ways your business can better function. In response, a business needs to be ready – and willing – to follow through with the results of your findings.

 

Hiring a data scientist to guide business decisions based on data can be a leap of faith for some organizations. Make sure the business you might be working for has the right mindset – and is ready to make some changes.

 

 

 

블로그 이미지

블루퍼필

댓글을 달아 주세요

또 다시 새해를 맞았습니다.

자꾸 새해가 밀려오네요.

 

모델링의 가치가 무엇인지는 최근 2~3년 동안 스스로에게 많이 했던 질문입니다.

 

한참 전에는 모델링이 재미있어서 했습니다.

바둑 둘 때나 농구할 때와 같이 모델링을 하면 시간 가는 줄을 몰랐어요.

아무리 많은 일을 맡아도 힘들지 않고 재미있게 했습니다.

몰두하면 머리도 맑아지고재미있는데 돈까지 벌 수 있으니 좋았어요.

 

그러다 체력이 떨어지고 건강이 나빠지기 시작하니까 모델링이 힘들어지기 시작했어요.

여전히 재미는 있었지만, 힘든 상황에서 무엇을 위해 모델링을 해야 하는지를 자주 생각하게 됐습니다.

 

사설이 걸어졌네요.

 

결국, 모델링을 하는 목적은 좋은 모델을 만들기 위함이라고 생각합니다.

좋은 모델을 간단하게 설명할 수 없지만데이터 자체를 있는 그대로설계하고변화에 대처하기 쉽게 설계된 모델이 좋은 모델이 될 수 있어요.

 

많은 모델러가 좋은 모델을 만드는 것을 최고로 가치 있는 것으로 여겼으면 좋겠습니다.

모델링 환경이 생각보다 더디게 나아지고 있지만진심으로 모델 자체에가치를 두는 모델러가 많아진다면 더디지만 계속 좋아질 거라 생각합니다.

 

타스크가 있기 때문에 그저 하는 모델링이 아닌개발을 하기 위해어쩔 수 없이 하는 모델링이 아닌 좋은 모델을 만들기 위해 하는 모델링이 됐으면 좋겠습니다.

 

그러기 위해서는 좋은 모델을 설계할 수 있어야 합니다.

모델러로서의 역할을 수행할 수 있는 것만으로 만족하는 것이 아닌좋은모델을 설계할 수 있는 실력을 쌓기 위해 다같이 노력했으면 좋겠습니다.

 

모델러는 고객에게 좋은 모델을 제공하고좋은 모델을 보유한 고객은국민에게 좋은 서비스를 제공했으면 하는 바람입니다.

 

힘들게 일하고 계신 모델러분들 힘내시고 즐모하세요.

DAP를 위해 힘들게 공부하고 계신 분들도 끝까지 힘내시고,

무엇보다 건강한 2017년이 되시길 바라겠습니다.



블로그 이미지

블루퍼필

댓글을 달아 주세요

매뉴얼을 쓰던 중 갑자기 알파고가 떠올랐어요.

 

모델링 노트 책에 아래 문구가 있습니다.

 

컴퓨터가 아무리 발달해도 인간에게 바둑을 이길 수 없듯이 풀이 과정을 판단하면서 앎의 정도를 기계적으로 채점할 방법은 없을 것이다.”

 

다들 아시듯이 컴퓨터가 인간에게 바둑을 이길 수 없다는 저의 확신은 틀렸습니다.

책에서도, 강의에서도 확고하게 언급한 내용인데요.

 

이세돌이 알파고에게 첫 판을 졌을 때 충격을 받았어요.

왕년에 좀 뒀던 바둑인(?)으로서 상심이 컸고, 기계가 어떻게 수읽기를 해서 더 나은 수를 판달할 수 있는지 이해할 수가 없었어요.

 

하지만 많은 기사들을 읽고 약간의 해답을 얻었어요.

이세돌이 왜 질 수밖에 없는지를요.

 

알파고는 판단을 한 것이 아니라 계산을 한 것이라는 게 제가 발견한 위안거리입니다.

상대가 둔 다음에 모든 경우의 수를 끝까지 계산해 본 후에, 질 확률이 가장 낮은 수를 선택하는 방식이죠.

알파고의 로직은 공개되지 않았지만 비슷할 거라 생각합니다.

 

이렇게 한다면 결과를 알고 두는 것이나 마찬가지이기 때문에 인간은 기계를 이길 수가 없습니다.

오히려 한 판을 이긴 이세돌이 대단하게 느껴졌어요.

어느 순간 끝까지 아무리 계산해도 알파고가 이길 수 없도록 만든 것이니까요.

 

다음에 붙을 때는 끝까지 계산해 보기 없기와 같은 규칙이 있어야 될 거 같아요.

아니면 인간은 시간 제한이 없던지요.

그렇지 않고는 성능이 점점 좋아지는 슈퍼 컴퓨터의 계산력을 당할 수가 없습니다.

 

참고로 프로기사는 한 수를 둘 때마다 약 50수 정도를 내다본다고 합니다.

시간이 무한하고 체력만 버텨주면 프로기사도 끝까지 무한대로 계산할 수 있을 거에요.

프로기사의 수읽기는 상상을 초월합니다.

프로기사 둘이 흰돌만 가지고 둬도 승부가 5집 정도에서 갈리니까요.

흰돌만 가득한 바둑판에서 자기가 둔 돌을 기억하고 매수 마다 계가하면서 둘 수 있다는 거에요.

어릴 적 바둑기사는 신과 같은 존재였어요.

 

어쨌든 컴퓨터가 인간을 바둑으로 이겼고 위의 문구는 수정해야 됩니다.

 

그당시 충격이 진정되면서 했던 생각이 컴퓨터가 모델링을 할 수 있을까?”입니다.

현업과 인터뷰할 수도 없고... 이건 좀 힘들지 않을까 싶은데 모르겠습니다.

모델링은 계산하는 게 아니니 아무리 많은 표본이 있어도 선택할 때 어려움이 있을 거 같다는 생각도 들고요.

하지만 기사를 작성하는 수준인 알파고한테 요구사항 자료를 다양하게 제공하면 할 수도 있을 거 같다는 생각도 들어요.

 

바둑은 판단하면서 두는 것이란 생각이 인간에게만 해당되듯이, 왠지 모델링도 판단하면서 설계할 것이란 생각이 틀릴 수도 있다는 생각이 들었어요.

뭔지는 모르겠지만 소심해지는 듯한

 

또 한가지 든 생각은 알파고가 모델러의 일거리를 뺐을 것인가에요.

알파고가 모델링을 할 수 있든 없든 간에 모델링 시장이 크지 않으니 알파고가 모델러를 대체할 거란 생각은 들지 않아요.

오히려 컴퓨터가 프로그래밍하는 날이 빨라질 거 같아요.

인간은 논리적 설계를 하고, 구현은 컴퓨터가 하게 되지 않을까 싶어요.

 

어쨌든 알파고 때문에 며칠 동안 혼자 재미있게 놀았던 기억이 났습니다.




블로그 이미지

블루퍼필

댓글을 달아 주세요

프리미엄 가이드 2쇄에 누락된 이미지가 많습니다.


인쇄 들어가기 직전의 검판용 파일에는 이상이 없었는데요.

생각지도 못했던 일입니다.


제가 쓴 책을 떠나 책을 아끼는 사람으로서 너무 죄송하게 생각합니다.

자신의 일에 능숙하지 않은 사람들이 있는 거 같아 안타깝습니다.


누락된 이미지는 우선 이 글에 올리겠습니다.

93페이지 [그림 4.18]



96페이지 [그림 4.23]


100페이지 [그림 4.29] 상단 이미지


316페이지 [그림 10.1]


324페이지 [그림 10.12]


327페이지 [그림 10.16]


328페이지 [그림 10.17]


335페이지 [그림 10.26]


454페이지 [그림 12.12]




블로그 이미지

블루퍼필

댓글을 달아 주세요

  • 허민석 2014.01.27 00:18  댓글주소  수정/삭제  댓글쓰기

    프리미엄 가이드 초판 애독자입니다. 혹 초판과 2판에 차이점을 알 수 있을까 문의 드립니다.

    • 블루퍼필 2014.01.27 16:32 신고  댓글주소  수정/삭제

      많이 다르진 않지만 조금씩 다릅니다.
      비교해 봐야 정확히 알 거 같은데요. 간략하게 정리해서 댓글 달겠습니다.

    • 블루퍼필 2014.01.27 21:38 신고  댓글주소  수정/삭제

      1쇄와 2쇄 이미지 변경된 내용입니다.
      ---
      [그림4.18]
      #A에서 #B로 가는 선 끝에 화살표 삭제

      [그림4.23]
      #A에서 #B로 가는 선 끝에 화살표 삭제

      [그림 4.29] 상단 이미지
      #A에서 #C로 가는 선 끝에 화살표 삭제

      [그림 10.1]
      바커 표기법으로 수정

      [그림 10.12]
      피보험자고객번호2 속성부터 아래 전부 null 허용으로 수정

      [그림 10.16]
      보험계약번호+고객번호+당사자구분코드 => PK로 수정

      [그림 10.27]
      당사자구분코드 => PK어 포함시킴

      [그림 10.26]
      최길동에서 인사부 선 삭제

      [그림 12.12] 오른쪽 그림
      보험계약 엔터티에 보험시작일자, 보험종료일자 추가
      보험계약이력 엔터티에 보험시작일자, 보험종료일자 추가

  • 허민석 2014.01.28 08:14  댓글주소  수정/삭제  댓글쓰기

    네 답변 감사합니다.
    첨부하신 내용 참고하여
    볼펜과 자로
    초판 --> 2판 업데이트 해야겠네요...^^