[번역글] 데이터 아키텍트(Data Architect)의 삶

데이터 아키텍트(DA)에 대한 번역글입니다.

당연히 미국의 DA 상황인데요.

한국의 DA 역할과 매우 유사하다고 생각되는데, 기술 능력은 너무 광범위하네요.

 

그래도 빅데이터 관련 기술이 눈에 띄입니다.

현재 한국에서는 DA에게 빅데이터 관련 지식을 요구하지 않을 거 같지만 앞으로는 그렇게 될 수도 있다는 생각이 듭니다.

데이터 아키텍트의 확장판(?)인 빅데이터 아키텍트가 생길 수도 있고요.

 

원문: http://www.mastersindatascience.org/careers/data-architect/

 

--

 

데이터 아키텍트는 데이터 관리 시스템을 위한 청사진을 만든다. 데이터 아키텍트는 회사의 잠재적인 데이터 소스(내부 및 외부)를 평가한 후 통합하고 중앙 집중화하며, 보호 및 관리하는 계획을 설계한다. 이를 통해 직원들은 적시에 적절한 장소에서 중요한 정보에 접근할 수 있다.

 

데이터 아키텍트의 책임

 

데이터 아키텍트는 다음을 수행할 수 있다.

 

- IT 팀 및 경영진과 협업하여 업계 요구사항을 해결하는 데이터 전략을 수립한다.

- 아키텍처를 구현하는 데 필요한 데이터 목록을 구축한다.

- 데이터를 획득하기 위한 새로운 기회를 연구한다.

- 현행 데이터 관리 기술을 식별하고 평가한다.

- 데이터가 조직에서 어떻게 흐르는지에 대한 가변적인 양단간 비전을 창조한다.

- 데이터베이스 구조에 대한 데이터 모델을 개발한다.

- 데이터베이스 아키텍처 및 응용 프로그램(예: 대규모 관계형 데이터베이스)을 설계하고 문서화하며 구성하고 배포한다.

- 기술적 기능(예: 확장성, 보안, 성능, 데이터 복구, 안정성 등)을 통합한다.

- 데이터 정확성 및 접근 가능성 보장을 위한 조치를 구현한다.

- 데이터 관리 시스템의 성능을 지속적으로 모니터링, 조정 및 보고한다.

- 기존의 웨어하우스 구조에 새로운 시스템을 혼합시킨다.

- 데이터베이스 개발 표준을 작성하고 시행한다.

- 모든 데이터 아키텍처 산출물 및 절차에 대한 공동 저장소를 관리한다.

 

여러분은 데이터 아키텍트가 힘든 직업이라는 말을 듣고 놀라지 않을 것이다. 일부 기업은 데이터 모델링 기술에서 은밀하게 행동하는 데이터 아키텍트가 필요하다. 다른 기업은 데이터 웨어하우징, ETL 도구, SQL 데이터베이스 또는 데이터 관리 전문가를 원하고 있다. 대부분의 데이터 아키텍트는 비즈니스 인텔리전스 분야에서 수년간 경력을 쌓은 고위급 직원이다.

 

데이터 아키텍트 급여

 

실리콘 밸리(Silicon Valley)가 있는 샌프란시스코는 데이터 아키텍트를 위한 최상의 도시 중 하나다. PayScale에 따르면 2015년 평균 급여는 144,883달러(전국 평균보다 29% 높음)였다.  대형 대학 및 보건 기관이 많은 Boston은 144,883달러(23% 이상), 뉴욕은 135,467달러(20% 이상)가 평균 급여다.

 

데이터 아키텍트 자격

 

- 어떤 종류의 학위가 필요한가?

 

데이터 아키텍트가 되려면 컴퓨터 과학, 컴퓨터 공학 또는 관련 분야에서 학사 학위를 취득해야 한다. 교과 과정에는 데이터 관리, 프로그래밍, 빅데이터 개발, 시스템 분석 및 기술 아키텍처가 포함돼야 한다. 고위직의 경우 일반적으로 석사 학위를 선호한다.

 

구직 신청의 핵심 요소는 경험일 것이다. 최고 고용주는 응시자가 어플리케이션 아키텍처, 네트워크 관리 및 성과 관리를 다루는 데 최소한 5 년을 소비했으면 한다.

 

- 어떤 종류의 기술이 필요한가?

 

기술 능력

 

l  프로그램 서버 소프트웨어(예: Oracle)

l  데이터베이스 관리 시스템 소프트웨어(예: Microsoft SQL Server)

l  사용자 인터페이스 및 쿼리 소프트웨어(예: IBM DB2)

l  기업 애플리케이션 통합 소프트웨어(예: XML)

l  개발 환경 소프트웨어

l  백업/보관 소프트웨어

l  어자일 방법론 및 ERP 구현

l  예측 모델링, NLP 및 텍스트 분석

l  데이터 모델링 도구(예: ERWin, Enterprise Architect 및 Visio)

l  데이터 마이닝

l  UML

l  ETL 도구

l  파이썬, C/C++, 자바, 펄

l  UNIX, Linux, Solaris 및 MS Windows

l  Hadoop 및 NoSQL databases

l  기계 학습

l  데이터 시각화

 

언제나 그렇듯이 이 목록은 기술의 변화에 따라 달라질 수 있다.

 

비즈니스 기술

 

l  분석적 문제 해결: 중요한 데이터에 대한 명확한 시각으로 고차원 데이터 문제에 접근하며, 시간과 인적 자원을 최대한 활용하기 위한 올바른 접근 방식을 사용한다.

l  효과적인 의사 소통: 관리자, 데이터 분석가 및 관련 직원의 의견을 주의 깊게 듣고 최고의 데이터 설계를 내놓고, 비 기술적인 동료에게 복잡한 개념을 설명한다.

l  전문가 관리: 데이터 모델러, 데이터 엔지니어, 데이터베이스 관리자 및 후배 아키텍드 팀을 효과적으로 지휘하고 조언한다.

l  업계 지식: 선택한 업계의 기능 및 데이터 수집, 분석 및 활용 방식을 이해하며, 빅 데이터 개발에도 유연하게 대처한다.

 

- 자격증은 어떤가?

 

2015년 현재 데이터 아키텍트에게 명시적으로 요구되는 전문가 자격증은 없다. 그러나 데이터 관리 분야의 이해 관계자(예: Oracle, Microsoft, IBM 등)의 기술 관련 자격증은 많다. 확신이 서지 않으면 멘토와 상담하고 최신 직업 설명을 검토한 다음 어떤 약어가 시간과 돈의 가치가 있는지 결정하기 위해 2015년에 대한 Tom의 IT Pro Best Database 자격증과 유사한 기사를 확인하라.

 

데이터 아키텍트와 유사한 작업

 

데이터 아키텍트가 되기 위해 다양한 경로를 택할 수 있다. 사람들은 종종 데이터베이스 관리자(DBA) 또는 초급 프로그래머로 일하면서 시작한다. DBA는 데이터 관리와 관련된 일상적인 작업(예: 설치, 업그레이드, 백업 및 복구 등)에 집중함으로써 데이터 저장 및 사용 방법을 이해한다.

 

아마도 아키텍트와 가장 가까운 직업은 데이터 엔지니어다. Aditya Singh이 적절하게 언급한 것처럼 많은 아키텍트와 엔지니어는 동일한 기술 집합을 가지고 있지만 업무 프로파일은 다르다.

 

     아키텍트는 업무 요건 분석, 논리 모델 개발 및 프로시저 개발과 같은 뷰에 관심을 갖는 경향이 있다.

  엔지니어는 처음부터 데이터 관리 시스템을 설계, 구현 및 관리하는 건설 단계에 더 많이 참여할 수 있다.

 

데이터 아키텍트는 데이터를 분석하지 않는다. 대신 다른 사람들이 데이터를 사용할 수 있도록 한다. 분석가 분야에 더 관심이 있다면 데이터 분석가나 데이터 과학자가 되는 것을 고려할 수 있다.

 

데이터 아키텍트 직업 전망

 

데이터 관리와 관련된 다른 모든 직업과 마찬가지로 이 직업에 대한 수요가 향후 10년 내에 증가할 것으로 기대할 수 있다. 데이터 아키텍트는 단지 1990년대부터 존재했지만, 기업들은 계속해서 그들을 찾고 있다. 그 이유는 빅데이터 때문이다.

과거에는 백엔드 데이터 관리 시스템을 구축하는 것이 상대적으로 간단했다. 아키텍트는 웨어하우스를 구축하고 SQL 데이터베이스에 정보를 구조화하여 통합하고 개별 부서가 데이터를 사용할 수 있도록 만들면 작업이 완료됐다.

 

하지만 그 시절은 끝났다. 정보가 시장에 흘러넘치면서 아키텍트들은 비즈니스 결정을 내리는 데 도움이 될 수 있는 모든 종류의 비정형 데이터(예: 오디오, 비디오, 텍스트)에 대한 접근을 요구하고 있다. 이로 인해 아키텍트는 새로운 기술(예: Hadoop)을 기존 관계형 데이터베이스와 혼합하여 비용 효율적이고 안전한 유연한 인프라를 만드는 까다로운 작업을 수행해야 한다.

 

Dip Kharod가 지적한 것처럼, 빅데이터 아키텍트는 이제 스스로에게 질문해야 한다.

 

"보안 환경에서 이전에 묻지 않았던 질문에 답할 수 있도록 고도의 분석을 통해 엄청난 양의 데이터를 처리하면서 시기 적절한 결정을 만들도록 비즈니스의 수중에 있는 충분한 정보를 제공하는 플랫폼을 어떻게 구축하는가?”

[원문]

The Life of a Data Architect

 

Data architects create blueprints for data management systems. After assessing a company’s potential data sources (internal and external), architects design a plan to integrate, centralize, protect and maintain them. This allows employees to access critical information in the right place, at the right time.

 

Data Architect Responsibilities

 

A data architect may be required to:

 

-Collaborate with IT teams and management to devise a data strategy that addresses industry requirements

-Build an inventory of data needed to implement the architecture

-Research new opportunities for data acquisition

-Identify and evaluate current data management technologies

-Create a fluid, end-to-end vision for how data will flow through an organization

-Develop data models for database structures

-Design, document, construct and deploy database architectures and applications (e.g. large relational databases)

-Integrate technical functionality (e.g. scalability, security, performance, data recovery, reliability, etc.)

-Implement measures to ensure data accuracy and accessibility

-Constantly monitor, refine and report on the performance of data management systems

-Meld new systems with existing warehouse structures

-Produce and enforce database development standards

-Maintain a corporate repository of all data architecture artifacts and procedures

 

You won’t be surprised to hear that this is a difficult job. Some companies need data architects who are ninjas in data modeling techniques; others want experts in data warehousing, ETL tools, SQL databases or data administration. Most data architects are senior-level employees with plenty of years in business intelligence under their belts.

 

Data Architect Salaries

 

Home to Silicon Valley, San Francisco tops the list of best-paying cities for data architects. Acccording to PayScale, the median pay in 2015 was $144,883 (29% above the national average). The runners up? Boston – a hotbed of large universities and healthcare entities – with a median pay of $144,883 (23% above) and New York, with a median pay of $135,467 (20% above).

 

Data Architect Qualifications

 

-What Kind of Degree Will I Need?

 

To become a data architect, you should start with a bachelor’s degree in computer science, computer engineering or a related field. Coursework should include coverage of data management, programming, big data developments, systems analysis and technology architectures. For senior positions, a master’s degree is usually preferred.

 

The key aspect of your employment application will be experience. Top employers expect job candidates to have spent at least five years dealing with application architecture, network management and performance management, if not more.

 

-What Kind of Skills Will I Need?

 

Technical Skills

 

l  Application server software (e.g. Oracle)

l  Database management system software (e.g. Microsoft SQL Server)

l  User interface and query software (e.g. IBM DB2)

l  Enterprise application integration software (e.g. XML)

l  Development environment software

l  Backup/archival software

l  Agile methodologies and ERP implementation

l  Predictive modeling, NLP and text analysis

l  Data modeling tools (e.g. ERWin, Enterprise Architect and Visio)

l  Data mining

l  UML

l  ETL tools

l  Python, C/C++ Java, Perl

l  UNIX, Linux, Solaris and MS Windows

l  Hadoop and NoSQL databases

l  Machine learning

l  Data visualization

 

As always, this list is subject to changes in technology.

 

Business Skills

 

l  Analytical Problem-Solving: Approaching high-level data challenges with a clear eye on what is important; employing the right approach/methods to make the maximum use of time and human resources.

l  Effective Communication: Carefully listening to management, data analysts and relevant staff to come up with the best data design; explaining complex concepts to non-technical colleagues.

l  Expert Management: Effectively directing and advising a team of data modelers, data engineers, database administrators and junior architects.

l  Industry Knowledge: Understanding the way your chosen industry functions and how data are collected, analyzed and utilized; maintaining flexibility in the face of big data developments.

 

-What About Certifications?

 

As of 2015, there was no expert certification explicitly dedicated to data architects. There are, however, plenty of skill-specific credentials from vendors with a stake in data management (e.g. Oracle, Microsoft, IBM, etc.). When in doubt, consult your mentors, examine recent job descriptions and check out similar articles to Tom’s IT Pro Best Database Certifications for 2015 to decide which acronyms are worth your time and money.

 

Jobs Similar to Data Architect

 

You can take a variety of paths to become a data architect. Folks often get their start working as Database Administrators (DBAs) or entry-level programmers. By concentrating on the day-to-day tasks involved with data management (e.g. installation, upgrades, back-up and recovery, etc.), DBAs gain an understanding of how data are stored and used.

 

Perhaps the closest job to an architect is a Data Engineer. As Aditya Singh aptly puts it, many architects and engineers have the same skill sets, but different work profiles:

 

·       Architects tend to be concerned with the 10,000 foot view – analyzing business needs, developing logical models and developing procedures.

·       Engineers may be more involved in the construction phase – designing, implementing and maintaining data management systems from the ground up.

 

Data architects do not analyze data. Instead, they make it available to others. If you’re interested in playing in the analyst sandbox, you could consider becoming a:

 

·       Data Analyst

·       Data Scientist

 

Data Architect Job Outlook

 

Like every other job related to data management, you can expect demand for this title to grow in the next 10 years. Although data architects have only been around since the 1990s, companies are continuing to seek them out. The reason? Big data.

 

In the past, building back-end data management systems was relatively straightforward. Architects might set up a warehouse, structure and consolidate information into an SQL database and make data available to individual departments. Job done.

 

Those days are gone. As information floods the market, analysts are demanding access to all kinds of unstructured data (e.g. audio, video, text) that could help in making business decisions. This leaves architects with the tricky task of mixing new technologies (e.g. Hadoop) with existing relational databases to create flexible infrastructures that are cost-effective and secure.

 

As Dip Kharod notes, big data architects must now ask themselves:

 

“How do I build a platform that provides just enough information in the hands of the business to make timely decisions while processing a massive amount of data that allows advanced analytics to answer never-before-asked questions in a secure environment?)”