2018년도 상위 10가지 비즈니스 인텔리전스 동향

기계 학습이 분석가를 돕는 방식

대중 문화는 기계 학습이 할 수 있는 것에 대해 디스토피아적 시각을 부추기고 있습니다. 그렇지만 지속적인 연구를 통해 기술이 개선됨에 따라 기계 학습도 빠르게 분석가의 귀중한 보조 기술로 자리잡고 있습니다. 실제로, 기계 학습은 분석가의 궁극적인 보조자입니다.

특정 제품의 가격 변화가 주는 영향을 신속하게 파악할 필요가 있다고 가정해 보십시오. 이를 위해, 데이터에 대해 선형 회귀 분석을 실행하실 것입니다. Excel, R 또는 Tableau가 없을 때에는 이​ 모든 작업을 수동으로 수행해야 했으므로 이 프로세스는 몇 시간이 걸렸습니다. 기계 학습 덕분에 이제 몇 분, 아니면 몇 초 내에 제품의 소비량을 확인할 수 있습니다. 분석가로서, 당신은 그 무거운 짐에서 벗어나 다음 질문으로 이동할 수 있습니다. 휴가와 같은 외적 요인으로 인해 소비가 더 증가한 달이었는가? 신제품 출시가 있었는가? 제품 구매 또는 인식에 영향을 미친 미디어의 보도가 있었는가? 여기서, 회귀 모형에 완벽을 기하도록 더 많은 시간을 할애했어야 하는데 하는 생각은 들지 않을 것입니다.

기계 학습이 분석가를 지원하는 데는 두 가지 방법이 있습니다. 첫 번째는 효율성입니다. 위의 예에서 분석가는 기본적인 계산에 귀중한 시간을 할애하지 않습니다. 분석가는 이제 비즈니스에서 갖는 의미와 다음에 올 논리적인 단계에 대해 생각할 시간을 추가로 확보하게 되었습니다. 두 번째로, 더 이상 숫자와 씨름할 필요가 없으므로 분석가가 데이터를 탐색하고 분석의 흐름을 유지할 수 있게 합니다. 대신, 분석가는 다음 질문을 하게 됩니다. 소프트웨어 엔지니어인 Ryan Atallah는 "기계 학습(ML)은 답변을 얻는 데 도움이 필요할 때 필요한 모든 곳을 살펴볼 수 있도록 도와줍니다."라고 설명합니다.

기계 학습의 잠재력이 분석가를 돕는다는 사실은 부인할 수 없지만, 명확하게 정의된 결과가 있을 때 비로소 받아들여야 한다는 것을 인식하는 것이 중요합니다. Tableau의 제품 관리자인 Andrew Vigneault는 "데이터가 주관적인 경우 기계 학습은 좋지 않습니다."라고 말합니다. 예를 들어, 고객에게 제품 만족도에 대한 설문 조사를 실시할 때 기계 학습(ML)은 정성적 단어를 다 이해하지는 못합니다.

또한 분석가는 실행 가능한 방식으로 데이터를 이해할 수 있는 성공 메트릭을 알 필요가 있습니다. 즉, 기계로의 입력이 바로 의미 있는 출력을 만들어내지는 않습니다. 인간만이 적절한 양의 컨텍스트가 적용되었는지 이해할 수 있습니다. 즉, 기계 학습은 모델의 이해 없이 그리고 어떤 입력과 출력이 이루어지는지 이해하지 않고 단독으로 수행할 수는 없다는 것을 의미합니다.

기계에 의해 대체되고 있다는 우려가 있을 수 있지만, 기계 학습은 실제로 분석가의 역량을 강화하여 더 효율적이고 정확하며, 비즈니스에 더 많은 영향력을 줄 수 있게 할 것입니다. 기계 학습 기술을 두려워하는 대신, 그것이 제시하는 기회를 수용해야 할 것입니다.

IDC는 AI 및 기계 학습 시스템에서 오는 수익이 2020년까지 총 460억 달러에 이를 것으로 전망합니다.

2020년에는 AI가 긍정적인 일자리 창출 역할을 하여 180만 개의 일자리가 사라지는 대신 230만 개의 일자리를 창출할 것입니다. (Gartner)

분석 업계에서 인문학의 인간적 영향

분석 업계가 계속적으로 숙련된 데이터 근로자를 찾고 조직이 분석 팀을 향상시키려는 환경 속에서 우리는 넘치는 인재를 쉽게 찾을 수 있었는지 모릅니다. 우리는 그림과 스토리텔링이 데이터 분석 산업에 어떤 영향을 미쳤는지 잘 알고 있습니다. 이는 새로운 사실은 아닙니다. 놀라운 것은, 이전에는 IT 및 파워 유저 전용이었던 분석 대시보드 작성 기술 측면을 어떻게 스토리텔링 기술, 즉 기본적으로 인문학에서 오는 기술을 이해하는 사용자가 이어받고 있느냐 하는 것입니다. 게다가, 조직은 분석 자체뿐만 아니라 데이터 및 인사이트를 사용하여 변화에 영향을 미치고, 예술과 신념을 통해 변환을 끌어낼 수 있는 인력을 채용하는 데에 더 많은 가치를 부여하고 있습니다.

기술 플랫폼이 사용하기 쉬워질수록 기술 전문성에 중점을 둘 필요가 줄어듭니다. 한때 요구되었던 전문 기술력을 갖추지 않고도 누구나 데이터를 활용할 수 있습니다. 바로 이러한 환경에서, 인문학을 포함한 더 폭 넓은 기술을 가진 사람들이 데이터 작업자가 부족한 산업과 조직에 동승하여 영향을 미치고 있습니다. 데이터 분석을 비즈니스의 우선순위에 두는 조직이 늘어남에 따라, 이들 인문학 데이터 관리자는 인력의 역량을 강화하는 것이 경쟁 우위를 점하는 것임을 기업이 인식하도록 도울 것입니다.

새로운 세대의 데이터 근로자를 채용하자는 광범위한 주장뿐만 아니라, 인문계 출신의 대표 또는 창립자가 기술 기반 기업에 큰 영향을 주는 사례도 보았습니다. 여기에는 Slack, LinkedIn, PayPal, Pinterest 등 우수한 성과를 올리는 많은 기술 기업의 창립자 및 경영진이 포함됩니다.

기술 주력 기업에 인문학을 도입한 뛰어난 사례가 Scott Hartley의 최근 저서인 "The Fuzzy and the Techie"에 나옵니다. Nissan은 인류학 박사 Melissa Cefkin을 채용하여 인간과 기계의 상호 작용, 특히 무인 자동차와 인간 사이의 상호 작용에 대한 연구를 진행했습니다. 무인 자동차 기술은 오랫동안 연구되어 왔지만 인간과 기계가 혼합된 환경이 계속되는 한 다양한 장애물과 마주치게 됩니다. 교차로 일단 정지 지점을 예를 들면, 일반적으로 인간은 상황을 각각의 경우에 따라 분석하지만, 기계에 이를 가르치는 것은 거의 불가능합니다. 이 문제를 해결하기 위해, Cefkin은 자신의 인류학 배경을 활용하여 인간 행동의 패턴을 식별하여 인간이 따라가는 패턴을 무인 자동차에 더 잘 가르치고, 그 결과를 다시 그 차에 타고 있는 인간에 전달하는 임무를 맡았습니다.

분석 기술이 과학보다 예술에 더 가깝게 진화함에 따라, 단순히 데이터를 전달하는 것에서 반드시 의사 결정으로 이끄는 데이터 기반의 스토리를 만드는 것으로 초점이 옮겨졌습니다. 조직은 그 어느 때보다 훨씬 더 큰 규모로 데이터를 수용하고 있으며, 조직의 방향은 자연히 스토리텔링 및 데이터 구성에 더 중점을 두는 형태로 진행됩니다. 데이터 스토리텔링의 황금기는 우리 자신과 다음 주요 인사이트를 발견하려는 데이터 스토리텔러가 있는 조직 내의 어딘가에 놓여 있습니다.

인문학 전공 졸업자가 이공계 졸업자보다 10% 더 빠르게 기술 인력에 합류하고 있습니다. (LinkedIn)

Fortune지 선정 500 대 기업 CEO의 3분의 1이 인문학 학위를 갖고 있습니다. (Fast Company)

자연어 처리의 약속

2018년에는 자연어 처리(NLP)가 널리 보급되고 정교해지며 어디에서나 가능하게 될 것입니다. 개발자와 엔지니어의 NLP에 대한 이해력이 높아짐에 따라, NLP가 구현되지 않은 영역에 통합하는 부문도 성장할 것입니다. Amazon Alexa, Google Home 및 Microsoft Cortana가 인기를 끌면서, 사람들은 이제 소프트웨어한테 이야기할 수 있고 그러면 소프트웨어가 무엇을 해야 하는지 이해할 것이라고 기대하게 되었습니다. 예를 들어, "Alexa, 'Yellow Submarine’ 좀 틀어줘"라고 명령을 하면, 비틀즈의 그 히트곡은 저녁 식사를 준비하는 동안 부엌에서 연주될 것입니다. 바로 이 개념이 데이터에도 적용되어, 질문을 하고 보유한 데이터를 분석하는 것이 모든 사람에게 더 쉬워졌습니다.

Gartner는 2020년에는 분석 쿼리의 50%가 검색, NLP 또는 음성을 통해 생성될 것으로 예측합니다. 이것은 이동 중인 CEO가 휴대기기에게 다음과 같이 급히 질문하는 것이 훨씬 쉬워진다는 뜻입니다. 즉, '뉴욕에서 주력 상품을 구입한 고객의 총매출액'을 '지난 30일간 주문'으로 필터링한 다음 '프로젝트 소유자 부서'별로 그룹화해서 보고하도록 지시할 수 있습니다. 또는 자녀가 재학중인 학교 교장이 다음과 같이 질문할 수 있습니다. "'올해 학생들의 평균 성적은 어떻습니까?' 그러면, '8학년 학생'으로 필터링하고 '담당 교사 과목'별로 그룹화하시오." NLP는 사람들이 데이터에 대해 더 미묘한 질문을 하고 매일매일 더 나은 인사이트와 의사 결정으로 유도하는 적절한 응답을 받을 수 있도록 해줍니다.

동시에 개발자와 엔지니어는 사람들이 NLP를 사용하는 방식을 배우고 이해하는 데 큰 노력을 기울일 것입니다. 그들은 즉각적인 만족을 주는 질문("가장 많은 매출을 올린 제품은?")에서부터 탐색("내 데이터가 무엇을 말해줄 수 있는지 모르는데..., 내 부서는 어떻게 하고 있지?")에 이르기까지 사람들이 질문하는 방식을 검토할 것입니다. Tableau의 소프트웨어 엔지니어인 Ryan Atallah는 "이 행동은 질문이 제기될 때의 상황과 매우 밀접한 관계가 있습니다."라고 말합니다. 최종 사용자가 모바일 기기를 사용하는 경우에는 즉각적인 만족감을 주는 질문을 하는 경향이 있는 반면, 책상에 앉아 대시보드를 보고 있으면 더 깊은 질문을 탐색하고 조사하려고 할 것입니다.

분석의 가장 큰 장점은 다양한 워크플로우를 이해하는 데에서 얻을 수 있는데, 이는 NLP가 보완할 수 있는 것입니다. Tableau의 소프트웨어 엔지니어인 Vidya Setlur도 "모호성은 어려운 문제"라고 말했는데, 특정 질문의 입력 내용보다 워크플로우를 이해하는 것이 더 중요하다는 것을 시사합니다. 데이터에 대해 동일한 질문(예 : "이번 분기에 어떤 영업 담당자가 가장 높은 매출을 기록했나요?" 또는 "이번 분기에 최고의 영업 실적을 거둔 직원은 누구입니까?")을 하는 여러 가지 방법이 있을 때 최종 사용자는 그것을 묻는 '올바른' 방법을 생각하고 싶은 것이 아니라 단지 대답을 원합니다.

결과적으로, 모든 상황에 NLP를 적용하는 것이 아니라 올바른 워크플로우에서 NLP를 사용할 수 있게 하여 그것을 사용하는 사람의 몸에 배게 하는 데에서 기회는 창출됩니다.

2019년까지 기업용 응용 프로그램 사용에 관련되는 업무에 종사하는 근로자의 75%는 지능형 가상 비서를 통해 기술과 전문성을 향상시킬 것입니다. (IDC)

2021년까지 기업의 50% 이상이 기존 모바일 앱 개발보다 봇과 챗봇 만들기에 더 많은 연간 예산을 지출하게 될 것입니다. (Gartner)

멀티 클라우드에 대한 논쟁 발발

귀하의 조직이 2018년에 멀티 클라우드 전략을 탐구하고 평가하는 중이라면, 비단 귀사뿐이 아닙니다.

최고 제품 책임자(CPO)인 Francois Ajenstat는 "많은 조직이 앞다투어 데이터와 핵심 응용 프로그램을 클라우드로 이동하고 있습니다."라고 말합니다. "'리프트 앤 시프트'이든지 플랫폼 재구성이든지 간에, 고객이 이전보다 훨씬 더 빠른 속도로 클라우드를 채택하고 있음을 볼 수 있습니다."

최근 Gartner의 한 연구에 따르면 "멀티 클라우드 전략은 현재 기업의 10% 미만에서 증가하여 2019년에는 70%에 달하는 공통된 전략이 될 것"이라고 밝혔습니다. 고객은 미래의 요구에 부합하지 못하는 단일 레거시 소프트웨어 솔루션에 묶이게 되는 것에 점점 더 민감한 반응을 보이고 있습니다. 그러나 Linux, Postgres, MySQL 등의 개방형 표준과 API를 같이 사용하게 되어 전환 및 마이그레이션 작업이 더 쉬워졌습니다.

조직이 데이터 센터가 어떻게 설계되고 실행되는지도 평가하게 될 것으로 보입니다. IT 부서는 위험, 복잡성, 속도, 비용을 기준으로 호스팅 환경을 평가하고 있으며, 이러한 요소는 모두 조직의 요구에 맞는 단일 솔루션을 찾는 데 어려움을 증가시킵니다.

멀티 클라우드 환경을 평가하고 구현하는 것은 어떤 솔루션이 내부 상황에 가장 적합한 성능과 지원을 제공하는지 파악하는 데 도움이 됩니다. Boston Herald에 따르면, GE는 최적의 호스팅 환경과 고객에게 가장 낮은 비용을 부과하는 서비스가 어떤 것인지 이해하려는 의도로 Microsoft Azure와 Amazon Web Services를 모두 활용하는 클라우드 호스팅 전략을 재조정했습니다.

그런데 멀티 클라우드에는 이러한 환경으로 옮겨갈 때의 장점과 해결해야 할 과제의 두 가지 측면에 대한 건전한 인식이 필요합니다. 유연성은 장점인 반면, 조직의 워크로드를 여러 공급 업체로 분산시키는 멀티 클라우드 환경은 경상비를 증가시킵니다. 또한 멀티 클라우드 환경에서는 내부 개발자 팀이 여러 플랫폼을 학습하고 지원해야 하는 환경에 맞추어 추가 거버넌스 프로세스를 마련해야 합니다.

뿐만 아니라, 멀티 클라우드 전략은 회사나 조직의 구매력을 떨어뜨릴 수 있습니다. 회사가 상품 구매를 여러 공급 업체를 통해 나누어 하면 대량 구매 할인 혜택을 상실할 것입니다. 이것은 회사가 더 비싼 가격에 더 적게 사는 모델을 만듭니다.

위의 Gartner 데이터 요소와 같은 설문 조사 및 통계는 멀티 클라우드 채택이 증가하고 있음을 가리킵니다. 그러나 이것은 주어진 플랫폼이 얼마만큼 채택되었는지를 나타내지는 않습니다. 많은 멀티 클라우드 사례에서 조직은 대부분의 요구 사항에 대해 하나의 제공업체를 사용하고 다른 제공업체는 거의 사용하지 않습니다. 대부분의 이러한 사용 사례에서는 주 클라우드 호스팅 환경의 문제나 장애에 대한 백업으로 두 번째 클라우드 호스팅 환경을 구현합니다.

2018년에 멀티 클라우드 채택이 증가하는 한편, 조직은 채택한 전략이 각 클라우드 플랫폼의 채택 수준, 내부 사용량, 워크로드 요구 및 구현 비용을 측정하는지 여부에 대한 세부사항을 살펴 조정해야 할 것입니다.

70%의 기업이 2019년까지 멀티 클라우드 전략을 구현할 것입니다. (Gartner)

기술 기업의 최고 재무 책임자 74%가 클라우드 컴퓨팅이 2017년 비즈니스에 가장 큰 영향을 미칠 것이라고 말합니다. (Forbes)

최고 데이터 책임자의 부상

데이터 및 분석은 모든 조직의 핵심이 되고 있습니다. 이 점은 논쟁의 여지가 없습니다. 조직이 진화함에 따라 분석에 관한 새로운 수준의 전략적 집중과 책임감이 우선시되고 있습니다.

역사적으로 대부분의 비즈니스 인텔리전스 노력은 조직 전반의 데이터 자산을 표준화, 통합 및 관리하는 최고 정보 책임자(CIO)에게 부과되었는데, 그 임무를 수행하는 데에는 일관된 보고가 필요했습니다. 이는 데이터 거버넌스, 분석 모델 구축 등의 BI 추진 과제를 CIO의 권한 하에 있는 IT 아키텍처, 시스템 보안 또는 네트워크 전략 같은 다른 전략적 추진 과제와 경쟁하게 하였는데, 이로 인해 종종 BI의 성공과 영향력이 저해되었습니다.

때에 따라서는 인사이트 속도와 데이터 보안 및 거버넌스에 대해 CIO와 비즈니스 간에 이해가 상충하는 경우도 있었습니다. 따라서 분석 투자를 통해 데이터에서 실행 가능한 인사이트를 끌어내려면, 조직에서 분석 문화 조성을 위해 고위 경영진의 책임감이 필요하다는 인식이 점점 더 커지고 있습니다. 이에 대한 답으로 비즈니스 프로세스의 변화를 선도하고, 문화적 장벽을 극복하고, 조직의 모든 수준에서 분석의 가치를 전달하는 최고 데이터 책임자(CDO) 또는 최고 분석 책임자(CAO)를 임명하는 조직이 점차 증가하고 있습니다. 이를 통해 CIO는 데이터 보안과 같은 사안에 더 전략적인 초점을 맞출 수 있습니다.

CDO나 CAO가 임명되어 비즈니스 영향 및 결과 개선에 대한 책임을 부여받고, 또한 현대 조직에서의 데이터 및 분석의 전략적 가치를 입증합니다. 이제 고위 경영진은 분석 전략을 구현하는 방법에 대해 사전 대응적으로 전달합니다. CDO는 특정 보고서에 대한 요청을 기다리는 대신 "어떻게 하면 비즈니스 요구를 예측할 수 있습니까, 아니면 신속하게 적용할 수 있습니까?"라고 자문합니다.

고위 경영진의 관리하에 팀이 가장 효율적으로 운영 및 지원될 수 있도록 조직은 더 많은 돈과 자원을 제공합니다. Gartner에 따르면 대기업의 80%가 2020년까지 완벽히 운영되는 CDO 부서를 갖출 것입니다. 현재 부서당 평균 직원 수는 38명이지만 조사 대상 조직의 66%는 해당 사무실에 더 많은 예산을 할당할 것으로 예상하고 있습니다.

Tableau의 마켓 인텔리전스 담당 이사인 Josh Parenteau는 CDO의 역할은 "성과 중심"이라고 말합니다. 그는 "데이터 웨어하우스에 데이터를 저장하는 것이 다가 아니라 누군가가 데이터 웨어하우스를 사용하기를 바랍니다. 어디에 사용되는지 정의하고 사용자가 가치를 얻도록 하기 위해 팀이 존재하는 것입니다."라고 말합니다. 이러한 성과 중심은 특히 더 높은 고객 친밀도, 경쟁 우위의 강화, 향상된 효율성을 포함하는 Gartner의 2016년 CDO 설문 조사 결과의 가장 중요한 세 가지 목표에 부합하므로 더욱 더 중요합니다. 이러한 목표하에 Wells Fargo, IBM, Aetna, Ancestry 등의 기업은 데이터 전략을 다음 수준으로 끌어 올리려는 의도를 가지고, 2018년에는 최고 데이터 책임자의 역할을 비즈니스의 핵심으로 만들 CDO 제도를 서둘러 도입하고 있습니다.

2019년까지 대기업의 90%가 최고 데이터 책임자(CDO)를 두게 될 것입니다. (Gartner)

2020년까지 선도적인 조직의 50%가 CIO와 비슷한 수준으로 조직 전략에 대한 영향력과 권한을 가진 CDO를 두게 될 것입니다.

데이터 거버넌스의 미래는 크라우드소싱

최신 비즈니스 인텔리전스의 모습은 데이터 및 콘텐츠 통제로부터 비즈니스 사용자가 어디서든 신뢰할 수 있는 관리 가능한 데이터를 사용하여 인사이트를 얻을 수 있게 역량을 강화하는 것으로 진보해왔습니다. 그리고 사람들이 더 많은 상황에서 데이터를 사용하는 방법을 배우는 한편, 더 나은 거버넌스 모델에 대한 사용자의 의견은 조직 내에게 커다란 힘이 되어 왔습니다.

셀프 서비스 분석이 비즈니스 인텔리전스의 세계를 붕괴시켰다는 것은 일부분만 평가한 것입니다. 조직 전체에서 중요한 질문을 묻고 답하도록 유도하는 분석을 작성할 수 있는 능력을 가진 모든 사람으로 패러다임이 이동되었습니다. 거버넌스에서도 같은 변화가 일어나고 있습니다. 셀프 서비스 분석이 확장되면서 귀중한 관점과 정보의 경로가 거버넌스 구현을 위한 새롭고 혁신적인 방법을 발견하도록 이끕니다.

거버넌스는 대중의 지혜를 사용하여 잘못된 사람의 데이터를 차단하고 올바른 사람에게 올바른 데이터를 전달하는 것이라고 볼 수 있습니다.

비즈니스 사용자에게 있어, 가장 원치 않는 책임은 데이터의 보안입니다. 올바른 거버넌스 정책을 사용하면 비즈니스 사용자가 질문하고 그 질문에 답할 수 있으며, 동시에 필요할 때 필요한 데이터를 찾을 수 있게 할 수 있습니다.

BI 및 분석 전략은 최신 거버넌스 모델을 수용할 것입니다. IT 부서 및 데이터 엔지니어는 신뢰할 수 있는 데이터 원본을 관리하고 준비하며, 셀프 서비스가 주류인 상황에서 최종 사용자는 신뢰할 수 있고 안전한 데이터를 자유롭게 탐색하게 됩니다. IT 통제만을 다루는 하향식 프로세스는 IT와 최종 사용자의 재능을 결합하는 협업 공동 개발 프로세스의 우세로 사라질 것입니다. 보안에는 영향을 주지 않으면서, 분석의 비즈니스 가치를 극대화하는 규칙과 프로세스를 관리하고 작성하는 데 가장 중요한 데이터를 함께 식별해 나갈 것입니다.

데이터 사용자 중 45%가 양질의 데이터를 담고 있는 보고서는 절반도 채 안 된다고 말합니다. (Collibra)

고위 경영자 중 61%는 자사의 의사 결정이 부분적으로만 또는 드물게 데이터 기반으로 이뤄진다고 말합니다. (PwC)

보안 취약성으로 인한 데이터 보험 증가

많은 기업에서 데이터는 중요한 비즈니스 자산입니다. 그런데 그 데이터의 가치를 어떻게 측정하십니까? 데이터를 분실하거나 도난당한 경우 어떻게 됩니까? 최근 유명 기업들의 데이터 유출 사례를 보아도 알 수 있듯이, 회사 데이터에 대한 위협은 치명적이어서 브랜드에 돌이킬 수 없는 손상을 줄 수 있습니다.

Ponemon Institute의 2017년 연구에 따르면, 평균 데이터 유출에 따른 비용은 362만 달러로 추산되었습니다.

그러나 기업은 데이터를 보호하고 보장하기 위해 할 수 있는 모든 조치를 취하고 있을까요? 데이터 유출 사고에 대응하여 빠르게 성장하는 산업 중 하나는 사이버 보안 보험 시장입니다. 이 업계는 연간 성장률이 30%에 이르며, 2020년까지 연간 수입보험료가 56억 달러에 달할 것으로 예상하고 있습니다. (AON)

사이버 및 개인 정보 보험은 고객의 개인 정보가 해커에 의해 노출되거나 도난당한 데이터 유출에 대한 비즈니스 책임을 포함합니다.

그러나 시장의 성장과 계속되는 데이터 유출 위협에도 불구하고, 미국 기업 중 15%만이 데이터 유출 및 사이버 보안을 보장하는 보험에 가입하고 있습니다. 또한, 그 15%의 기업을 살펴보면 대다수가 대규모의 안정된 금융 기관입니다.

금융 기관의 보험 가입 필요성은 분명합니다. 하지만 아무도 데이터 유출의 위협으로부터 자유로울 수 없으므로 이러한 경향은 다른 유사 분야로 확대될 것입니다.

Gartner의 분석가인 Doug Laney는 최근 'Infonomics: How to Monetize, Manage, and Measure Information for Competitive Advantage(정보경제학: 경쟁 우위를 위한 정보의 상품화, 관리 및 측정 방법)'라는 제목의 책을 저술했습니다. 그는 모든 업계의 기업들이 어떻게 데이터 가치를 측정할 수 있는지에 대해 비재무적 모델과 재무 모델로 구분하여 제시합니다.

비재무적 모델은 데이터의 본질적인 가치, 비즈니스 가치 및 성과 가치에 중점을 둡니다. 이들을 기반으로 회사의 고유성, 정확성, 관련성, 내부 효율성 및 사용에 대한 전반적인 영향을 측정할 수 있습니다.

재무적 모델은 데이터의 비용 가치, 경제적 가치 및 시장 가치에 중점을 둡니다. 이들을 기반으로 데이터 수집 비용, 데이터의 내부적 관리 비용 및 데이터의 판매 또는 라이선스 가치를 측정할 수 있습니다.

상품으로서의 데이터는 그 가치가 계속 증가할 것이며, 궁극적으로 이 원자재가 어떻게 기업에게 더 높은 성장과 이점을 계속 기대하게 할 것인가에 관한 새로운 질문과 대화를 유도한다는 것을 의미합니다. 모든 상품이 그렇듯이, 대가를 치르지 않고 얻을 수 있는 상품이라면 무슨 도움이 되겠습니까?

평균 데이터 유출에 따른 비용은 362만 달러로 추산되었습니다. (Ponemon)

미국 기업 중 15%만이 데이터 유출 및 사이버 보안을 보장하는 보험에 가입하고 있습니다. (Ponemon)

데이터 엔지니어 역할의 중요성 증대

모든 차트를 작성하지 않고는 대시보드를 만들 수 없다는 것은 반론의 여지가 없으므로 이제 무슨 이야기를 하려는지 짐작하실 수 있습니다. 잘 알려진 또 다른 원칙은 시스템에 입력되는 데이터의 유형과 그것을 가져오는 방법을 먼저 이해하지 않고는 신뢰할 수 있는 데이터 원본을 보유할 수 없다는 것입니다.

데이터 엔지니어는 비즈니스에 관한 더 나은 의사 결정을 하기 위해 데이터를 사용하는 조직의 통합된 일부로서 계속 존재할 것입니다. 2013년과 2015년 사이의 데이터 엔지니어 수는 두 배 이상으로 증가했습니다. 2017년 10월 LinkedIn에는 '데이터 엔지니어'라는 제목으로 2,500 개가 넘는 구인 항목이 있었으며, 이는 이 분야에 대한 수요가 지속적으로 증가하고 있음을 나타냅니다.

그렇다면 이 역할은 무엇이며 왜 그렇게 중요할까요? 데이터 엔지니어는 비즈니스의 운영 및 분석 데이터베이스를 설계, 구축 및 관리하는 책임이 있습니다. 즉, 비즈니스의 기본 시스템에서 데이터를 추출할 때, 이들은 인사이트와 의사 결정을 내리는 데 활용 및 사용이 원활한 방식으로 추출이 이루어지도록 보장해야 할 책임이 있는 것입니다. 데이터 및 스토리지 용량이 증가함에 따라 다양한 시스템, 아키텍처에 대한 심층적인 기술 지식, 그리고 비즈니스에서 원하거나 필요로 하는 것을 이해하는 능력을 가진 사람의 중요성이 그 어느 때보다 더 부각되고 있습니다.

그런데, 데이터 엔지니어는 고유한 기술 역량을 필요로 합니다. 백엔드를 이해하고, 데이터의 내용 및 그것이 비즈니스 사용자를 어떻게 지원할 수 있는지 이해해야 합니다. 데이터 엔지니어는 또한 기술적 솔루션을 개발해서 데이터가 사용 가능해지도록 해야 합니다.

Tableau의 채용 관리자인 Michael Ashe는 "저는 새내기가 아닙니다. 17년이 넘게 기술직 채용에 종사해 왔습니다. 데이터 및 스토리지 용량이 지속적으로 증가한다는 것은 놀라운 일이 아닙니다. 저는 이것을 기술의 비약적인 발전 속에서 목도했습니다. 데이터는 늘 조정이 필요할 것입니다. 비즈니스는 이 역할에 연결되어야 합니다. 비즈니스 의사 결정을 내리기 위해서는 특정 데이터로 뛰어 들어 심층 분석해야 합니다. 데이터 엔지니어는 분명히 중요한 역할로서 계속 성장해 나갈 것입니다."

Gartner의 2016년 연구에 따르면, 조사에 응한 조직들은 열악한 데이터 품질 때문에 연평균 9백7십만 달러의 손실을 보고 있었습니다.

데이터 과학자와 분석가는 데이터를 정리하고 준비하는 데 80%에 달하는 업무 시간을 소진할 수 있습니다. (TechRepublic)

사물의 위치가 IoT 혁신을 주도

사물 인터넷(IoT)을 말할 때, 그 확산으로 인해 우리가 세상에서 볼 수 있는 연결 기기의 수가 엄청나게 증가했다고 말하는 것으로는 부족합니다. 이러한 모든 기기는 서로 상호작용하며 데이터를 캡처하여 더 많은 연결 환경을 만듭니다. 실제로 Gartner는 2020년까지 소비자가 사용할 수 있는 IoT 기기의 수가 두 배 이상 늘어나 '온라인에서 204억 개의 IoT 기기'를 사용할 것이라고 예측합니다.

이러한 성장에도 불구하고, IoT 데이터의 사용 사례와 구현은 바람직한 경로를 따르지 않았습니다. 기업은 보안에 대한 우려는 하지만, 대부분 적절한 기술이나 IoT 데이터를 지원할 응용 프로그램 및 플랫폼에 대한 내부 기술 인프라가 없습니다.

한 가지 긍정적인 동향으로 IoT 기기의 위치 기반 데이터를 활용하는 용도와 이점을 들 수 있습니다. '사물의 위치'라고 하는 이 하위 범주는 IoT 기기에 감지 기능을 제공하고 지리적 위치를 교신합니다. IoT 기기가 있는 위치를 알면, 컨텍스트를 추가하여 무슨 일이 일어나고 있는지 더 잘 이해할 수 있으며, 특정 위치에서 무슨 일이 일어날지 예측할 수 있습니다.

이러한 데이터 수집을 모색하는 회사 및 조직을 보면, 서로 다른 기술이 사용되는 것을 봅니다. 예를 들어 병원, 상점 및 호텔에서는 GPS로 상황에 맞는 위치 정보를 제공하기가 어려웠던 실내 위치 서비스에 저전력 블루투스(BLE) 기술을 사용하기 시작했습니다. 이 기술은 특정 자산, 사람을 추적하고, 개인화된 환경을 제공하도록 스마트 워치, 배지 또는 태그와 같은 모바일 기기와 상호 작용하는 데도 사용될 수 있습니다.

데이터 분석과 관련되어 있으므로, 위치 기반 수치는 입력 대 결과로 볼 수 있습니다. 데이터만 주어진다면, 분석가는 이 정보를 분석에 통합하여 현재 진행되는 상황, 발생 위치 및 해당 영역에서 발생할 것으로 예상되는 사항을 더 잘 이해할 수 있습니다.

IoT 설치 및 연결은 계속 증가하여 2020년에는 300억 끝점에 달할 것입니다. (IDC)

IoT는 2020년 말까지 50억 달러를 초과하며 급성장할 것으로 예상됩니다. (Gartner)

대학에 데이터 과학 및 분석 프로그램 증가

노스캐롤라이나 주립 대학은 최초로 분석학 석사(MSA: Master of Science Analytics) 과정을 개설한 학교입니다. MSA는 동 대학의 IAA(Institute of Advanced Analytics) 소속으로, '세계 최고의 분석 실무자, 즉 대규모 데이터 모델링을 위한 복잡한 방법과 도구를 숙달하고, 어려운 문제를 해결하는 데 열정이 있는 사람을 양성'하는 사명을 가진 데이터 허브입니다. 학계 최초인 노스캐롤라이나 주립 대학의 프로그램은 데이터 과학 및 분석 교과 과정에 대한 학계의 투자를 예고했습니다.

올해 초 UC 샌디에고는 데이터 과학 전공 및 부전공 과정을 학부에 신설했습니다. 거기서 그치지 않고, 동 대학은 또한 졸업생 기부금 출자로 데이터 과학 연구소를 만들 계획을 세웠습니다. 선례를 따라 UC 버클리, UC 데이비스, UC 산타크루즈는 학생들을 위해 데이터 과학 및 분석 과목을 늘렸는데, 모두 기대보다 많은 학생이 몰렸습니다. 왜 그럴까요?

최근의 PwC 연구에 따르면, 2021년까지 고용주의 69%가 입사 지원자에게 데이터 과학 및 분석 기술을 요구할 것으로 보입니다. 2017년에 Glassdoor 또한 '데이터 과학'이 2년 연속 '최고의 직업'이라고 보고했습니다. 고용주의 요구가 증가함에 따라, 고도로 숙련된 데이터 전문가의 수요를 긴급하게 채워야 하는 상황이 더욱 심각하게 대두됩니다. 그러나, 현실과는 거리가 있습니다. 앞서 인용한 PwC의 보고서에 따르면, 대학 졸업자의 23%만이 고용주의 요구 수준에 맞는 필요한 기술을 보유하게 될 것이라고 합니다. 최근의 MIT 조사에 따르면 관리자의 40%가 분석 인재를 채용하는 데 어려움을 겪고 있습니다.

분석 기술은 더 이상 선택 사항이 아니라 필수입니다. 2018년에는 학생들이 최신 기술 요구사항을 확실히 충족하도록 할 더 철저한 접근법이 등장할 것입니다. 기업이 데이터를 최대한 활용하기 위해 데이터를 계속 정제하는 한, 데이터에 정통한 인력에 대한 수요는 계속 존재할 것이며 더 늘어날 것입니다.

2021년까지 고용주의 69%가 입사 지원자에게 데이터 과학 및 분석을 필수 기술 요건으로 요구할 것으로 보입니다. (PWC)

최근의 MIT 조사에 따르면 관리자의 40%가 분석 인재를 채용하는 데 어려움을 겪은 적이 있습니다. (MIT)