soni-log

안녕하세요! 오늘은 Databricks의 The Data Lakehouse Platform For Dummies를 기반으로 데이터 레이크하우스(Lakehouse)의 핵심 개념과 가치에 대해 깊이 있고 자세하게 정리해 보았습니다. 제가 스터디를 할 겸 정리해 보았으니 여러분께도 도움이 되었으면 합니다! 😊✅ 데이터 관리의 한계와 변화1. 전통적인 데이터 관리 방식의 한계관계형 데이터베이스(RDB): 데이터 관리의 초창기에는 RDB가 주요 수단이었습니다. SQL을 기반으로 정형화된 데이터를 수집하고 분석하는 방식으로, 소규모 데이터에는 효과적이었지만, 데이터의 양과 형태가 다양해지면서 한계를 드러냈습니다. 특히, 비정형 데이터나 대규모 데이터 분석에는 적합하지 않았습니다.데이터 웨어하우스(DW): 데이터를..

안녕하세요! 오늘은 Databricks의 공식 고객 사례를 바탕으로, 다양한 산업 분야에서 어떻게 데이터와 AI를 활용해 혁신을 이루고 있는지 소개해 보겠습니다. Databricks가 제공하는 데이터 레이크하우스 플랫폼이 실제 비즈니스에서 어떤 성과를 이루었는지 함께 살펴볼까요?1. Shell: 에너지 산업의 AI 혁신문제점: 석유와 가스 산업은 대규모 설비와 복잡한 공급망을 관리해야 하는 과제가 있습니다. Shell은 방대한 데이터 분석과 AI 기술을 통해 효율성을 극대화하고자 했습니다.Databricks 활용: Shell은 Databricks를 사용하여 100개 이상의 AI 프로젝트를 진행하고, 데이터 분석을 통해 설비 운영을 최적화했습니다. 이를 통해 장비 고장 예측, 유지보수 비용 절감 등 실질적..

안녕하세요! 오늘은 Databricks의 Data + AI Summit에서 발표된 "Democratizing LLMs with MosaicML and Databricks" 세션을 바탕으로 포스팅을 준비해 보았습니다. LLM(대규모 언어 모델)의 민주화가 어떻게 이루어지고 있는지, 그리고 Databricks와 MosaicML이 어떤 역할을 하는지 함께 알아보세요!왜 LLM의 민주화가 필요한가?대규모 언어 모델(LLM)은 지금까지 AI 혁신의 핵심 기술로 자리 잡았습니다. 하지만 고성능 LLM을 구축하고 활용하는 데는 높은 비용과 기술적 장벽이 존재했습니다.데이터 요구량: LLM을 학습시키려면 수십에서 수백 테라바이트의 데이터가 필요합니다.컴퓨팅 리소스: 방대한 GPU 리소스가 필요하며, 이는 막대한 비용을..

안녕하세요! 오늘은 데이터브릭스(DataBricks)의 Ali Ghodsi가 전하는 Data + AI World Tour 키노트 내용을 한국어로 쉽게 정리해 보았습니다. "데이터 레이크하우스(Data Lakehouse)"라는 개념이 궁금하시다면, 지금 바로 함께 알아보세요!데이터와 AI로 산업을 혁신한 기업들우리가 잘 아는 구글, 페이스북 같은 기업들은 데이터와 AI 덕분에 산업을 혁신하며 성장해 왔습니다. 그리고 이제는 대기업들도 데이터와 AI를 통해 놀라운 성과를 내고 있습니다. 대표적인 사례 3가지를 소개합니다.1. 헬스케어: Regeneron환자 데이터와 유전체 정보를 데이터브릭스 레이크하우스에 저장하여 머신러닝을 통해 유전체를 600배 빠르게 분석.이를 통해 만성 간질환 관련 유전체를 발견하고,..

꿈의 기업 구글! 구글 서울 지사의 2025년 각 포지션에서 수행하는 구체적인 업무와 요구되는 역량을 분석하고, 요즘 구글이 선호하는 인재상 트렌드를 정리해봤어요! (출처: Google Careers)📌 주요 채용 포지션 분석1️⃣ Strategic Partner Development Manager, Sellside Monetization광고와 관련된 전략적인 파트너를 찾아내고, 광고 수익화 전략을 세우는 역할이에요. 고객 기업과 깊이 있는 협력 관계를 만드는 것이 핵심!2️⃣ Software Engineer, ML Compilers, Silicon머신러닝 모델 성능을 극대화하는 컴파일러를 개발하는 엔지니어링 중심의 역할이에요. 하드웨어와 소프트웨어의 최적화를 넘나드는 기술력을 요구하는 포지션이랍니다...

PySpark에서 **Schema(스키마)**란 DataFrame의 구조(컬럼명, 데이터 타입, Null 허용 여부 등)를 정의하는 정보를 의미합니다.데이터 분석을 할 때, 데이터의 형식을 미리 확인하고 관리하는 것은 매우 중요합니다.이번 글에서는 PySpark에서 스키마를 다루는 방법을 정리해 보겠습니다.1. Schema 확인하기PySpark에서는 printSchema()를 사용하여 DataFrame의 스키마를 쉽게 확인할 수 있습니다.DataFrame의 스키마를 출력하는 기본적인 방법은 printSchema()입니다.예를 들어, 아래와 같은 JSON 파일을 불러왔다고 가정하겠습니다. [ {"name": "Michael", "age": null},{"name": "Andy", "age": 30},{"n..

2025년, 데이터 분석가(Data Analyst)에게 가장 중요한 질문은 "내가 어디에서 일해야 최고의 커리어를 쌓을 수 있을까?" 입니다.데이터 산업이 AI·클라우드·실시간 분석 중심으로 빠르게 변화하면서, 단순 분석을 넘어 비즈니스 가치 창출이 가능한 분석가를 원하는 기업들이 늘어나고 있습니다.오늘, 최고의 헤드헌터 관점에서 2025년 한국에서 가장 유망한 데이터 분석가 커리어를 정리해드립니다.어떤 기업들이 분석가를 필요로 하고, 어떤 스킬셋이 각광받을지 지금부터 살펴보겠습니다! 🚀📌 2025년, 데이터 분석가에게 가장 유망한 직무 & 산업데이터 분석가(Data Analyst)는 업계에 따라 요구되는 역할이 크게 다릅니다.단순한 데이터 리포팅이 아니라, AI 활용, 클라우드 환경, 비즈니스 전략..

데이터는 더 이상 저장하는 것이 아니라 활용하는 시대입니다. 기업들은 단순 데이터 보관을 넘어, AI·머신러닝을 활용한 실시간 분석과 의사결정 자동화로 경쟁력을 확보하고 있습니다. 그렇다면 이 데이터 혁신을 이끄는 글로벌 기업들은 누구일까요? 🔥지금부터 데이터 클라우드 및 분석 플랫폼 업계를 한눈에 정리하고, 한국 시장에서 이들이 어떻게 자리 잡고 있는지 살펴보겠습니다! 😊🔥 글로벌 데이터 클라우드 & AI 분석 플랫폼 기업회사매출 규모 (2024년 기준)주요 특징주요 채용 분야한국 진출 연도한국 지사 위치AWS (Amazon Web Services)약 1,052억 달러클라우드 인프라, AI/ML 서비스, 데이터 분석 플랫폼클라우드 솔루션 아키텍트, 데이터 엔지니어, 세일즈 엔지니어2013년강남Mi..

컨설팅 업계는 전략(Strategy), 회계·재무(Accounting & Financial Advisory), IT, HR 등 다양한 분야로 나뉘며, 글로벌 컨설팅 회사들은 명확한 티어(Tier)로 구분됩니다. 하지만 전략 컨설팅과 회계·재무 컨설팅은 엄연히 다른 영역이므로, Big 4와 같은 회계 기반 컨설팅 회사들의 순위를 전략 컨설팅과 동일하게 보기는 어렵습니다. 이에 대한 구분을 명확히 하여 정리해보겠습니다. 💡🔥 글로벌 컨설팅 업계의 티어 구분컨설팅 업계는 일반적으로 Top-Tier(전략 컨설팅), Second-Tier 전략 컨설팅, Big 4(회계·재무 컨설팅), IT 컨설팅으로 나눌 수 있습니다.1️⃣ MBB (Top-Tier 전략 컨설팅) 🏆회사본사 위치한국 진출 연도주요 특징한국 내..

클라우드 세상에서 서버를 고민할 때 **가상 서버(Virtual Server)**와 **물리 서버(Physical Server)**의 차이를 이해하는 건 필수죠! 🧐 "물리 서버가 좋을까? 가상 서버가 좋을까?" 고민하신다면, 이 글을 끝까지 읽어보세요. 가상 서버와 물리 서버를 단독주택과 아파트에 빗대어 쉽고 재미있게 설명해 드릴게요! 🏠🏢 🎭 물리 서버 vs. 가상 서버, 어떤 차이가 있을까?✅ 물리 서버(Physical Server)란?물리 서버는 우리가 흔히 생각하는 컴퓨터 서버예요. 실제 하드웨어를 기반으로 하나의 운영체제(OS)와 서비스가 돌아가죠. 그리고 실제 공간을 차지한다는 점이 가장 큰 특징이에요. 서버는 그냥 전자 공간 속에 있는 게 아니라, 거대한 데이터센터 안에서 자리 잡고..