soni-log

안녕하세요! 오늘은 Databricks의 The Data Lakehouse Platform For Dummies를 기반으로 데이터 레이크하우스(Lakehouse)의 핵심 개념과 가치에 대해 깊이 있고 자세하게 정리해 보았습니다. 제가 스터디를 할 겸 정리해 보았으니 여러분께도 도움이 되었으면 합니다! 😊✅ 데이터 관리의 한계와 변화1. 전통적인 데이터 관리 방식의 한계관계형 데이터베이스(RDB): 데이터 관리의 초창기에는 RDB가 주요 수단이었습니다. SQL을 기반으로 정형화된 데이터를 수집하고 분석하는 방식으로, 소규모 데이터에는 효과적이었지만, 데이터의 양과 형태가 다양해지면서 한계를 드러냈습니다. 특히, 비정형 데이터나 대규모 데이터 분석에는 적합하지 않았습니다.데이터 웨어하우스(DW): 데이터를..

안녕하세요! 오늘은 Databricks의 공식 고객 사례를 바탕으로, 다양한 산업 분야에서 어떻게 데이터와 AI를 활용해 혁신을 이루고 있는지 소개해 보겠습니다. Databricks가 제공하는 데이터 레이크하우스 플랫폼이 실제 비즈니스에서 어떤 성과를 이루었는지 함께 살펴볼까요?1. Shell: 에너지 산업의 AI 혁신문제점: 석유와 가스 산업은 대규모 설비와 복잡한 공급망을 관리해야 하는 과제가 있습니다. Shell은 방대한 데이터 분석과 AI 기술을 통해 효율성을 극대화하고자 했습니다.Databricks 활용: Shell은 Databricks를 사용하여 100개 이상의 AI 프로젝트를 진행하고, 데이터 분석을 통해 설비 운영을 최적화했습니다. 이를 통해 장비 고장 예측, 유지보수 비용 절감 등 실질적..

안녕하세요! 오늘은 Databricks의 Data + AI Summit에서 발표된 "Democratizing LLMs with MosaicML and Databricks" 세션을 바탕으로 포스팅을 준비해 보았습니다. LLM(대규모 언어 모델)의 민주화가 어떻게 이루어지고 있는지, 그리고 Databricks와 MosaicML이 어떤 역할을 하는지 함께 알아보세요!왜 LLM의 민주화가 필요한가?대규모 언어 모델(LLM)은 지금까지 AI 혁신의 핵심 기술로 자리 잡았습니다. 하지만 고성능 LLM을 구축하고 활용하는 데는 높은 비용과 기술적 장벽이 존재했습니다.데이터 요구량: LLM을 학습시키려면 수십에서 수백 테라바이트의 데이터가 필요합니다.컴퓨팅 리소스: 방대한 GPU 리소스가 필요하며, 이는 막대한 비용을..

안녕하세요! 오늘은 데이터브릭스(DataBricks)의 Ali Ghodsi가 전하는 Data + AI World Tour 키노트 내용을 한국어로 쉽게 정리해 보았습니다. "데이터 레이크하우스(Data Lakehouse)"라는 개념이 궁금하시다면, 지금 바로 함께 알아보세요!데이터와 AI로 산업을 혁신한 기업들우리가 잘 아는 구글, 페이스북 같은 기업들은 데이터와 AI 덕분에 산업을 혁신하며 성장해 왔습니다. 그리고 이제는 대기업들도 데이터와 AI를 통해 놀라운 성과를 내고 있습니다. 대표적인 사례 3가지를 소개합니다.1. 헬스케어: Regeneron환자 데이터와 유전체 정보를 데이터브릭스 레이크하우스에 저장하여 머신러닝을 통해 유전체를 600배 빠르게 분석.이를 통해 만성 간질환 관련 유전체를 발견하고,..

PySpark에서 **Schema(스키마)**란 DataFrame의 구조(컬럼명, 데이터 타입, Null 허용 여부 등)를 정의하는 정보를 의미합니다.데이터 분석을 할 때, 데이터의 형식을 미리 확인하고 관리하는 것은 매우 중요합니다.이번 글에서는 PySpark에서 스키마를 다루는 방법을 정리해 보겠습니다.1. Schema 확인하기PySpark에서는 printSchema()를 사용하여 DataFrame의 스키마를 쉽게 확인할 수 있습니다.DataFrame의 스키마를 출력하는 기본적인 방법은 printSchema()입니다.예를 들어, 아래와 같은 JSON 파일을 불러왔다고 가정하겠습니다. [ {"name": "Michael", "age": null},{"name": "Andy", "age": 30},{"n..

클라우드 세상에서 서버를 고민할 때 **가상 서버(Virtual Server)**와 **물리 서버(Physical Server)**의 차이를 이해하는 건 필수죠! 🧐 "물리 서버가 좋을까? 가상 서버가 좋을까?" 고민하신다면, 이 글을 끝까지 읽어보세요. 가상 서버와 물리 서버를 단독주택과 아파트에 빗대어 쉽고 재미있게 설명해 드릴게요! 🏠🏢 🎭 물리 서버 vs. 가상 서버, 어떤 차이가 있을까?✅ 물리 서버(Physical Server)란?물리 서버는 우리가 흔히 생각하는 컴퓨터 서버예요. 실제 하드웨어를 기반으로 하나의 운영체제(OS)와 서비스가 돌아가죠. 그리고 실제 공간을 차지한다는 점이 가장 큰 특징이에요. 서버는 그냥 전자 공간 속에 있는 게 아니라, 거대한 데이터센터 안에서 자리 잡고..

지금까지 공부한 내용을 바탕으로 저는 이런 결론을 내렸어요. 흠.. 그렇다면.. 데이터브릭스는 배달의민족 같은걸까요? 정답은 No!Databricks는 배달의민족보다는 피자 가게(서버) 운영을 쉽게 만들어 주는 "프랜차이즈 본사" 같은 역할을 해요. 🍕🏢 📌 비유로 설명하면:서버(Server) = 피자 가게 (건물 + 주방 + 요리사)리눅스(Linux) = 주방 (요리를 할 수 있는 환경, 즉 운영체제)Spark = 요리사 팀 + 자동 요리 기계 (데이터를 빠르게 처리하는 연산 엔진)Databricks = 피자 가게 운영을 쉽게 해주는 프랜차이즈 본사 (자동화, 효율적인 관리, 손쉬운 확장 지원) 🚀 Databricks의 역할은? 배달의민족(배달 플랫폼)은 개별 음식점과 고객을 연결해 주는 서비스..

🍽 "스파크(Spark)"는?스파크는 데이터를 빠르게 처리하는 분산 연산 엔진으로, 마치 요리를 담당하는 조리 도구와 요리사 팀과 같습니다. 🍳👨‍🍳🎯 비유 정리개념실제 역할비유서버 (AWS EC2, EMR)데이터를 처리하는 환경요리를 할 수 있는 주방 (식당)데이터 (S3, HDFS)저장된 원재료창고에 보관된 식재료Spark데이터를 빠르게 처리하는 분산 연산 엔진주방의 요리사 팀 + 자동 요리 기계DatabricksSpark를 쉽게 사용할 수 있도록 관리해 주는 플랫폼배달 주문이 자동화된 프랜차이즈 시스템🍳 Spark = "주방의 요리사 + 자동 요리 시스템"스파크는 한 명의 요리사가 요리를 하는 것이 아니라,여러 명의 요리사가 동시에 나눠서 요리하는 시스템이라고 생각하면 됩니다. 만약 한 ..

🍽 데이터브릭스를 "요리 배달 시스템"에 비유해보자!데이터브릭스(Databricks)는 Spark를 더 쉽게 사용하도록 도와주는 플랫폼이에요.AWS, Azure 같은 클라우드에서 Spark를 직접 설정하려면 서버 구성, 데이터 저장소 연결, 보안 설정 등을 다 해야 하지만,데이터브릭스는 이를 자동화해서 쉽게 관리할 수 있도록 해줘요. 📌 비유적으로 설명하면…AWS의 EC2 + Spark = 내가 직접 레스토랑(서버)를 차리고 요리(Spark)도 해야 하는 상황데이터브릭스 = 배달 전문 프랜차이즈 시스템을 이용해서 쉽게 요리(Spark)를 할 수 있는 환경을 제공하는 것!🍕 데이터브릭스의 역할을 요리 배달 시스템으로 이해해보자!개념 일반 Spark 환경 (AWS EMR, EC2) 데이터브릭스 (Da..

🎭 서버를 ‘레스토랑’에 비유해 보자!서버(Server)를 하나의 레스토랑이라고 생각해 볼게요.아무래도 전문적인 용어로만 설명을 하니 이해가 어려웠거든요!클라이언트(Client)는 레스토랑에 온 손님이에요.손님(클라이언트)은 음식을 주문하고, 레스토랑(서버)은 그 주문을 받아서 요리를 만들어 제공해요!🍽 서버의 역할 = 레스토랑의 역할 개념 레스토랑 비유 실제 서버 개념 서버(Server)요리를 만들어주는 레스토랑데이터를 제공하는 컴퓨터클라이언트(Client)음식을 주문하는 손님서버에 요청을 보내는 사용자요청(Request)"파스타 주세요!""이 웹페이지를 보여줘!"응답(Response)파스타 요리를 제공웹페이지 데이터 또는 결과 제공데이터 저장소 (DB, 파일 시스템)레스토랑의 창고 (재료 보관..