반응형 전체 글743 mac 잠자기 모드 허용/비허용 잠자기 모드 금지sudo pmset -a disablesleep 1잠자기 모드 허용sudo pmset -a disablesleep 0 2025. 6. 6. SQL이 가물가물? 강의 추천! SQL기초 학습을 위해 아래의 강의를 신청하였습니다:)들어보니 꼼꼼하게 기초를 잘 알려줍니다.쿠폰도 주고 있으니 관심있으신분들은 고고씽~🚀 SQL, 이제는 선택이 아닌 필수입니다.데이터는 모든 산업과 직무에서 가장 중요한 자산입니다.그리고 그 데이터를 자유롭게 다루는 능력, 바로 SQL이 그 시작입니다.📘 이번에 제가 만든 강의오라클 SQL 완전 정복: 입문부터 실무까지는 SQL이 처음이신 분도, 다시 기초를 정리하고 싶은 분도실제로 “손에 익는 실력”을 쌓을 수 있도록 설계했습니다.💡 이 강의에서는SELECT 문 기본 구조부터다양한 조건 필터링 (WHERE, LIKE, IN, BETWEEN, IS NULL)데이터 삽입·수정·삭제(DML)사용자 권한 관리(DCL), 트랜잭션 처리(TCL)까지하나씩 .. 2025. 6. 2. 서버 교체 작업 시 Decommission한 뒤에 Recommission을 하는 이유? 서버 교체 작업시YARN의 NodeManager와 HBase의 RegionServer는 서버를 Stop하고 삭제하면 되는데HDFS의 DataNode 작업 시에는 Decommission을 한 뒤에 Recommission 후에 삭제를 합니다.왜 그럴까요??Decommission을 하면 이미 해당 노드는 제외된 상태 입니다. 바로 삭제해도 무관 합니다. Decommissioning을 하면서 위의 Number of Under-Replicated Blocks의 수가 줄어듭니다.dfs.hosts.exclude에 제외시킨 도메인들이 있습니다.Recommission하지 않으면 서버에 들어가서 삭제를 해줘야합니다.나중에 사용한다고 하면 그냥 나둬도 되겠지만 서버교체 작업이기 때문에 수동삭제 또는 Recommission으.. 2025. 5. 20. k8s liveness probe & readiness probe 간단 정리! 항목liveness probereadiness probe뭐하는 녀석들인가?마! 니 살아있나?마! 니 준비됐나?목적컨테이너가 죽었는지 판단 -> 필요시 재시작컨테이너가 트래픽을 받을 준비가 됐는지 판단실패 시kubelet이 Pod를 강제 재시작Service에서 제외되고 트래픽 안줌다시 성공하면?Pod 재시작 후 새로 판단트래픽 다시 연결 됨livenessProbe: httpGet: path: /healthz port: 9999 scheme: HTTP timeoutSeconds: 5 periodSeconds: 10 successThreshold: 1 failureThreshold: 310초마다 /healthz에 요청5초내에 응답이 없으면 실패로 간주!3번 연속 실패하면.. 2025. 5. 19. Akka HelloWorld(Akka HTTP + Akka Actor연동) Akka HelloWorld 구현build.sbtThisBuild / version := "0.1.0-SNAPSHOT"ThisBuild / scalaVersion := "3.3.5"lazy val root = (project in file(".")) .settings( name := "HelloAkka", idePackagePrefix := Some("com.daum.www") )libraryDependencies ++= Seq( "com.typesafe.akka" %% "akka-actor" % "2.6.20")Akka System Source package net.daum.wwwimport akka.actor.{Actor, ActorRef, ActorSystem, Props}// 메시.. 2025. 4. 15. Akka Classic 뽀개기_Actors(1~4. Actor API) Classic Actors이제 Akka Actor에 대해서 살펴보도록 하겠습니다.우리가 학습해야할 내용은 위의 스크린샷과 같습니다.1. Module info먼저 모듈정보는 디펜던시와 같습니다.스프링프레임워크로보면 maven이나 gradle에서 디펜던시 설정을 통해필요한 lib를 끌어오는 설정이라고 보시면 됩니다.2. IntroductionActor Model은 동시 및 분산 시스템을 작성하기 위한 더 높은 수준의 추상화를 제공합니다. 개발자가 명시적 잠금 및 스레드 관리를 처리하지 않아도 되므로 올바른 concurrent 및 parallel 시스템을 작성하기가 더 쉬워집니다. Actor는 1973년 Carl Hewitt의 논문에서 정의되었지만 Erlang 언어로 대중화되었으며 예를 들어 Ericsson에.. 2025. 4. 10. case class와 companion object 그리고 case object 아직 소스를 제대로 보진 못했지만case class와 companion object이 친구들이 매우 핵심적인 역할을 하는것 같습니다.일단 두 친구들의 역할과 특징에 대해서 알아보겠습니다.역할 분리와 관심사의 분리case class는 주로 데이터를 담는 “모델” 역할을 합니다.불변성을 유지하고, equals, hashCode, toString과 패턴 매칭에 유용한 unapply 메소드를 자동으로 생성 합니다.companion object는 그 case class와 관련된 부가 기능(예: 팩토리 메소드, 유틸리티 함수, 상수 등)을 제공 합니다.이를 통해 인스턴스 생성 방식이나 초기화 로직을 캡슐화할 수 있습니다.자동 코드 생성case class를 선언하면, 컴파일러가 companion object 안에 기.. 2025. 3. 31. companion class와 companion object이 차이점은? companion obejct만 알고 있었는데 갑자기 companion class라는게 나와서..갑자기 머릿속에서 헷깔림이라는게 찾아왔습니다..;;우선! 스칼라에서 헷깔리만한 친구들을 정리해보자!용어 정리용어정의class일반 클래스, 인스턴스를 직접 만들 수 있음case class데이터 중심 클래스, 불변성과 편의 기능 자동 제공companion classcompanion object랑 짝인 class (클래스 이름이 동일)companion object와 이름이 같고, 같은 파일에 있는 클래스object싱글톤 객체, 인스턴스 없음, 전역 유틸/설정 용companion objectclass랑 같은 이름, 같은 파일에 있는 objectapply, unapplyobject에 정의되는 팩토리/패턴 매칭 기능*.. 2025. 3. 31. Akka에서 Actor 생성 시 금지하는 방식 Akka를 살펴보고 있는데 아래의 Props방식에서 new 연산자로 객체를 만들어서 만드는 방식을 금하고 있었다.// NOT RECOMMENDED within another actor:// encourages to close over enclosing classval props7 = Props(new MyActor)이 방식은 다른 Actor 내부에서 사용하는 것을 권장하지 않는다.이유는 Props 객체가 직렬화가 불가능Actor의 캡슐화 원칙이 깨질수 있음.예를 들어서 아래의 소스에서 new MyActor를 인자로 넣었다고 했을 때class ParentActor extends Actor { val someState = "important info" def receive = { case "spaw.. 2025. 3. 27. Akka Classic 뽀개기_Overview Akka Classic은 크게 4가지 입니다.해당 4가지를 조금 디테일하게 보면 아래와 같습니다.우선 Akka의 가장 핵심인 Actors에 대해서 알아보겠습니다.DependencyClassic ActorsClassic SupervisionClassic Fault ToleranceClassic DispatchersClassic MailboxesClassic RoutingClassic FSMClassic PersistenceTesting Classic Actorslanguage는 Scala로 진행!!우선은 가장 간단한 디펜던시 설정 입니다.DependencyThe Akka dependencies are available from Akka’s library repository. To access them th.. 2025. 3. 26. Akka Classic Akka를 학습하려고보니..버전에 따라 2가지가 있었습니다.Akka Classic과 Akka Typed 입니다.현재 회사에서는 Classic을 사용하고 있습니다.참고 : https://doc.akka.io/libraries/akka-core/current/index-classic.htmlAkka Classic은 원래의 액터 API(기존 방식)를 말합니다.즉, Akka가 처음부터 제공하던 액터 시스템 방식이 “클래식”이라고 불립니다.이 기존 API는 더 타입 안전하고, 가이드가 잘 되어 있는 새로운 액터 API로 개선되었습니다.Akka Typed처럼 컴파일 타임에 타입 체크가 가능한 방식으로 발전했습니다.Akka Classic도 여전히 완전히 지원되며, 기존 애플리케이션은 계속 이 클래식 API를 사용할 .. 2025. 3. 25. Akka HelloWorld Introduction to Actors이번 시간에는 Helloworld 프로젝트를 통해서 actor APIs를 살펴보고 동작을 체크 합니다.Module inforesolvers += "Akka library repository".at("https://repo.akka.io/maven")val AkkaVersion = "2.10.2"libraryDependencies ++= Seq( "com.typesafe.akka" %% "akka-actor-typed" % AkkaVersion, "com.typesafe.akka" %% "akka-actor-testkit-typed" % AkkaVersion % Test)아래는 실제 프로젝트의 build.sbt의 내용Akka ActorsActor Model은 동.. 2025. 3. 24. Scala를 처음 접하는 초보자를 위한 입문 가이드_01 스칼라 스터디guide doc : https://docs.scala-lang.org/tour/tour-of-scala.htmlscope : Introduction, Basic, Unified Types, Classes IntroductionScala란 무엇인가?Scala는 모던한 다중 패러다임 프로그래밍 언어로,일반적인 프로그래밍 패턴을 간결하고 우아하며, 타입 안정성(type-safe)을 유지하면서 표현할 수 있도록 설계되었습니다.Scala는 객체지향(Object-Oriented)과 함수형(Functional) 프로그래밍의 장점을 결합한 언어입니다.Scala는 객체지향 언어다Scala는 완전한 객체지향 언어입니다.• 모든 값이 객체이며,• 객체의 타입과 동작(behavior)은 클래스(Class)와 트.. 2025. 3. 21. 2) Apache HBase® Architecture HBase의 전체적인 구성요소들이 뭐가 있는지 아키텍처를 살펴보고 세부적으로 가이드문서를 통해 알아보도록 하겠습니다1. HBase 아키텍처 (HBase Architecture)설계 개념 (Design Idea)HBase는 분산 데이터베이스(Distributed Database)이며,클러스터 관리를 위해 ZooKeeper를 사용하고, HDFS를 기본 스토리지로 활용함.HBase 주요 구성 요소HMaster- Zookeeper에 의해 리더(Leader)로 선출됨- 클러스터 관리 및 메타데이터 관리 역할 수행HRegionServer (다수의 서버가 존재) - 데이터의 실제 저장 및 읽기/쓰기 요청 처리 - 각 RegionServer는 여러 개의 Region을 관리아래 그림에서는 HBase의 기본적인 구조를 나.. 2025. 3. 13. 1) Apache HBase® Architecture : Overview Apache HBase란?Apache HBase®는 Hadoop 데이터베이스로, 분산형이며 확장 가능한 빅데이터 저장소입니다.Apache HBase는 빅데이터에 대한 랜덤(random)하고 실시간(real-time) 읽기/쓰기 접근이 필요할 때 사용됩니다.이 프로젝트의 목표는 수십억 개의 행(row)과 수백만 개의 열(column)로 이루어진 매우 큰 테이블을일반적인 하드웨어(cluster of commodity hardware) 위에서 호스팅하는 것입니다.Apache HBase는 오픈소스 분산 버전 관리 비관계형 데이터베이스로,Google의 Bigtable을 모델로 개발되었습니다.(Bigtable: A Distributed Storage System for Structured Data, Chang et.. 2025. 3. 6. 2주차) 백엔드 개발자의 데이터플랫폼 온보딩! 2주차에 한 일서비스 가이드 정리 및 사용해보기 진행생각보다 봐야할께 많았다...그리고 정리를 하면서 전체적으로 다 따라하지는 못했다.디테일한 서비스 사용은 나중에 소스를 보면서 좀 더 deep하게 보자!한번 보고 한번 정리했다고해서 내것이 아니다. 생각나지 않을때마다 자꾸 보자! 2월이 지나갔다.3월부터는 스터디를 통해 학습하자!물론 나는 더 학습해보고 스터디 이외에도 관심을 가져야 한다.데이터플랫폼 관련 책을 하나 샀다.내용이 괜찮아서 샀는데 조금씩 보자!온보딩 3주차부터는 이제 기술 도메인이다.Scala, Hadoop, HBase, Kafka등 굵직한것부터 보자!3월1일~3일까지 조금이라도 학습해보자! 2025. 3. 1. 1주차) 백엔드 개발자의 데이터플랫폼 온보딩! 목표 생소한 비즈니스 도메인 파악! 1주차에 한 일2025.02.17 - [Data Platform/Backend to DataPlatform] - 백엔드 개발자가 데이터 플랫폼 팀으로 이동하면?2025.02.17 - [Data Platform/Backend to DataPlatform] - 데이터 플랫폼에서 데이터는 어떻게 흘러갈까?비즈니스 도메인 파악을 위해 업무 wiki 정리Sercie 사용해보기 wiki 정리마지막 Working Time!!Service 이용해보기!!ㄴ 서비스 이용해보기는 다음주 화요일까지 정리 마무리! 와..서비스 가이드문서를 보고 있는데 범위가 많다..ㅋㅋㅋㅋ이번주까지 정리!!!Next Plan기술 도메인 익히기!! 3월초 스칼라 스터디 진행! → 자바언어에서 스칼라언어 적응.. 2025. 2. 21. 데이터 플랫폼에서 데이터는 어떻게 흘러갈까? 데이터플랫폼이란?데이터의 수집, 스토리지, 정리, 변환, 분석 및 거버넌스를 가능하게 하는 기술 솔루션데이터플랫폼에는 하드웨어와 소프트웨어 구성요소가 모두 포함 될수 있음조직은 데이터를 좀 더 쉽게 사용하여 의사결정 및 운영을 개선할 수 있음데이터플랫폼의 유형엔터프라이즈 데이터플랫폼(EDP)빅데이터 플랫폼(BDP)클라우드 데이터 플랫폼(CDP)고객 데이터 플랫폼(CDP)데이터가 어떻게 흘러가는지 이해하기Data Platform Architecture효과적인 데이터 관리를 구성하는 5가지 주요 계층1) Data Ingestion Layer(데이터 수집)2) Data Storage Layer(데이터 저장)3) Data Processing Layer(데이터 처리)4) User Interface Layer(사용.. 2025. 2. 17. 백엔드 개발자가 데이터 플랫폼 팀으로 이동하면? 첫번째, 마음가짐처음은 다 어렵다 아직 익숙치 않아서 어렵다.설레임 반 두려움 반 그러나 금방 적응할 것이다.빠른 빌드업을 통해 내껄로 만들자! ㅈㄴ 재밌다!!! 두번째, 비즈니스, 기술 도메인 파악!여기서 도메인이란 특정한 업무영역(비즈니스 도메인)과 기술영역(기술 도메인)을 의미비즈니스 도메인 : 특정산업이나 업무분야를 의미하며 고객에게 제공하는 서비스를 의미 함.예) 이마트는 유통서비스를 제공, KT는 통신 서비스를 제공, 토스뱅크는 은행 서비스를 제공검색서비스 안에 하위 도메인으로 보면 웹 서비스 제공 → 데이터플랫폼 서비스 제공기술 도메인기존 : Spring Boot 기반 웹 API 개발 → 웹 서비스 중심지식그래프를 구축하고 이를 기반으로 데이터를 서빙검색 성능 최적화 및 연관성 높은 결과 제.. 2025. 2. 17. 새로운 도메인을 마주하게 되었다. Java+Spring Framework기반의 웹 기술기반으로 개발을 해왔었는데이번에 생소하지만 재밌을것 같은 비즈니스 도메인&기술 도메인을 하는 곳으로 이동하게 되었습니다.대용량처리를 하는 기술을 다루는 곳이 한정적이라 배울수 있는 기회가 없었는데 기회가 생겨서 이동하기로 마음 먹었습니다. 회고좋았던 점이전 팀에서는 자바 백엔드 위주로 지식그래프기반 서빙을 위한 작업과 리액트 기반 운영툴 개발을 함.백엔드는 Spring Boot 기반 JPA, Redis, MySQL, GraphQL등을 사용해서 개발을 진행 함.리액트라는걸 처음 해보아서 좋았음! 또한 개인프로젝트에도 리액트+스프링 조합으로 개발해서 시놀리지에 서빙 함!2024.08.17 - [역량 UP!/Business] - 1) ENS Project -.. 2025. 2. 14. 17) ENS Project - 시놀리지 NAS에서 스케줄러 돌리기! 상품이 업데이트 되면 배치Job이 돌아서 업데이트를 해줘야하는 작업이 있습니다.그래서 시놀리지 나스에서 스커줄러를 사용하게 되었습니다.크론탭으로 하려고 했는데 크론탭이 없었습니다ㅋㅋ작업스케줄러 > 생성 > 트리거된 작업 > 사용자 정의 스크립트사용자 정의 스크립트를 작성해주시면 됩니다.#!/bin/bashwhile true; do curl -X GET "http:블라블라/batchMakeOptionApiData" -H "Content-Type: application/json" echo "Request sent at: $(date)" sleep 600 # 10분 (600초) 대기done결과 batch job 끝~will do로는 오래된 데이터를 삭제해야겠군요! :) 단, 하나는 남겨두고요ㅋㅋ 업데이트.. 2025. 2. 13. 이전 1 2 3 4 ··· 36 다음 반응형
