백엔드 개발자가 데이터 플랫폼 팀으로 이동하면?

여기서 도메인이란 특정한 업무영역(비즈니스 도메인)과 기술영역(기술 도메인)을 의미

비즈니스 도메인 : 특정산업이나 업무분야를 의미하며 고객에게 제공하는 서비스를 의미 함.
- 예) 이마트는 유통서비스를 제공, KT는 통신 서비스를 제공, 토스뱅크는 은행 서비스를 제공
- 검색서비스 안에 하위 도메인으로 보면 웹 서비스 제공 → 데이터플랫폼 서비스 제공
기술 도메인
- 기존 : Spring Boot 기반 웹 API 개발 → 웹 서비스 중심
  - 지식그래프를 구축하고 이를 기반으로 데이터를 서빙
  - 검색 성능 최적화 및 연관성 높은 결과 제공
- 현재 : Hadoop, HBase, Kafka, Scala, Akka 사용 → 데이터플랫폼 서비스
  - 유저가 데이터를 저장하고 연동할 수 있도록 플랫폼 제공
  - 데이터를 안정적으로 관리하고 API 형태로 서빙

우선 데이터플랫폼이 뭔지부터 파악하자!
- 데이터플랫폼의 역할과 중요성 파악!
  - 분산시스템+데이터처리 방식 체크!
  - 2025.02.17 - [Data Platform/Backend to DataPlatform] - 데이터 플랫폼에서 데이터는 어떻게 흘러갈까?
현재 실 서비스에 대해서 파악!
- 소개 자료 또는 wiki 같은 문서 읽기
  - 데이터 흐름 관련 아키텍처 파악 → 데이터 파이프라인 체크
- 로컬에서 관련 서비스 셋팅 및 사용해보기

Hadoop, Hbase : Data 저장
- Hadoop : 분산저장 & 분산처리를 위한 기술
- HBase : NoSQL기반의 실시간 데이터 저장소로 빠른 데이터 조회에 강점애 있음.
- 학습
  - 하둡 - https://hadoop.apache.org
  - HBase - https://hbase.apache.org/
Kafka : Data 스트리밍
- 대용량 데이터 스트리밍을 위한 핵심(메세지 큐)
- 실시간 데이터 처리 파이프라인을 구축하는데 필수
- 학습
  - Kafka 기본개념, 데이터흐름, Hbase와의 연동방식 이해
    - https://kafka.apache.org/
Scala & Akka : Backend & 분산 시스템
- Scala : 함수형 프로그래밍 방식
  - 학습 : https://docs.scala-lang.org/
- Akka : 분산처리와 비동기 메시징을 쉽게 할 수 있게 도와줌
  - 학습 : https://doc.akka.io/libraries/akka-core/current/

보통 개발자들은 이런 경험이 하나씩 있을것이다.
개발하다가 잘 안풀리는게 있으면 똥을 누다가.. 갑자기 아! 이렇게 하면 될것 같은데??
하면서 무릎을 탁! 치는 경험이 있을 것이다.

물론 글쓴이는 화장실에서 응가를 보면서였지만..
다른 개발자분들은 다른 상황이었을것이다.

결론적으로 그 일에 대해서 관심을 가지고 생각하다보면 자연스레 어색함은 사라지고 어려움이 쉬움으로 바뀌게 된다.

앞으로의 백엔드 개발자가 데이터플랫폼 개발자가 되는 여정을 통해
삽질하며 배우고 성장하는 과정의 기록 포스팅 합니다!

1주차) 백엔드 개발자가 데이터플랫폼 빠르게 온보딩! (0)	2025.02.21
데이터 플랫폼에서 데이터는 어떻게 흘러갈까? (0)	2025.02.17

Developer 태하팍