백엔드 개발자가 데이터 플랫폼 팀으로 이동하면?

ai가 생성한 이미지 입니다:)

첫번째, 마음가짐

처음은 다 어렵다 아직 익숙치 않아서 어렵다.
설레임 반 두려움 반 그러나 금방 적응할 것이다.
빠른 빌드업을 통해 내껄로 만들자! ㅈㄴ 재밌다!!!

 

두번째, 비즈니스, 기술 도메인 파악!

여기서 도메인이란 특정한 업무영역(비즈니스 도메인)과 기술영역(기술 도메인)을 의미

• 비즈니스 도메인 : 특정산업이나 업무분야를 의미하며 고객에게 제공하는 서비스를 의미 함.
  • 예) 이마트는 유통서비스를 제공, KT는 통신 서비스를 제공, 토스뱅크는 은행 서비스를 제공
  • 검색서비스 안에 하위 도메인으로 보면 웹 서비스 제공 → 데이터플랫폼 서비스 제공
• 기술 도메인
  • 기존 : Spring Boot 기반 웹 API 개발 → 웹 서비스 중심
    • 지식그래프를 구축하고 이를 기반으로 데이터를 서빙
    • 검색 성능 최적화 및 연관성 높은 결과 제공
  • 현재 : Hadoop, HBase, Kafka, Scala, Akka 사용 → 데이터플랫폼 서비스
    • 유저가 데이터를 저장하고 연동할 수 있도록 플랫폼 제공
    • 데이터를 안정적으로 관리하고 API 형태로 서빙

세번째, 비즈니스 도메인 Detail 파악!

• 우선 데이터플랫폼이 뭔지부터 파악하자!
  • 데이터플랫폼의 역할과 중요성 파악!
    • 분산시스템+데이터처리 방식 체크!
    • 2025.02.17 - [Data Platform/Backend to DataPlatform] - 데이터 플랫폼에서 데이터는 어떻게 흘러갈까?
• 현재 실 서비스에 대해서 파악! 
  • 소개 자료 또는 wiki 같은 문서 읽기
    • 데이터 흐름 관련 아키텍처 파악 → 데이터 파이프라인 체크
  • 로컬에서 관련 서비스 셋팅 및 사용해보기

네번째, 기술 도메인 Detail 파악!

• Hadoop, Hbase : Data 저장
  • Hadoop : 분산저장 & 분산처리를 위한 기술
  • HBase : NoSQL기반의 실시간 데이터 저장소로 빠른 데이터 조회에 강점애 있음.
  • 학습
    • 하둡 - https://hadoop.apache.org 
    • HBase - https://hbase.apache.org/ 
• Kafka : Data 스트리밍
  • 대용량 데이터 스트리밍을 위한 핵심(메세지 큐)
  • 실시간 데이터 처리 파이프라인을 구축하는데 필수
  • 학습
    • Kafka 기본개념, 데이터흐름, Hbase와의 연동방식 이해
      • https://kafka.apache.org/
• Scala & Akka : Backend & 분산 시스템
  • Scala : 함수형 프로그래밍 방식
    • 학습 : https://docs.scala-lang.org/
  • Akka : 분산처리와 비동기 메시징을 쉽게 할 수 있게 도와줌
    
    • 학습 : https://doc.akka.io/libraries/akka-core/current/

마지막 다섯번째, 항상 생각하고 고민하라!

보통 개발자들은 이런 경험이 하나씩 있을것이다.
개발하다가 잘 안풀리는게 있으면 똥을 누다가.. 갑자기 아! 이렇게 하면 될것 같은데??
하면서 무릎을 탁! 치는 경험이 있을 것이다.

물론 글쓴이는 화장실에서 응가를 보면서였지만..
다른 개발자분들은 다른 상황이었을것이다.

결론적으로 그 일에 대해서 관심을 가지고 생각하다보면 자연스레 어색함은 사라지고 어려움이 쉬움으로 바뀌게 된다.

앞으로의 백엔드 개발자가 데이터플랫폼 개발자가 되는 여정을 통해
삽질하며 배우고 성장하는 과정의 기록 포스팅 합니다!