반응형 전체 글726 데이터 플랫폼에서 데이터는 어떻게 흘러갈까? 데이터플랫폼이란?데이터의 수집, 스토리지, 정리, 변환, 분석 및 거버넌스를 가능하게 하는 기술 솔루션데이터플랫폼에는 하드웨어와 소프트웨어 구성요소가 모두 포함 될수 있음조직은 데이터를 좀 더 쉽게 사용하여 의사결정 및 운영을 개선할 수 있음데이터플랫폼의 유형엔터프라이즈 데이터플랫폼(EDP)빅데이터 플랫폼(BDP)클라우드 데이터 플랫폼(CDP)고객 데이터 플랫폼(CDP)데이터가 어떻게 흘러가는지 이해하기Data Platform Architecture효과적인 데이터 관리를 구성하는 5가지 주요 계층1) Data Ingestion Layer(데이터 수집)2) Data Storage Layer(데이터 저장)3) Data Processing Layer(데이터 처리)4) User Interface Layer(사용.. 2025. 2. 17. 백엔드 개발자가 데이터 플랫폼 팀으로 이동하면? 첫번째, 마음가짐처음은 다 어렵다 아직 익숙치 않아서 어렵다.설레임 반 두려움 반 그러나 금방 적응할 것이다.빠른 빌드업을 통해 내껄로 만들자! ㅈㄴ 재밌다!!! 두번째, 비즈니스, 기술 도메인 파악!여기서 도메인이란 특정한 업무영역(비즈니스 도메인)과 기술영역(기술 도메인)을 의미비즈니스 도메인 : 특정산업이나 업무분야를 의미하며 고객에게 제공하는 서비스를 의미 함.예) 이마트는 유통서비스를 제공, KT는 통신 서비스를 제공, 토스뱅크는 은행 서비스를 제공검색서비스 안에 하위 도메인으로 보면 웹 서비스 제공 → 데이터플랫폼 서비스 제공기술 도메인기존 : Spring Boot 기반 웹 API 개발 → 웹 서비스 중심지식그래프를 구축하고 이를 기반으로 데이터를 서빙검색 성능 최적화 및 연관성 높은 결과 제.. 2025. 2. 17. 새로운 도메인을 마주하게 되었다. Java+Spring Framework기반의 웹 기술기반으로 개발을 해왔었는데이번에 생소하지만 재밌을것 같은 비즈니스 도메인&기술 도메인을 하는 곳으로 이동하게 되었습니다.대용량처리를 하는 기술을 다루는 곳이 한정적이라 배울수 있는 기회가 없었는데 기회가 생겨서 이동하기로 마음 먹었습니다. 회고좋았던 점이전 팀에서는 자바 백엔드 위주로 지식그래프기반 서빙을 위한 작업과 리액트 기반 운영툴 개발을 함.백엔드는 Spring Boot 기반 JPA, Redis, MySQL, GraphQL등을 사용해서 개발을 진행 함.리액트라는걸 처음 해보아서 좋았음! 또한 개인프로젝트에도 리액트+스프링 조합으로 개발해서 시놀리지에 서빙 함!2024.08.17 - [역량 UP!/Business] - 1) ENS Project -.. 2025. 2. 14. 17) ENS Project - 시놀리지 NAS에서 스케줄러 돌리기! 상품이 업데이트 되면 배치Job이 돌아서 업데이트를 해줘야하는 작업이 있습니다.그래서 시놀리지 나스에서 스커줄러를 사용하게 되었습니다.크론탭으로 하려고 했는데 크론탭이 없었습니다ㅋㅋ작업스케줄러 > 생성 > 트리거된 작업 > 사용자 정의 스크립트사용자 정의 스크립트를 작성해주시면 됩니다.#!/bin/bashwhile true; do curl -X GET "http:블라블라/batchMakeOptionApiData" -H "Content-Type: application/json" echo "Request sent at: $(date)" sleep 600 # 10분 (600초) 대기done결과 batch job 끝~will do로는 오래된 데이터를 삭제해야겠군요! :) 단, 하나는 남겨두고요ㅋㅋ 업데이트.. 2025. 2. 13. 16) ENS Project - Server 산정 및 배포! AWS는 시기상조라 시놀리지 NAS에 배포하기로 마음 먹고 셋팅을 하였습니다.NAS에 Docker를 관리하는 Container Manager라는게 있어서 사용했습니다.MySQL을 셋팅하고 로컬에서 연동 테스트를 진행 하였습니다.셋팅은 간단하게~다운받아서 포트 설정을 해주고폴더추가에서 docker폴더를 선택하고 mysql폴더를 생성!/mysql로 매핑해줌. 아래의 설정으로!완료 후 자동실행 됩니다! domain 설정 - 시놀리지나스에서는 하나의 도메인을 무료로 제공해줍니다! 개이득~외부엑세스 > DDNS도커 컨테이너에 대한 접근 또한!NAS에 Docker로 배포한 MySQL, Spring Boot, React 애플리케이션 등은 기본적으로 내부 네트워크에서만 접근 가능합니다.외부에서 접근하려면 라우터에서 특.. 2025. 2. 12. Airflow log를 가져오는데 크키가 큰 log 보기 처리 중 에러 발생! 상황DAG에 대한 로그보기를 하려고 했는데로그크기가 크면 부하가 심함해결책으로 full_content=false와 token을 이용String airflowLogUrl = String.format( dagUrl + "/%s/dagRuns/%s/taskInstances/%s/logs/%d?full_content=false%s", dagId, dagRunId, taskId, taskTryNumber, (continuationToken != null ? "&continuation_token=" + continuationToken : ""));그래서 로그를 잘라서 가져오는데 성공!그런데 아래와 같은 오류 발생!오류ERRORcom.fasterxml.jackson.core.ex.. 2025. 2. 12. 2025년 1월 회고 진행 오늘은 회고 진행을 했습니다.1월에는 정말 건강이 정말 중요하다는 생각을 했습니다.감기가 2번이나 걸렸는데...다 나았나? 하면 다시 걸리고..-_-건강마일리지를 제대로 지금이라도 쌓아야겠다는 생각을 했습니다.배달음식은..nope!! 제철음식을 잘 먹도록 합니다! 겨울엔 구좌당근! ㅎㅎ 2025년 1월에는 여러가지 이슈가 있었습니다. ㅎㅎ 잘한점도 많았지만 아쉬운점도 많았습니다 ㅋㅋ 특히 개인프로젝트를 시놀리지에 서비스를 서빙까지 해서 만족스러웠습니다 ㅎㅎ 커리어도 분기별로 업데이트를 하기 위해 노력해야겠습니다.2월에는 아프지말고! 운동도 하면서 재미나게 개발하며 살아야겠습니다:) 2025. 2. 2. 15) ENS Project - 상품 데이터를 체크하자! 발주 처리를 위해서 업체별 상품 데이터를 최신으로 가지고 있어야 합니다.주문으로 들어오는 데이터는 최신으로 반영된 데이터를 가지고 있어야 비교하여 발주를 해주기 때문 입니다.물론 상품 변경 전 데이터도 가지고 있어야 합니다. 혹시 모를 상품 변경 전에 주문이 들어왔을수도 있기 때문 입니다.그래서 테이블을 업체 테이블 하나와 상품 테이블 하나를 만들었습니다.발주처리 전 체크를 해야 합니다.혹은 상품 데이터를 주기적으로 변경사항을 체크하여 업데이트 해주는 배치가 돌아야 합니다.변경사항이 많다면 발주처리가 무척 느려질수 있습니다. 하지만 배치를 돌리기에는 서버도 마땅치 않고 우선 실시간적으로 느리지만 괜찮아~버전으로 개발해보겠습니다ㅋㅋJson to DataBase네이버스토어 상품에는 여러가지가 있다..본상품과.. 2025. 1. 15. 14) ENS Project - 송장 시스템 2024.12.27 - [OpenSource/Spring Boot] - 13) ENS Project - 발주 시스템발주 시스템에 이어서 이제 송장을 받아서 네이버스토어에 일괄처리를 해줘야 합니다.그러기 위해서는 네이버스토어 일괄처리 양식에 맞게 저장된 엑셀이 필요 합니다.송장 시스템에는 2가지 엑셀 파일이 필요 합니다.발주 시스템에서 나온 주문내역인 엑셀 파일 하나그리고 택배사를 통해서 송장이 나온 엑셀 파일 하나2개의 파일을 넣고 송장처리 버튼을 눌러주면 아래와 같이 네이버스토어 일괄처리를 위한 엑셀 파일 하나가 만들어 집니다.내용은 아래와 같이 네이버스토어에서 원하는 양식 입니다.그리고 송장시스템을 확인하고 수정작업이 필요하면 파일을 선택 후 택배사 변경이나 추가&삭제를 한 뒤에 저장을 하시면 됩니다.. 2024. 12. 27. 13) ENS Project - 발주 시스템 개인 프로젝트로 만들고 있는 서비스 입니다.발주 시스템요 시스템은 네이버스토어에 신규 주문건들이 들어오면 엑셀을 다운 받아서 신규 엑셀을 만들어줍니다.(네이버스토어에서 다운받은 엑셀은 암호화가 되어있습니다.)파일을 선택 후 발주처리를 진행!..처리가 완료되면 zip파일이 다운로드 됩니다.아래와 같이 상품(업체)별로 엑셀이 나옵니다. 이제 발주시스템은 네이버스토어에서 나온 발주이며, 문자고객이 있을수 있습니다.문자고객은 기존 상품에서 추가를 합니다.발주처리를 위해 a.i를 통해서 아래처럼 네이버스토어에 있는 타이틀을 가지고 이름과 업체명을 만들어줍니다.{ "id": "2994144279", "name": "손질과메기 20미리 단품", "company": "포항구룡포 과메기 농장", "title":.. 2024. 12. 27. 12) ENS Project - accessToken 발급 및 로그아웃 100만년만에 다시 개인프로젝트 시작!! ㅋㅋㅋ이전글 : 2024.11.08 - [Front/React.js] - 11) ENS Project - Naver 로그인을 구현해보자!참고 하세요~추억의 jsp로 개발된 소스!참고 : https://developers.naver.com/docs/login/web/web.md네이버 로그인 접근토큰 획득 예제는 2개의 프로그램으로 구성되어 있습니다. (naverlogin.jsp, callback.jsp)2. callback.jsp 예전에 스터디로 책선정을해서 OAuth2로 네이버 로그인을 추가했던적이 있습니다.2022.01.06 - [Study/Study group] - OAuth2 구글, 네이버 로그인 추가 아래처럼 application.yml에 스프.. 2024. 12. 22. React + Vite .env 환경변수로 개발 환경(profile)나누기 우선 Vite는 아래의 설명처럼 빌드도구입니다.Vite(프랑스어로 "빠르다(Quick)"를 의미하며, 발음은 "veet"와 비슷한 /vit/ 입니다.)는빠르고 간결한 모던 웹 프로젝트 개발 경험에 초점을 맞춰 탄생한 빌드 도구!참고 : https://ko.vite.dev/guide/env-and-modeReact에서 Vite를 사용하고 있다면 환경변수에 접근하기 위해서는import.meta.env객체를 이용해서 접근합니다.예를 들어 소스에서의 사용은 아래와 같이 사용합니다.이제 dev, prod환경별 변수를 사용하기 위해서. env파일을 생성하고 환경별로 가져다가 사용해 보겠습니다..env는 공통적으로 사용할 내용.env.development는 dev환경에서 사용할 내용.env.production은 pr.. 2024. 12. 18. 2024년 리뷰 보호되어 있는 글 입니다. 2024. 11. 27. 커리어 코칭 4번째 어려운 대화기대관리 : 놀랄 준비는 해야한다. 안좋은게 분명히 있기 때문에시작의 중요성 : 아무것도 하지 않으면 아무일도 일어나지 않는다.문이 두개다! 실패하면 되돌아올수 있다.실패한다고 내가 실패한게 아니다.커리어가 길어질수록 나에게 맞는 환경을 찾는게 중요! -> 좋은 상사와 동료와 친구들과 가족나이가 들수록 까닭롭다! 주변에서 기대치도 올라감!기술지향적 말고 결과지향적인 사람이 되야한다.다른사람 말 잘듣고 좋은 질문하고 좋은평판을 시작으로 영향력이 좋은 사람이 되야함.점진적으로 좋은사람이 어떻게 될까? 회고와 습관으로 복리활동을 해야한다.잠깐으로는 좋은 성과가 나오지 않는다.단계 회고 : 행동-> 몰두 -> 회고 루프ㄴ 아쉬운거 잘한거 모두 체크!내 장점을 인지하고 상처의 인지가 중요해짐!문제 해.. 2024. 11. 18. 커리어 코칭 3번째 문제정의를 잘하자!흐름을 하나 따라가라 (Backend, FrontEnd, Domain등)ㄴ Backend와 검색 도메인, 이커머스, 통신회고- 마음건강을 위한 회고- 평정심(일희일비 하지 않기), 꾸준함, 호기심- 건강한 학습 방법 : 필요와 호기심 기반! ㄴ 지금 당장 필요하지 않고 뒤쳐져있는 느낌만으로 학습하지 말라 ㄴ 먼저 문제 정의 능력이 중요함! - 잘 듣는 능력 -> 질문 능력 -> 의사소통 능력 -> 문제 정의 능력 ㄴ 문제 해결을 위해 필요한 학습 - 조직적일 필요가 있음 - 무엇에 집중할까? 무엇이 필요한가? FOMO vs JOMO(Joy Of Missing Out) ㄴ 학습 후 행동이 이어져야 의미가 있음. ㄴ 그냥 일만 하지 말고 .. 2024. 11. 11. 11) ENS Project - Naver 로그인을 구현해보자! 사이트에서 로그인이 필요하다!네이버 관련 프로젝트이니 네이버 로그인을 구현해보자:)https://developers.naver.com/docs/login/devguide/devguide.md이전에 Oauth2.0을 스프링시큐리티로 인증서버와 리소스서버를 만들었던적이 있었는데네이버 로그인 역시 Oauth2.0을 따르고 있다.대충 아래처럼 만들면 될것 같다! ㅋㅋ1. 네이버로그인 버튼을 클릭!// authProvider.tsconst authProvider = { generateRandomString :() => { const randomBigInt = bigInt.randBetween("1e130", "1e131"); // 130자리 난수를 생성 return randomBigInt.toStri.. 2024. 11. 8. 10) ENS Project - CSS Framework 사용해보기 OverviewReact로 개발 시 디자인을 무에서 유를 창조하기에는 힘들다.이런 힘듬을 보완하기 위해 CSS Framework인 MUI를 사용하여 Ui 구성요소를 살펴보고 사용해보기로 한다.Example아래의 예제를 셋팅해서 띄워보고 컴포넌트들을 살펴보자.https://github.com/marmelab/material-ui-react-admin?tab=readme-ov-filehttps://marmelab.com/react-admin/Features.htmlhttps://marmelab.com/react-admin/CreateReactAdmin.htmlCreateReactAdminCSS Framework를 통해 우선적으로 개발 진행여러가지 Framework가 있지만 우선 아래의 Framework를 사.. 2024. 11. 4. 9) ENS Project - 프론트엔드 후딱 학습하기(React Deep Dive!!) 2024.10.15 - [Front/React.js] - 8) ENS Project - 프론트엔드 후딱 학습하기(리액트 컴포넌트, JSX, 속성, 상태)저번시간에 이어서 오늘은 더욱 더 깊은 심화과정 입니다! 저장을 잘하면서 포스팅 해보도록 하겠습니다:)Point!!- JSX를 꼭 사용하지 않아도 되는 이유- 컴포넌트 트리를 설계하는 방법 + 프로젝트를 더 효율적으로 구성하는 방법- State 사용의 상급 개념과 특정 상급 개념을 살펴봅니다. ㄴ 저번시간엔 useState()를 사용했습니다.- 자주 사용되는 중요 패턴과 Best Practices를 살펴봅니다.JSX를 꼭 사용하지 않아도 되는 이유?React Code는 Build Process를 통해서 변경 됩니다. 결과적으로 배포가능한 파일로 말.. 2024. 10. 31. 8) ENS Project - 프론트엔드 후딱 학습하기(리액트 컴포넌트, JSX, 속성, 상태) 해당 포스팅은2024.10.11 - [OpenSource/Spring Boot] - 7) ENS Project - DB로 전환02에서 이어지는 포스팅 입니다.frontend는 vue.js도 분명히..학습을 했는데 시간이 지나면 지날수록 새로운것이 나오고머릿속에 있던 지식들이 다 날아가버린다..말 그대로 내머릿속에 지우개ㅋㅋ이번에는 개인 프로젝트를 수행하면서 명확한 그림을 그려가면서 프론트엔드를 학습하려고 한다.학습은 옛날에는 항상 책을 사다가 학습을 했는데 요즘은 강의가 많아서 좋은거 같다ㅎㅎ그러므로 강의를 통해 학습하고자 한다.학습 후에는 아래와 같은 플랜을 가진다!1. 프로젝트 설정2. 프로젝트 구조 이해3. 컴포넌트 설계 ex) header(페이지 최상단 - 네비게이션 메뉴 부분) con.. 2024. 10. 15. 커리어 코칭 두번째 나에 대해서 알자현재 하고 있는 일에 집중! in 나에게 맞는 환경에서단, 내가 살아있음을 느끼는 곳에서조바심내지 말고 긴 호흡으로!물경력이라고 생각하지 말라!손들기 : 내가 하지 않았던 일이라도 해봐라!안해본 일을 할 때는 1. 빨리 따라갈 수 있고 2. 지인 활용3. 손해보는 느낌으로잘 되는 일 안되는 일도 있을 것이다. -> 회고(더 나은 사람으로 성장, 밸런스 중요!)자신감 == 성취감 - 환경이 중요, 성취감을 느낄수 있는 곳인가?평정심(큰 기대 X, 일희일비(一喜一悲) X)꾸준함영향력좋은 평판(발 없는 말이 천리를 간다)ㄴ 평판이 좋지 않으면 지인추천 X, 이력서 내고 이직해야 함.긍정적인 태도와 결과를 낼 수 있는 사람이 되자경력과 경험을 이용해서 나혼자만 잘하는게 아니라 주변사람들과 함께 .. 2024. 10. 12. 커리어 코칭 첫번째 커리어 코칭 첫번째성취하는 커리어와 행복한 인생을 위해 호기심을 가지고 평균을 높이자!시작이 매우 중요하다!긴 호흡 또한 중요!개발자로써 기술지향적인것도 좋지만의사소통 능력같은 다른 능력도 중요하다.회사라는 환경 또한 중요!현재 10년동안 다녔는데지금 내가 여기에서 성장하고 있는가?긍정적인 마인드는 필수!어느새 불만이 쌓여가고 있는 나커뮤니티 활동을 해보자!처음 C언어를 배울 때도 다음카페 활동을 통해서정말 엄청난 실력이 향상되었었다 ㅎㅎ남과 비교하지말고 나에 대해서 더욱 더 알아가보고 경험해보자!내 커리어를 5개의 키워드로 요약1. 자바 2. 검색 3. 스프링 3. 어플리케이션 아키텍트 5. Daum대학시절 컴퓨터공학을 전공하면서터보C라는 파란색 화면을 시작해서 MFC, Java 등을 공부하고 졸업.. 2024. 10. 11. 이전 1 2 3 4 ··· 35 다음 반응형
