본문 바로가기

[PCMC의 기록]

 (84)
통계로 보는 개발자 장비 - 키보드편 안녕하세요, Mino 입니다. 지금까지는 개발과 관련된 포스팅을 올렸었는데, 이번에는 조금 가벼운 느낌의 포스팅을 써볼까합니다! 바로 개발자들이 쓰는 장비에 관한 이야기입니다. 뭔가 장비라고 거창하게 쓰기는 했지만 사실 악세사리에 가깝지 않을까 싶네요(...) 회사에 일하는 다른 동료분들만봐도 한 분 한 분 정말 세팅이 다르시더라구요. 책상 위가 매우 허전한 분, 세상 모든 물건이 책상 위에 있는 분, 칼같이 정리하고 깔끔하게 사용하고 계시는 분 까지... 거기에 사용하는 장비까지 천차만별이다보니.. 통계라는 컨셉으로 접근하기가 조금 망설여지긴 했습니다. 그러던 중 눈에 들어온건 쿠팡 파트너스 API .. 방대한 커머스의 데이터를 제한적이지만 제공한다고 합니다. 다만 이 API를 사용하려면 승인 절차를 ..
그라파나 7.0 릴리즈 / Grafana 7.0 Release / What's New? 안녕하세요. Mino입니다. 오늘은 데이터 시각화 오픈소스인 그라파나의 7.0 릴리즈에 대해서 아주 간략하게 훑어보려고합니다. 제가 일하고 있는 넥스트유니콘 팀에서도 내부 지표를 확인하기 위해서 Grafana를 사용하고 있는데, 생각보다 난이도도 낮고 (쓰기 나름) 다양한 데이터 소스(MySql, ES, postgreSql ..)를 지원하는 덕분에 열심히 사용하게 되더라구요. 그러던 중 최근 그라파나 7.0의 릴리즈 소식이 들려왔습니다! 물론 beta 버전이지만, 그래도 공식홈페이지에 올라왔다는 건 사뭇 느낌이 다르니 간단하게 업데이트 내용을 다뤄보고자 합니다. 그라파나 7.0의 주요한 변경점은 다음과 같다고 합니다. 여기서 모든 내용을 살펴볼 수는 없을 것 같고, 제가 그라파나를 사용하면서 자주 만져봤..
AWS SAM으로 배포할 때 AWS Lambda 이름 설정하기 SAM CLI를 통해서 deploy할 때, 함수 이름을 설정하지 않으면 다음과 같은 형식으로 자동생성된다. CloudFormation stack + Lambda function + Some Id 그래서 AWS Lambda Console을 볼 때 마음 한 켠이 영 찝찝하다. 해결책은 deploy할 때 사용하는 template.yaml 파일에 FunctionName 인자를 주면 된다. Resources: HelloWorldFunction: Type: AWS::Serverless::Function # More info about Function Resource: https://github.com/awslabs/serverless-application-model/blob/master/versions/2016-1..
AWS S3를 Database로 사용해보자 안녕하세요, Nextunicorn 소프트웨어 엔지니어 Mino 입니다. 이번에는 크롤링한 데이터를 내려주는 API 서버를 AWS Lambda와 AWS S3 스토리지를 이용해서 빠르게 구성해본 내용에 대해서 공유드리려고 합니다. Nextunicorn 팀이 점차 성장해가면서, 서버 코드도 같이 몸집을 키우게 됐습니다. (...) 그래서 서비스의 핵심 기능이 아닌 이상, 몇 몇 새로운 서비스들은 Microservice로 분리하기로 결정했습니다. 크롤링한 데이터를 반환하는 API 서버를 만들어야했고, 나름대로 몇 번 구성해봤기 때문에 AWS Lambda를 이용했습니다. 그리고 어떤 데이터베이스를 사용하느냐가 문제였는데, RDS는 잘 알려져있는 connection 문제가 있었고, (최근 RDS proxy라는 서비..
코로나 / 재택근무 / 일과 휴식의 경계.. 코로나 바이러스가 전국, 아니 전세계적으로 퍼지고 상황이 심각해지자 하나 둘 씩 재택근무를 선언하는 회사가 많아졌다. 우리 회사도 약 3주 정도 전부터 재택근무를 도입하고 있다. 처음 재택근무를 도입한다는 공지를 전해들었을 때는 마치 고등학교 때 단축 수업을 한다는 이야기를 들었을 때의 느낌이었다. 너무 좋겠다.. 그래서 회사에서 공지해줄 때, 담담하게 끄덕였지만 속으로는 괜히 좋았다. 아직 이 때는 재택근무가 가지고 있는 이면은 전혀 모른채 그저 집에서 편하게 하는 일 정도로 생각했으니까.. 요즘에 재택근무에 대한 글들이 쏟아져 나오는데, 하나같이 모두 공감가는 것들 뿐이더라. 많은 분들이 자기관리라는 포인트로 글을 써주셨는데, 이런 글들을 두루 읽어보고 개인적으로 재택근무라고 했을 때 가장 중요한 것..
AWS Lambda의 배포 및 개발 환경 구축 With AWS SAM CLI 시작하면서 Lambda... 회사에서 사이드 프로젝트로 AWS Lambda를 사용하게 됐는데, 전혀 사용해본 경험이 없어서 상당히 애를 먹었다. 인프라 자체에도 익숙하지 않았고, Lambda의 구동 환경 특성 상 당연히 될 줄 알았던 것들이 당연히 안되는 것을 보고(RDS🤬..) 하루 종일 관련 구글을 들락거렸던 기억이 난다. 그래서 가장 고통받은 인상깊었던 AWS Lambda 로컬 개발환경에 대해서 정리해보고자 한다. 이유인즉슨.. 지난 번에 똑같이 Lambda를 구성할 일이 있어서 Jenkins를 통해서 배포했는데, 디버깅에 많이 애를 먹었다. 배포하고 테스트하고, CloudWatch 들락거리고.. 그래서 아, 꼭 로컬 디버깅 설정을 해야겠다고 느꼈는데, 다른 프로젝트를 하면서 미루고 미루다가, 다시..
크롤러 마음놓고 돌리기 - Scrapinghub Scrapinghub와 관련해서 궁금한 점이 있으시거나 잘못된 정보가 있다면, 댓글로 알려주시면 감사드리겠습니다! 방학동안에 열심히 크롤링을 하고, 블로그 포스팅도하고, 인턴에 지원했는데 합격했다(?). 그래서 약 5개월 간 포스팅이 없다시피 했다. 중간에 갑자기 데이터베이스 관련 포스팅을 올린 건 일하면서 필요해서 올렸고, 사실 상 포스팅이라고 하기에도 분량이 너무 귀엽고 소중했다. 어쨌든, 오늘 다뤄볼 주제는 Scrapinghub라는 서비스에대한 소개로 해볼까한다. 이 글의 카테고리가 "크롤링" 이고, 제목으로 어느정도 유추할 수 있을 듯하다. [광고같은건 아니다..] Scrapinghub는 클라우드 기반으로 크롤링을 비롯한 다양한 기능을 제공하는 웹사이트다. 유저가 크롤러 코드를 작성해서 클라우드에..
DB 정규화 데이터베이스 커뮤니티 데이터베이스와 관련한 좋은 정보들이 많다. 제품별로도 구분되어있고, 최근까지도 글 리젠이 괜찮아서 여러모로 참고하기 좋은 것 같다. http://www.gurubee.net 꿈꾸는 개발자, DBA 커뮤니티 구루비 꿈꾸는 개발자, DBA 커뮤니티 구루비 www.gurubee.net 데이터베이스 정규화 무작정 테이블부터 만들고 보는 것이 아니라, 데이터베이스 정규화 과정을 통해서 논리적이고 효율적인 데이터베이스를 구성해야만 한다. DB를 구성해본 적이 없어서 (...) 어디서부터 손을 대야하는지 막막했는데, 천천히 읽어보면 어떻게 구성해야하는 지 감이 온다. https://3months.tistory.com/193 데이터베이스 정규화 1NF, 2NF, 3NF, BCNF 데이터베이스 정규..

티스토리툴바