파이썬쟁이

준비 안된 중니어아니 내가 벌써 중니어라니 시간이 정말 빠르다.1년 차에는 스택오버플로우에서 글을 찾아가며 이슈를 해결하려 했지만5년 차인 지금은 그저 딸-깍 한 번으로 이슈와 기본적인 구조를 잡아가는 시대가 됐다.내가 과연 주니어와 어울리는 사람인가 깊게 생각해 보면, 당연히 아니라고 생각이 든다.하지만 내가 생각하는 개발자로써, 아니 리더로서의 역량에 필요한 덕목을 따지고 본다면,그래도 한두 가지쯤은 내가 잘하는 부분이 있다고 생각한다.그간 경험에서 봐왔던 내가 되고 싶지 않은 사람과 되고 싶은 사람이 분명히 존재한다.이번 연도에는 되고 싶지 않은 사람을 되려 부정하라기보다 그 사람이 왜 저렇게 됐는지원인을 찾으려는 시선을 배우고 화합을 위해 조언과 노력을 아끼지 않았는데꽤나 소득이 있는 시간을 보낸..

아니 이 필터가 왜이래 협업을 위한 Swagger 문서가 있다.사내에선 `drf-spectacular` 모듈을 사용하고 있었는데, 굉장히 불편한 점이 있었다. API의 Tag로 `KAKAO` 로 설정해놓은 API가 보이질 않는다.`kakao` 든, `KAKAO` 든, 다 필터링 돼야 하는 것 아닌가라는 의문이 있었는데,해당 키워드를 오픈채팅방에 물어보니 지원하지 않는 기능이라고 하셨다. swagger setting으로 가져오는 번들 버전 및 옵션에 따라 기능을 이용할 수 있는데이런 필터링 관련 기능은 제공하지 않는 것으로 보인다 관련 링크https://github.com/swagger-api/swagger-ui/issues/8143https://github.com/swagger-api/swagger-u..

요즘(아니 진작에) 업무의 자동화가 굉장히 중요해진 시기에,늦게나마 우리도 도입해볼까? 하고 시작한 사이드 프로젝트에 진행했던 과정들과 해설을 정리하는 글이 되겠다. 1. PDF 에서 TEXT 추출 회사 내에 복리후생에 관련된 내용은 PDF로 깔끔히 정리된 문서가 있어서 이를 활용하기로 했다.프로젝트 내 `pdfs` 폴더를 만들고 이 폴더를 타겟으로 모든 pdf 파일들을 text로 만들어주는 코드를 작성했다.pdf 파일을 읽는 부분은 pypdf를 사용했다.# ---------------------------# 1) PDF -> 텍스트 추출# ---------------------------def pdf_to_text(pdf_path: str) -> str: reader = PdfReader(pdf..

현재 사내 프로젝트에서는 각 매체의 광고 데이터를 수집하는 프로세스가 돌고 있다.예를 들자면 위처럼 Django crontab으로 매일 특정 시간에 DB를 조회하여, 필터가 된 유저들에 대한 액션을SQS로 보내고, 람다로 해당 작업들을 수행하여 DB의 특정 테이블에 적재하는 방식으로 진행됐다. 위 프로세스로 개선하기 전엔 대략 300분이라는 수집 시간이 걸렸던 것에 비하면,개선 후 30분이라는 시간에 2000건의 작업이 모두 완료됐으므로 좋은 플로우가 아닐 수 없었다. 하지만 ... 위 사진은 일일 업무 보고 중 파악한 현상에 대해 기술해놓은 것이다.현재는 약 2000건의 작업이 하루마다 돌고 있는데, 유저의 증가에 따라 비용이 증가될 수 있다는 것이 문제로 다가왔다. 확인해보니, 생각보다 더 많이 ..

어느덧 개발자라는 직업으로 일을 한 것이 4년차가 됐다. 올해에는 개발자라는 직업이 나에게 정말 적성에 맞는 직업인지도 곰곰히 생각해봤고,언어는 벗어나지 않았지만 내가 가지고 있는 것을 다듬고 새로운 경험을 많이 해봤던 것 같다.과연 내가 개발자로써 이어나갈 수 있는가?개인적으로 직업 자체가 특별한 직업이 아닌 것 같다.타인이 보기에 전문적으로 보이고 으스댈 수 있다고 생각한다. 하지만 본질적으로 주어진 임무에 충실하고 회사의 이익에 이바지 해야 한다는 점에선여느 회사원과 다를 것이 없다고 느꼈다. 다만, 개발자라는 직군에서 내가 가져가야 할 태도는연구적인 태도와 끝없이 의심하는 태도인 것 같았다. 내가 맡고 있는 기능의 프로세스가 의도된 것인가?위 처럼 예상 범주 내 끊임없는 연구와 의심으로 하나의 기..

오늘은 파이썬 자료형 중, 시퀀스 자료형에 대해 다뤄본다. 1. Sequence 자료형이 뭐지?처음 사전적 지식이 없고 실무에서만 접했던 해당 자료형의 이미지는 iterable한 자료형이라고 생각을 했다.이후 조금 더 찾아보니 range, bytes, bytearray, memoryview(엥? 누구세요) 등도 Sequence 자료형에 해당한다고 한다.2. 각 자료형마다 다른 점그렇다면 각 자료형들에 대해 어떻게 다른지에 대해 내부 메소드 체크를 통해 확인해봤다.보통 접하지 못할만한 메소드가 많은게 확인되는데, 리스트와 튜플이 많이 다르다는 것을 알 수 있다. (String은 제외 넌 별로야)가변형인 List는 보기만해도 내부 요소를 변경하거나 삭제하는 메소드가 많은 반면, 불변형인 Tuple은 그저 c..

어떤 방법으로 머신러닝 모델을 서비스하는 것이 가장 좋은 방법일까? 사실 개발을 하다보면 어떤 방법이 가장 좋다는 것은 없다고 생각한다. 상황이나 비용, 그 외에 여러가지 부분을 체크한 뒤에 그때 가장 적절한 방법을 찾는 것이 중요하다고 보기 때문이다. 따라서 오늘은 조금 무식하지만 프로세스가 눈에 확 들어오는 모델 서빙을 해보려고 한다. - 프로젝트 구조- 프로젝트 구조는 간단하게 API (FastAPI) 서버와 ML (ML Model) 서버로 나누어서 만들것이다. API 서버의 코드는 다음과 같다. import pika import uvicorn from pika.exceptions import AMQPConnectionError from fastapi import FastAPI, File, Uplo..

사내 서비스는 ECS 형식의 템플릿을 기반으로 Docker Swarm을 통해 관리 및 배포를 진행하고 있었다. 허나 Docker를 그렇게 깊게 파지 못한 나는 이 3개의 인스턴스를 가지고도 무중단 배포를 도입하지 못했다. 물론 내부적으로 요청이 분산되고 AWS에서도 로드밸런서를 지원하니 당분간 트래픽이 몰려도 죽지 않겠구나 싶었지만, 비용적인 측면에선 나의 능력을 의심할 수밖에 없는 결과가 나왔다. 또한 서버 버전을 업그레이드하여 배포하는 와중에 클라이언트 측에 보급된 카드 단말기에서 결제 요청이 들어오는 순간 그 잠깐의 배포 시간 동안 해당 요청이 누락되는 상황이 종종 발생하였다. 첫 번째 문제 - 결제파트는 중단되지 않아야 한다. 두 번째 문제 - 요청이 적어 서버 비용이 투자한 비용 대비 손실이 크..

1. 성능이 너무 안 나와요. 처음 회사에 입사를 했을 때는 Django 프레임워크로 사내 서비스 런칭을 준비중이었다. 어차피 Django도 풀스택 프레임워크에 가까웠고 기존에 쓰던 프레임워크였으니 문제 없을 것이라고 판단했다. 심지어 작성해 놓고 간 코드가 남아있기에 나는 새로운 기능들을 준비하느라 바빴다. 하지만 문제는 데이터를 쌓아놓고 보니 나타났다. def something_view(request): ... object_list = list(Amodel.objects.filter(**condition).values()) ... return render(request, 'template/...', context) 당장 위 코드를 작성하고 urls.py에 해당 view를 등록하고 실행하면 시간/성능 ..

그간 글을 올리지 않았던 이유는 별거 없다. 어떻게 보면 바빴다는 말이 제일 어울린다고 생각한다. 적응에 바빴고, 공부에 바빴고, 관계에 바빴다. 성실함에 있어서 바빴다는 이유는 핑계일 뿐이지만 그 바쁨속에서 나는 시간을 허투루 쓴 적이 없다고 생각한다. 그래도 2년 전보다 훨씬 얻고 공부한게 많은 이번년도에 대해서 되짚어보려고 한다. 1월 ~ 3월 한창 이력서를 이곳 저곳에 넣고 떨어짐과 동시에 커지는 실망감과 함께 성장한 나의 멘탈이 주가 된 분기였다. 다시 와서 생각해보면 '어차피 떨어질 거 아는데 일단 넣어봤다' 라는 허울 좋은 말로 나를 위로했지만 그것은 결국 내 실력이 어디까지인지 안다는 뜻이었고, 패배감을 여유로움으로 포장한 것이다. 물론 이에 안주했다면 지금의 내가 없었을 거라고 생각한다...