현업 복귀 이후 터진 일.

1. AWS 도입

글로벌로 접근 가능한 서비스가 필요하여 AWS 도입.
현재 DB와 동일한 구조로 RDS에 넣으니 50만원(월) 나오길래 EC2를 따서 웹서버 + DB서버 1대로 40만원 언더로 맞춤.
Legacy 의 DB구조는 정말..아오..
웹개발 하시는 분은 정말 빠르고 좋다고 하십니다.


2. L4  장비 파워 '폭발'

정말 말그대로 L4 서버의 파워서플라이가 '폭발'함.
반나절이상 서비스가 멈춤.
데이터센터는 유지보수 계약 밖의 내역이라고 해서 새벽 비행기 타고(약봉지랑 대체 장비싸들고) 날라감.
케이스를 분해해보니 파워 부분이 그을려있음 => 다행히 대체 장비의 파워로 교체 =>  몇분이라도 버틸려고 대체 서비스를 준비하는 동안 대표님이 직접 장비 뜯고 새로 재조립 => 우왕ㅋ굳ㅋ
대체서비스로 갔다가 롤백하는 덕분에 안정화 시키는데 한참 걸림


3. 서버들 줄줄이 터짐

2의 사건이 있고 얼마되지 않아..
구매연월/출시연월이 2014~5년인 서버들이 하나둘씩 맛이 가기 시작.
다행히 대부분 물리적 디스크 오류로 판명되었으나 A/S 과정이 귀찮을 듯.
중요 DB 서버들이라 괜찮은 장비를 비행기로 싣고 가서 우선 교체후 남게 된 장비는 국내에서 점검/교체 이후 테스트 서버로 도입(예정)
출장 복귀 이후 돌아온 첫 날 또 2대가 맛이 간 걸 확인.(무슨 타이밍이..)


4. 랙 정리

7-8년을 이사람 저사람 그때그때 장비를 넣기만한 랙이라 엄청 지저분해서 대표님께서 무척 싫어하셨음.
부장님 한분과 대표님께서 싹 정리 완료.(저는 보조 역할만 ㅠ_ㅠ)
점검시간이 계속 늘어 났으나 대표님께서 한땀한땀 작업하시며 '점검 시간 좀 늘려'라는 패기를 보여주심. 0_0)=b
그런데 정리를 너무 깔끔하게 해서 랜선/전원케이블/전원단자가 부족..!?!?! 우선 주요 서비스에 필요한 것들만 복구.
다시 여분의 랜선/전원단자/전원케이블 챙겨서 라벨링 자료 들고 데이터센터 방문 예정(으어어어!)


5. 외국계 회사의 베타서비스(?) 도입.

사실 정식 출시되었으나 외국계 회사 답게 프로토콜 및 UI가 너무 선진화되어 있어 우리의 Legacy에 잘 들어 맞지 않음.
하지만 성능은 우왕ㅋ굳ㅋ
고객응대는 징검다리(전담 메니져 => 기술진) 여서 같은 사항에 대하여 몇번씩 확인하고 고치고 확인하고 고치고 하여 결국 완성 이번주에 런칭.
PHP => Node.js => Go => Python 으로 라이브러리가 계속 바꿔서 테스트.
그나마 우리에게 맞는게 Python + PHP 구조라 동작 확인시키고 실서비스 반영하기로 함.
중간에 (정말 몇줄 안되는데 Legacy 구조과 안맞는 서비스라) 각 프로세스 검증하는 코드가 실제 연동 코드보다 많은 상황이 최후의 최후까지 발생.
제공해 준 오픈소스 라이브러리를 건드릴 여유가 없는 상황이라 일단 진행.
추후 커스텀 진행 예정.(개발중인 미공개 API까지 제공해주었으니 팔로우업 해주는 것의 예의)


6. 이제야 정말 밀린일들 진행

5까지의 자잘한 일들의 마무리가 끝나면 신규 프로젝트(라고 읽고 사업이라고 쓰는) 3건과 그동안 밀리고 밀리고 밀린 일들을 진행해야합니다.
지금 사무실인건 아니지만 PC앞에서 AWS나 신규 프로젝트 관련 이런저런것들을 점검하고 있는데...


덧글

  • 떠리 2019/04/03 10:46 #

    우왕 으마으마하게 뭐가 터지네영.
    여기는 별거없고 NAS랙이 설치층이 침하가..
  • NABU 2019/04/03 14:44 #

    침하죠? 침수는 아직 아니죠?... 침하면 손배소...ㄱㄱ
  • 핑크 코끼리 2019/04/03 10:57 #

    원래 이렇게 잘 터지는 건가요?
  • NABU 2019/04/03 14:45 #

    네트워크 장비 파워는 저도 처음입니다.
  • 타마 2019/04/03 14:48 #

    날이 풀리기 시작하니... 웅크렸던 서버들이 기지개를 펴면서 펑! (?)
  • NABU 2019/04/03 16:12 #

    서버는 해외라서 한쿡날씨랑 무방합니다..
    그냥 가혹한 노가다를 못견디시고 운명하신 것 같기도 하고..
  • 컴덕후시밤 2019/04/04 22:31 #

    하드디스크들이야 원래 일정 시간이 지나면 터져나가기 시작하죠. 유지보수 차원에서의 정기적인 백업&디스크 교체가 필요합니다.
  • NABU 2019/04/05 12:39 #

    제안을 계속 했지만 인식 못하는 분들은 직접 격기전까진 그게 어느정도인지 체감하기 힘들죠..ㅠ_ㅠ
※ 로그인 사용자만 덧글을 남길 수 있습니다.


반응형 광고

구글 광고 작은 것



studionabu.com is powered by Egloos. Subscribe to RSS. Skin designed by 바니.