미니의 중소기업 전산실 이야기

얼마 전 공장 기계실 옆에 UPS 교체 작업을 한 것이 기억나 글을 남겨 보네요!!
지금 다니고 있는 회사는 꼭 필요한 장비 도입에 대해서는 잘 지원을 해주고 있습니다.
그래서 다행이도 얼마 전 공장 쪽 UPS 장비를 큰돈을 들여 용량을 2배 증설하고 새 장비로
교체를 하였습니다.
그 교체작업을 지켜보며 한때 A업체 다닐 때가 기억이 났습니다.
건물도 좋고 급여도 꽤 괜찮게 주었던 회사인데 장비 투자에 인색하였습니다.
그래서 UPS 도입을 해 주었지만 3~4년 주기로 교체해야 되는 배터리 교체를 승인해 주지 않았습니다.
그래서 그일때 전기가 가끔 불안정할 때가 있었는데 정전됐다 하면 건물 꼭대기에 있는 기계실까지 뛰쳐 올라가야 됐습니다.
그런 후 10대이상 되는 각 서버들 터미널에 각자 붙어 SHUTDOWN 명령을 열심히 날리던 기억이 났네요!!
참... 그땐 그게 얼마나 한다고 투자를 안해줬는지....
이놈에 서버들이 정전으로 내려갔다... 다시는 부팅되지 않는 경우가 있기에...
이런 경우가 생기면 진짜 긴장했었죠....

하지만 엊그제 진행한 공장 정전시키고 전기 점검을 하는 동안 잘 돌아가는 UPS와 서버들을 보며 흐뭇한 미소가 ^^;;;
그래 이러려고 UPS가 필요한 거지~~~^^;; 그런 생각이 들었네요.
만약 만 분에 1의 장애를 회피하기 위해 UPS가 필요한걸 경영진들은 잘 알아줬으면 하네요 ^^
다행히도 UPS 덕에 편하게 정전 점검을 마치며 필요성을 더욱 크게 느끼네요!!

아.. 별로 한 것도 없는 것 같은데... 벌써 10월 말....
이제 올해 진행 사업계획을 정리하고 내년 사업을 준비해야 되는 시즌이 되었네요... @.@

예전에 어른들이 나이 들어 갈수록 시간이 빨리 간다더니... ㅠ_ㅠ 시간이 빠른걸 보니 이제 나이 많이 먹었나 보네요.. ㅎ

항상 내년 사업계획을 세우는 기간은 무척 힘든 것 같네요!!

여유롭지 않은 예산에 할 수 있는 일은 한정적인데 그래도 성과를 내야 되니까요.

다행히 자체 개발 능력이 있어 개발 프로젝트가 대부분 사업계획에 반영되지만...

내년에는 보안 영역 강화가 필요해 많은 예산을 타내고 싶은데 마음대로 될지 모르겠네요!!

매년 신경 써서 진행하는 사업계획이지만 항상 신경 쓰이는 건 어쩔 수 없네요!!

그리고 작년에 세웠던 계획 대비 결과는 살벌하죠.

작년까지는 제가 계획을 세우고 팀원들에게 공표하는 식으로 진행했지만.. 올해는 좀 빨리 시작해 팀원들과 같이 계획을 세워 보려고 하네요!!

마음은 항상 같이 하고 싶은데(??? 고통 분담일지도 ㅋ) 시간에 쫓기다 보면 독단적으로 진행하게 되더군요.

이번에는 생각대로 같이 진행할 수 있을지 차근차근 진행해 봐야 될 거 같습니다.

그리고 새로운 개발언어 마스터도 올해 목표가 코틀린이었는데... -_-a 책 2권 읽고 그냥 넘어가는 느낌이네요...

내년 계획에도 스터디는 들어가야 될 거 같네요.. 언제쯤이나 실무에 적용 가능하려나.. -_-a

다음 주부터 2주간 힘들게 사업계획 작업에 돌입해 봐야 되겠네요~~!!

지금 다니는 회사에 이직한 지 벌써 7년이라는 시간이 흘렀네요!!

처음에는 전산팀장이 되고 싶어 안정적인 자리를 버리고 이직을 결심했지요.

1인 전산으로 큰 리스크를 가지고 시작하면서 1년간은 그만둘까, 이직을 할까 라는 고민을 몇 번씩 하며 회사에도 먼가 보여주어야 된다는 압박감에 너무 힘들었던 것 같습니다.

하지만 여기서 주저 앉으면 앞으로도 책임지는 자리에서 일을 못할 거 같다는 생각이 들었습니다.

그러면서 현업 담당자들과 소통이 될 수 있는 방법을 찾았고 많은 시간을 투여해 그들이 사용하고 편해질 수 있는 시스템 개발에 노력을 하였습니다. 그러면서 현업 담당자들의 마음을 조금씩 돌릴 수 있게 되었고 지금은 그들과 서슴없이 커뮤니케이션을 할 수 있는 환경과 더 이상은 1인 전산이 아닌 팀으로서의 전산팀을 꾸릴 수 있었습니다.

혼자서 휴가도 마음대로 가지 못하고 주말에도 여행이라도 가려면 노트북을 꼭 등에 매고 이동해야 되는 삶이였지요.

하지만 지금 돌아보며 생각하면 그때의 고생하는 제가 없었으면 지금의 여유롭고 재밌는 회사 생활도 없었을 거라고 생각이 드네요!!

무슨 프로젝트를 하던 직원들이 믿어주고 지원을 해주는 것만큼 좋은 것은 없는 것 같습니다.

하지만 이 신뢰를 얻기까지는 참 어렵고 힘든 시간이 필요하다고 판단이 됩니다.

특히나 중간에 이직을 해와 그 조직에서 자리 잡기까지는 많은 노력이 필요하다고 생각이 드네요.

저 또한 이직에 실패한 경험도 있고요. 특히나 한 조직에 팀장으로 이직하는 것은 꽤 큰 모험이라는 생각이 드네요!!

하지만 그 모험에 성공하게 되면 자신만의 길을 만들 수 있는 기회가 생긴다고 생각이 드네요!!

물론 임원만큼의 힘은 없지만 자신의 팀 자체에 기준을 세우고 자신의 플랜으로 이끌어 갈 수 있는 힘은 생기니까요!!

저 또한 새로운 이직을 할지도 모르고 지금 현재 이직하셔서 힘든 하루하루를 고민하며 지내는 분들도 있을 거라 생각합니다.

하지만 그것도 터널과 같이 그 기간을 노력으로 통과하면 어두운 터널을 빠져나와 빛이 보일 거라고 생각이 드네요!!

올 12월이면 만 7년 지금 근무하는 회사로 이직하여 팀장으로서 역할을 해온 걸 생각하며 글을 남겨보네요!!

어떤 업무건 프로세스를 세우고 중간에 검증하는 시스템을 구축해 놓는다.

문제가 생겼을 때는 요청을 해서 해당 검증 프로세스를 강화하고 안착을 시키지만...

먼가 변화가 생겼을때는 걷어내고 싶어 하는 것 같다.

얼마 전 공장에 장비 변경이 있었던 것을 통지를 받았지만 검증 프로세스를 변경했다는 통지는 받지를 못했다.

하지만 문제가 발생되어 자료가 넘어왔고 제가 판단했던 검증 시스템을 통과할 수 없는 사고였다.

그래서 해당 사건을 추적하게 되었고 원인을 찾아 들어가게 되었다.

결론은 해당 작업실에서 기존에 바코드 인쇄 후 검증하는 시스템을 임으로 걷어내었던 것이다.

물론 장비를 납품했던 업체의 말만 듣고 전산팀에 문의를 하지 않고 진행되었던 일이다.

이 부분에 대해서는 공장에 가서 원인 조사를 하고 담당자에게 문책을 할 것이다.

근데 아쉬운 점은 어려움이 존재했을 때는 연락하고 협의했던 부서들이 다른 결정을 할 때는 애기 한마디 없이 걷어내고 아무 말도 안 해준다는 서운함이 더 컸다.

다시는 이런 문제가 발생하지 않도록 개선할 것인지 확인이 필요할 듯하다.

이번 주 금요일 공장에 가게 되면 공장 팀장님들과 많은 얘기를 나눠야 될 것 같다.

그래도 다행히 큰 사고로 이어지지 않아 다행인 듯하고 통화 후 검증시스템이 제자리를 찾아 돌아왔다.

사람들은 담당자의 눈이 정확하다고 판단을 하지만 사람의 눈을 피해 가는 오류를 잡아낼 수 없다.

특히나 바코드 같은 경우는 사람의 눈으로 문제점을 파악할 수 없다.

한번 잘 구축된 시스템을 무너뜨리지 말고 잘 유지해 줬으면 한다.

월요일 출근하며 어쩔 수 없이 일요일 오전에 진행했던 서버 패치에 대해 곰곰이 생각해 보았다.

보통은 토요일 오전에 진행하지만 공장 직원들이 토요일 특근을 하는 바람에 하루 미루어졌다.

전에 근무하던 전산실에서는 퇴근 후 패치를 하거나 점심시간 때 패치를 진행하는 경우가 있었다.

분명 근무시간 내에 작업이 가능한 부분은 있지만 패치 후 이상 동작 발생 시 문제가 발생했다.

근무 중 서비스가 일정 시간 진행이 안되거나 패치 후 서버가 제대로 동작하는지 한동안 모니터링할 시간이 없었다.

그래서 전산팀을 내가 운영하면서는 패치는 금요일 야간 또는 토요일로 정해놓았다.

귀찮은 작업이긴 하지만 패치 후 문제 발생 시 대응할 수 있는 시간을 24시간 이상 벌 수 있다는 장점이 있다.

물론 정식 근무시간도 아닌 주말에 꼭 이래야 할 필요가 있을까 하지만...

미리 공지 안 해도 되고 혹시나 시스템에서 작업 중인 사람을 무시하고 업데이트를 진행하는 리스크에 비하면 할만하다고 생각한다.

머.. 그 이전에 MS에서는 이런 보안패치를 꼭 재부팅을 동반해서 해야 되는가 라는 물음표는 아직도 쫓아다닌다.

윈도 2012 서버가 발표되기 이전 이슈가 리눅스처럼 재부팅 없이도 패치가능하다는 거였는데...

윈도우 2018이 나온 현재까지도 전혀 변하지 않고 있다.

암튼... 이래저래 옆으로 이야기가 흐른 듯 하지만 서버 업데이트 일정은 언제가 좋다고 생각하시나요?

이런저런 리스크를 감안하면 한 달에 1~2시간 정도 투자는 가능하다고 판단되고 글을 남겨 보네요!!

15년간 전산팀 생활을 해오며 많은 사건들이 있었던 것 같다.

하지만 가장 힘들었을 때를 생각하면 장비나 서버들의 장애로 인해 현업 사람들의 업무가 중단되었을 때였던 것 같다.

지금이야 이중화 장비라던지 복구장비들이 가격도 많이 내려가고 일상화 되었지만...

불과 10년 전만 해도 중소기업 전산실에 그런 장비는 꿈도 못 꾸었다.

지금 근무하는 곳으로 이직 후 이중화 및 실시간 백업 등 많은 시스템의 도움으로 인하여 6년간 무중단 운영을 하고 있었다.

하지만 문제는 생각지도 못한 곳에서 터지고 말았다.

홈페이지의 경우 전 회사에서는 직접 웹서버 관리를 하였지만 이곳은 웹사이트도 1개밖에 없기에 홈페이지 구축업체에서 호스팅을 하여 5년간 잘 사용하고 있었다.

그런데 하필이면 오래간만에 연차 2개를 붙여 쓰고 캠핑장에 출발하려고 하는데 갑자기 전화가 울렸다...

음.. 그런데 참 희한하게도 이 순간에 느낌이 싸했다.. ^^;;; 먼가 조짐이 있던 거죠.

아니나 다를까 전산팀 차석 관리자에게 연락이 왔다

오전 9시부터 회사 홈페이지에 접근이 안된다고 관련 부서에 연락을 받고 직접 접속해보니 80 포트 접근이 안 되는 오류라고.... 일단 어떻게 해야 되냐고 전화로 문의해 온 것이다.

역쒸나 회사 입사 후 장애를 많이 겪어보지 않아서인지 잔뜩 긴장한 목소리였다.

일단 호스팅 업체 연락해서 접속 오류 전달하고 원인 확인 요청하라고 지시를 했다.

30분 후쯤 다시 연락이 왔다. 업체에서는 서버로 공격이 들어와 서버를 재부팅했고 다시 서비스를 올렸지만 중국 IP 대역으로부터 대용량의 디도스 공격이 들어와 다시 서버에 랜선을 분리한 상태라고...

^^a와~~~~ 정말 난감해졌다... -_-a

일단 담당자에게는 내가 전화할 테니 일단 다른 업무에 집중하라고 지시한 뒤
업체 관리자와 통화를 했다.

역쒸나 현재 서비스를 재개할 방법을 찾고 있지만 어느 정도 시간은 소요가 필요하다고 하였다.

일단 대략적인 복구 시점이 정해지면 연락을 달라고 요청하고 전화를 끊었다.

퇴근 시간인 5시가 다 되어가는데도 연락이 오지 않았다

다시 연락을 취하니 아마 오늘 근무시간 내로 복구는 힘들듯 하다며 최선을 다 하겠다는 답변을 들었다.

그래서 혹시나 홈페이지 소스 및 데이터베이스 손상은 없었냐고 물어보니 다행히 문제가 없다고 하였다.

2개월 전 받아놓은 최종 소스 및 데이터베이스가 있었기에 걱정은 안 했지만 다행히 데이터 쪽 손상을 주는 공격은 아닌 듯하여 안심하였다.

밤샘 복구를 하는 것을 알기에 다음날 오후 2시쯤 연락을 했다

역쒸나 밤새 복구작업을 하고 있었고 전혀 다른 IP 대역에 서버로 이전하는 방법밖에 없다고 설명했다.

일단 업체에서 넘겨준 IP 대역으로 홈페이지에 사용하는 도메인 정보들을 수정 후 어플라이 해주었다.

NSLOOKUP을 통해 확인 후 담당자에게 문자로 도메인 적용되었다고 통지하였으며 드디어 오후 2시 30분경 홈페이지가 복구되어 서비스되었다.

이제야 마음이 편안해지는 느낌이었다. 근데 복구 후 돌아보니 휴가를 내고 놀러 가서 제대로 놀지 못한 자신이 있었다.
ㅠ_ㅠ 아구아구 내연차~~~~!!

다음 주 복귀 후 업체에게 사고 리포트를 제출받아 체크했고 원인은 중국 측에 대규모 디도스 공격으로 인한 문제로 귀결되었다.

다행히 인터넷 나야 나 사태와 같이 데이터가 소실되거나 하진 않았지만.

장애가 얼마나 불편하고 싫은 일인지 오래간만에 느끼게 해 주었다.

그리고 메인 레거시 시스템은 아니지만 홈페이지 데이터 백업 주기도 당겨야 되겠다는 생각이 들었다.

내 연휴 휴가 중 이틀이 날아갔지만 많은 것을 느끼게 해 준 디도스 공격이었던 것 같다....

지금 근무하는 전산팀은 인원이 많지는 않지만 자체 개발을 하고 있다.

기간계(ERP) 시스템 외 여러 가지 프로그램을 개발하여 관리를 진행하고 있다.

주기적인 요청사항을 받아 프로그램을 업데이트하고 있으며 신규 프로그램을 개발하여 디플로이 하다 보면 코딩상 실수로 인하여 버그를 야기하는 경우도 있다.

이를 방지하기 위해 담당 직원 개발 및 테스트 후 팀장이 검증 작업을 거치지만 프로그램 전체 로직을 리뷰하는 건 불가능하기 때문에 주요 프로세스 및 프로그램 시뮬레이션 후 문제없으면 디플로이 하도록 하고 있다.

하지만 어제 확인된 버그는 입력된 데이터의 분류를 예상치 못하여 문제를 일으켰다.

개발자의 실수도 있지만 제대로 검증하지 못한 팀장의 실수도 크다.

항상 조심을 하지만 참 어려운 부분인 것 같다.

개발자 개발 -> 개발자 테스트 -> 사용자 테스트 -> 전산팀장 테스트 -> 디플로이 프로세스를 진행하지만...

놓친 부분이 디플로이 후 실 데이터에 대한 모니터링을 좀 더 강화했다면 충분히 사전에 막을 수 있던 부분이었던 거 같다.

우리는 개발 후 테스트하며 완벽하다고 생각하지만 언제든 문제는 나올 수 있다.

오늘 출근해서 잘못된 데이터에 대한 처리 부분에 대한 해결책을 만들어 내야 하지만 앞으로 더 큰 문제가 생기지 않으려면 직원에 대한 추가 교육이 필요할 듯하다.

지나간 일은 어쩔 수 없이 쓸어 담을 수 없지만 미래에 대한 리스크는 최소화해야 될듯하다.

어쨌든 사고가 발생한 후 수습은 한상 씁쓸하기만 하네요!!
그래도 앞으로 동일한 실수가 나오지 않게끔 강력한 후속조치가 제일 중요한 것 같습니다.

어제 같은 모임에 있는 대기업 전산팀장님이 근방에 오셔서 연락을 주셨다.

코로나 때문에 꽤 오랫동안 못 뵙다가 오래간만에 차 한잔 할 수 있었다.

항상 앉으면 하는애기가 전산쟁이라 그런가 전산 관련 이야기가 가장 크다.

항상 느끼는거지만 대기업 전산실과 중소기업 전산실의 투자 차이는 어마어마하다.

가상화, SSD대용량 스토리지 시스템, 네트워크 보안 및 이중화 시스템, 문서 중앙화 시스템 등 부러운 것이 한두 가지가 아니다.

물론 해당 시스템은 항상 검토하고 자사에 맞는 시스템이 어떤것인지는 항상 염두에 있지만 회사의 투자는 빈약하기만 하고 우리 규모에서 투자할 수 있는 범위가 한정적이라는 것 또한 인정한다.

하지만 애기를 나누며 기분이 씁쓸해지는 것은 어쩔 수 없네요!!

이제 차근차근 하나씩 도입하며 해결에 가야 되지만... 눈에 보이지 않는 개선 사항을 설명하고 설득하기까지 얼마나 걸릴까요?

옛말에 소잃고 외양간 고친다는 말이 있는데 이렇게 되기 전에 하나씩 도입해야 되는데....

출근하며 머리속에 어제 대화가 자꾸 맴돌아~~~ 글로 정리해 보네요!!

그래도 올해 네트워크 보안 1가지만이라도 개선해보고 싶네요!! @.@ 예산도 잡혀있는데 ㅠ_ㅠ

최근 전산팀 팀원의 건의에 따라 고민 중인 내용입니다.

제가 다니는 회사의 경우 기존에 전산팀이 없었고 그리고 전화의 경우는 총무팀에서 관리를 해왔습니다.

그런데 제가 입사하기 얼마전에 일반 전화 -> 인터넷 전화로 장비들이 교체가 되었고 이후 제가 입사하여 전산팀을 새로 만들었습니다.

자연스레 이사나 이전이 있을때 PC에 네트워크 이전작업을 해주며 전화기도 같이 옮겨주었습니다.

장비의 관리주체는 총무이지만 랜선으로 처리가 되기에 저희가 작업을 했던 거지요.

하지만 이게 두 개가 묶여있다 보니 명확 치도 않고 전산팀으로 문의도 자주 오는 게 현실입니다.

물론 장비 고장으로 확인되면 총무팀으로 이관하여 장비 교체나 A/S를 요청하여 처리합니다.

자주 문의 오는 것도 아니고 제 스타일상 누가 하든 잘 처리하는 게 중요하다고 생각하지만 팀원 입장에서는 이게 옳지 않다고 판단이 되는 듯합니다.

근데 참 이게 난해합니다. 요즘 네트워크로 연결 안 되는 장비가 거의 없고 전산팀의 문의 없이 함부로 설치해도 골치가 아프긴 매 한 가지거든요.

제 생각은 전화 장애의 원인이 네트워크일 가능성이 높으므로 전산팀에서 확인 후 네트워크 이상 없을 시 총무팀으로 이관하는 게 맞다고 생각이 드네요!! ( 총무에서는 확인할 방법이 없으니 )

회사마다 처리하는 방식이 틀린 만큼 꼭 다른 회사에서 이렇게 구분해서 관리한다 해서 그렇게 갈 필요는 없다고 생각이 드네요!!

자주 발생하는 이슈도 아닌데 굳이 이걸 칼같이 나누어 니일 내일 나눌필요가 있을까라는 생각이 들어서 글을 남겨 보네요....

여러분들 회사는 PC 교체주기가 얼마나 되나요?

저희는 감가상각이 끝나는 5년을  PC 교체주기로 지정을 했지만 실상은 고장 날 때까지 쓰거나 도저히 사용이 어려워 사용자의 요청이 오면 교체 작업을 진행하게 됩니다.

SSD가 대중화 되면서 PC 사용기한이 길어졌고 지원이 끝나 윈도 7 PC가 8~10년 정도 되었지만 현역으로 많이 쓰이고 있죠.

올해 하반기부터 순차적으로 오래된 PC 부터 교체를 진행할 예정인데... 대수가 만만치 않네요!!

이렇게 늦게 교체가 진행되면 당연히 비용적으로 회사에 이익이겠지만 보안적으로 지원이 끊긴 운영체제를 유지하는 전산팀 입장에서는 어려움이 크죠.

앞으로도 교체주기를 어떻게 관리해야 될지 교체하면서도 고민이 되네요!!
오래 써주고 잘 사용해준 직원들에겐 감사하지만 늦은 교체에 생각이 씁쓸해지네요....