IT Etc...

나는 개발자인가.

Pure Sage — Mon, 20 Aug 2018 16:39:41 +0900

흔하디 흔한, 중소기업 굴러다니는 SI/SM업무를 하며 '개발자'라는 타이틀을 달고 있는 사람.

좀 더 냉정해지자면, 고연봉, 워라벨, 개발자 라는 단어와는 크게 연관이 없어 보이는 사람.

그게 나다.

Developer라기엔 지식의 넓이가 좁고, Programmer라기엔 지식의 깊이가 얕다.

일단 '개발자'라는 타이틀로 회사에서 내 직업군이, 구직할때 내가 체크할 부분이 저거니 개발자가 맞긴 맞을거다.

그렇다면 난 무슨 개발자일까.

DA(Data Architecture), DBA(Database Administrator)라기엔 SQL 구문이나 각종 DBMS와 그다지 친하지 않다.

Back end developer 라기엔 JAVA를 포함한 Server-side 언어에 대한 지식의 깊이가 없다.

Front end developer 라기엔 최근의 JS Framework, Library에 대한 지식 폭이 넓지가 않다.

아니, 애초에 Client-side 언어에 대한 지식이 폭이 좁다.

그렇다면, 내 정체성에 가까운건 분명 Full stack developer인가?

고작 이 정도 업계 경력과 업계 지식으로 Full stack을 자처하는 것은 분명 비웃음을 살 일이다.

누군가 나한테 '너는 개발자냐'라고 묻는다면,

나는 고작 '아니 그냥 IT업계에서 일하는 직장인'이라고 밖에 말 못할 것 같다.

그럼에도 불구하고, 나 같은 놈도 이 업계에서 벌써 7년째 벌어먹고 살고 있으니...

새로이 IT업계에 뛰어드는 사람들은 좀 더 당당할 실력과 자신감을 가졌으면 좋겠다.

iBatis iterate 안에서 iterate 하기.

Pure Sage — Fri, 18 May 2018 14:20:14 +0900

일반적으로 쓸일이 없긴 한데, 이번에 어쩌다보니 쓰게되었다.

구조는 List를 Map에 넣고, 해당 Map을 List에 넣는다.

List<String> list = new ArrayList<String>();

list.add("A");

list.add("B");

list.add("C");

Map<String, Object> map = new HashMap<String, Object>();

map.put("list", list);

List<HashMap<String, Object>> allList = new ArrayList<HashMap<String, Object>>();

allList.add(map);

...

과 같은 형태로 파라미터를 설정하게 될 경우가 있다.(최근 생겼다.)

그런데 이 allList를 파라미터로 던질 경우, iterate의 property 속성에 명칭이 없어서 인식이 안되는 듯 하다.

고로, allList를 Map에 넣어주면 가독성 있게 인식한다.

Map<String, Object> param = new HashMap<String, Object>();

param.put("allList");

최종적으로 보자면,

Map > List > Map > List

param > allList > map > list

iterate 구문은 다음과 같다.

SELECT

#allList[].list[]# AS $allList[].list[]$

</iterate>

FROM DUAL

</iterate>

</select>

결과적으로 SQL문은,

SELECT

'A' AS A

, 'B' AS B

, 'C' AS C

FROM DUAL

UNION ALL SELECT

'A' AS A

, 'B' AS B

, 'C' AS C

FROM DUAL

처럼 나온다.

HTTP Method 제한

Pure Sage — Tue, 24 Apr 2018 14:24:34 +0900

참조 링크

http://duco777.blog.me/220765466402

http://kdsr2z0.github.io/HttpMethodLimit/

http://www.4te.co.kr/572

공공기관 홈페이지 보안관련 규정 중, '웹 서비스 메소드 설정 공격'이라는 항목이 있다.

일반적으로 사용하는 GET, POST 메소드 이외의 PUT, DELETE, COPY, MOVE 등의 불필요한 메소드를 허용하였을 경우 공격자가 이를 이용하여 웹 서버에 파일 생성, 삭제 및 수정이 가능한 취약점

이라고 설명 되어 있는데... 일단 따지지 말고, 조치하자.

점검 방법은 다음과 같다.

1. 80포트로 텔넷 접속 시도(telnet 1.1.1.1 80)

2. 접속 후 OPTIONS * HTTP/1.0 [엔터 2회] 입력

3. 출력 값에 PUT, DELETE와 같은 불필요한 메소드 활성화 여부 확인

4. PUT 메소드가 활성화된 경우 악성 파일 업로드가 가능한지 확인

* 3번의 화면

위 화면은 다 열려있다는 소리.

검색해보면 apache의 httpd.conf 설정하기, 또는 Web Application의 WEB-INF/web.xml에서 설정하기 등이 있는 듯.

Web Application에서 하는 방법으로는, security-constraint를 추가하란다.

[web.xml]

<web-app ...>

...

<security-constraint>

<web-resource-collection>

<web-resource-name>restricted methods</web-resource-name>

<url-pattern>/*</url-pattern>

<http-method>PUT</http-method>

<http-method>DELETE</http-method>

<http-method>OPTIONS</http-method>

<http-method>TRACE</http-method>

<http-method>COPY</http-method>

<http-method>MOVE</http-method>

</web-resource-collection>

<auth-constraint />

</security-constraint>

</web-app>

과 같이 설정하고 WAS 재기동.

web-resource-name에는 대충 적어주고, url-pattern에는 해당 규칙을 사용할 url의 규칙(예제는 모든 요청), auth-constraint 안 넣어주면 작동 안한다. role-name 설정으로 회피 가능.(http://www.4te.co.kr/572 참조)

으로 왠만하면 끝난다는데, 검색하던 중 Spring Framework를 사용했을 경우 실질적으로는 막혀있지만 HTTP Method가 allow에 뜬다고 한다. 그리고 작성자도 동일한 증상. (자세한 것은 http://duco777.blog.me/220765466402 참조)

결국 위 취약점 점검에서 걸린게 이것 때문일테니, 이것까지 막으려면 <servlet>의 DispatcherServlet 설정 부분의 init-param으로 dispatchOptionsRequest를 추가하라고 한다.

[web.xml]

<web-app ...>

...

<servlet-name>action</servlet-name>

<servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>

<init-param>

<param-name>...</param-name>

<param-value>...</param-value>

</init-param>

<init-param>

<param-name>dispatchOptionsRequest</param-name>

<param-value>true</param-value>

</init-param>

<load-on-startup>1</load-on-startup>

</servlet>

...

</web-app>

그러면,

이런 식으로 뜬다. 적용 완료.

Oracle용 insert batch 샘플

Pure Sage — Wed, 5 Jul 2017 14:07:38 +0900

이번에 좀 황당한 일을 하게 되었는데...

약 2만개의 파일에, 해당 파일 내부 정보를 파싱해서 데이터 구조를 만들어 DB에 때려박는 일이었다.

각 파일의 45만개 정도의 값을 가지고 있고, 그 중에 유효한 값은 10만개 정도.

총 값의 갯수는 18억개... rows가 18억이 좀 넘는다.

흔히들 하는 JDBC 2.0 범용 batch로 작성했더니, 대충 일주일 (6.3일)정도의 예상 시간이 나왔다.

iBatis로 돌려도 비슷한 예상시간 도출.

어차피 이쪽 업무 특성상 DB가 바뀔 일은 거의 없기도 하고, 애초에 데이터 생성이 목적이지 그 기능을 범용으로 쓰는것도 아니기에,

어찌어찌 검색하다보니 Oracle-specific 라는게 걸렸고, '퍼포먼스 향상'이라는 말에 열심히 검색해봤다.

https://docs.oracle.com/cd/E11882_01/java.112/e16548/oraperf.htm

http://fruitdev.tistory.com/111

http://hyeonil.blogspot.kr/2013/08/preparedstatement-database-batch-update.html

개발환경

JAVA : JDK 1.7.0_79

RDBMS : Oracle 11g (11.2.0.1.0)

IDE : eclipse Mars.2 (4.5.2)

기록성 블로그이므로 최하단의 소스 부분만 oracle 성능 향상 batch 코드라 앞의 것들은 무시해도 된다.

일단, 해당 파일을 리스트 형태로 불러온다. (파일, 디렉토리 구조는 /temp/a/1.txt, /temp/b/2.txt...)

getFileList(String realPath)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
private static List<String> getFileList(String realPath) throws IOException {
    List<String> fileList = new ArrayList<String>();
        
    File path = new File(realPath);
    File[] fileArr = path.listFiles();
        
    for(File file : fileArr){
        if(file.isDirectory()){
            for(String str : file.list()){
                fileList.add(file.getCanonicalPath() + File.separator + str);
            }
        }
    }
 
    return fileList;
}
Colored by Color Scripter
cs

만일 하나의 디렉토리 내에 모든 파일이 있다고 하면, if와 그 안의 for문은 빼도록 한다.

그 다음 파일 내용을 읽어서 데이터 생성

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
private static HashMap<String, String> setFileToData(String realPath, String fullPath) throws Exception {
    File file = new File(fullPath);
    BufferedReader br = null;
 
    String fileName = file.getName();
 
    int headerCnt = 0;
    int totalCnt = 0;
    double retTime = 0;
 
    try {
        String[] splitStr = null;
        String[] cdArr = selectFileToCode(realPath, fullPath);    // 파일명을 통한 코드 생성
 
        br = new BufferedReader(new FileReader(file));
 
        String line = null;
 
        // 헤더 정보
        int x= 0, y= 0;
        BigDecimal xc = null, yc = null, cSize = null;
        String noVal = "";
            
        while (null != (line = br.readLine())) {
            splitStr = line.split(" ");
            if (10 > headerCnt) {    // 동일한 txt 형태로, header 부분이 10라인
                // 헤더 파싱하여 값 설정
                headerCnt++;
            } else {
                // 본문 내용 파싱하여 DB에 INSERT할 데이터 생성
            }
        }
        retTime = insertBatchFileToDB(list);
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        try {
            br.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    HashMap<String, String> retMap = new HashMap<String, String>();    // 필요값 리턴
 
    retMap.put("retFileName", fileName);
    retMap.put("retTime", String.valueOf(retTime));
    retMap.put("retSize", String.valueOf(list.size()));
    
    return retMap;
}
Colored by Color Scripter
cs

selectFileToCode(...) 를 통해 해당 파일명을 기준으로 코드값을 생성하고,

while 구문 내에서 각 라인 단위로 로직을 처리했다.

그리고 insertBatchFileToDB(...) 메소드에 파싱된 데이터를 List로 구성하여 넘긴다.

이제부터가 Oracle 전용 퍼포먼스 향상된 Batch.

일단 Connection을 생성 메소드를 하나 만든다. 그냥 내부에서 해줘도 상관은 없다.

1
2
3
4
private static Connection getOrclConn() throws Exception{
    Class.forName("oracle.jdbc.OracleDriver");
    return DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:orcl", "test", "test");
}
Colored by Color Scripter
cs

batch 실행.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
private static double insertBatchFileToDB(List<Object> list) throws Exception{
    long start = System.currentTimeMillis();    // 작동 시간 측정용
 
    // ojdbc6.jar 사용. import는 oracle.jdbc.*  
    OracleConnection conn = null;        // 통상 Connection으로 선언
    OraclePreparedStatement ps = null;    // 통상 PreparedStatement로 선언
 
    StringBuffer sql = new StringBuffer("INSERT INTO TB_TEST (")
                    .append("COL1")
                    .append(", COL2")
                    .append(", COL3")
                    .append(", COL4")
                    .append(", COL5")
                    .append(", COL6")
                    .append(", COL7")
                    .append(", COL8")
                    .append(") VALUES(?, ?, ?, ?, ?, ?, ?, ?)");
 
    try{
        conn = (OracleConnection) getOrclConn();    // Connection 생성 시 OracleConnection으로 형변환
        conn.setAutoCommit(false);                    // 자동 commit 끔
 
        // prepareStatement를 OraclePreparedStatement으로 형변환
        ps = (OraclePreparedStatement) conn.prepareStatement(sql.toString());
 
        int cnt = 0;    // row Count
 
        for(Object obj : list){
            ps.setString(1, obj.getCol1());
            ps.setString(2, obj.getCol2());
            // 생략 ...
            ps.setBigDecimal(8, obj.getCol8());
 
            ps.addBatch();    // OraclePreparedStatement에 batch로 완성된 SQL 추가
            ps.clearParameters();    // OraclePreparedStatement에 지정된 Parameter값 초기화
            
            cnt++;
            if((cnt % 10000) == 0){    // batch에 누적된 건수가 1만건
                cnt = 0;
                ps.executeBatch();    // 누적된 batch 실행
                ps.clearBatch();    // 누적된 batch 초기화
                conn.commit();        // Commit하여 적용
            }
        }
 
        // 최종적으로 누적된 채 남은 batch 작업(위의 if문) 실행
        ps.executeBatch();
        ps.clearBatch();
        conn.commit();
 
    }catch(Exception e){
        e.printStackTrace();
    }finally{
        ps.close();
        conn.close();
    }
 
    long end = System.currentTimeMillis();    // 작동시간 측정용
 
    return (end - start) / 1000.0;    // insertBatchFileToDB 실행에 걸린 시간 
}
Colored by Color Scripter
cs

위 코드 중 cnt 대신 batch에 등록된 건수를 기준으로 executeBatch()를 하는 방법도 있다.

일단 데이터 생성이 급해서 하긴 했는데, 몇가지 의문이 있다.

1. clearParameters()를 해야 하는가. 어차피 for문 돌면서 덮어씌울텐데. 메모리 쪽에 부하가 가나?

2. for문 밖, 맨 밑부분의 clearBatch()는 필요한가. 어차피 close() 되는데.

3. 대체 왜 이렇게 압도적인 속도가 나오는가.

뭐, 그건 나중에 찾아보고... 다음 실행할 main이다.

1
2
3
4
5
6
7
8
9
10
public static void main(String[] args) throws Exception {
    // String realPath = "C:\\temp\\";
    String realPath = args[0];
 
    List<String> fileList = getFileList(realPath);
 
    for(String fullPath : fileList){
        System.out.println(setFileToData(realPath, fullPath));
    }
}
Colored by Color Scripter
cs

경로를 파라미터로 하여 실행할거라면 위처럼 받으면 되고, 하드 코딩 하려면 그 위의 주석처럼.

fileList를 받아와서 그 중 필요한 부분을 인자로 던진다.

해서 돌려보니,

파일 하나당 값 갯수는 약 45만건, 그중 유효 데이터는 약 9만 5천건. 소요 시간은 평균 0.2~4초. 중간중간 2~4초로 튀는 경우가 있는데, 대충 20여건에 한두번씩 그런다. GC때문인가...

이전에 해 놓은 iBatis나 JDBC로는 24시간 기준으로 8-9천만건 전후였다.

아무튼, 그래서 최종적으로,

파일 : 약 1만 9천개

파일 파싱 데이터 : 약 45만개

유효 파싱 데이터 : 약 9만 5천개

총 INSERT ROWS : 약 18억 rows.

iBatis Batch : 약 6일 소요 예상

JDBC 2.0 Batch : 상동(사알짝 빠른 듯 싶다)

Oracle-specific model batch : 약 11시간

Oracle DB에 무식하게 데이터 때려박으려면 oracle-specific을 이용한 batch가 최선으로 보인다.

Audeze iSine 20

Pure Sage — Fri, 19 May 2017 18:37:44 +0900

슬슬 Sennheiser IE800이 구매한지 3년이 넘어서, 다른 이어폰을 물색하고 있었다.

그러던 중 눈에 띄인 iSine은 무려 '평판형 이어폰'. 10과 20이 있는데, 10은 검은색, 20은 어두운 갈색?

둘의 음색차이가 있다고 하는데 iSine 10은 안들어봐서 모르겠다.

내게 있어서 평판형이라는건 '음질이 좋다고는 하는데 그건 모르겠고 내가 저거 쓰면 목 부러지겠다' 싶은 크기를 자랑하는 것들밖에 안보여서, 호기심과 좋은 평가들에 이끌려 구매했다.

원래 저번달에 구매하려고 했는데, 재고가 없어서......(~~잔고도 없었고~~)

이 글을 작성하는 현재 시점에서는 세에라자드만 수입해서 판매하는 듯.

배송 포장 상태는 꽤 좋았다.

제품 패키지를 저 흰색 스펀지 같은걸로 감싸고, 그 위에 저 흰색 무지박스로 감싸고, 그 위에 또 택배박스로 감싸서 깔끔하게 포장해줬다.

제품 패키지를 오픈하면 위처럼 되어있다. 저 플라스틱 케이스는 걸쇠형. 세로 기준 양 옆 중앙 부분 살짝 눌러주고 당겨주면 빠진다.

사용자 설명서와 워런티 가이드가 USB에 들어있다. 여러 IT기기를 사봤지만 대부분 프로그램은 CD, 설명서는 종이였던 것을 감안할때 색다른 경험이었다.

아참, 해당 USB의 용량은 128MB. 어떻게 보면 요즘 구하기 힘든(!) 레어템이다.

처음에 저거 꺼낼때 대체 어떻게 꺼내야 하는건가 싶었는데 그냥 스펀지 구겨지든 말든 하단부 케이블 탈착부 잡고 위로 올리면 빠진다.

일단 확실히 해야 할건, 이 isine은 커널형의 장착방식을 따르지만 이 자체로는 '오픈형'이다. 즉, 볼륨을 올리게 되면 바깥으로 소리가 샌다.

그리고 옆에서 사람이 말하면 착용한 채로도 말소리가 잘 들린다. 일반적으로는 안좋은 현상이지만, 내 경우 업무 중에 듣기 때문에 크게 나쁠건 없다.

아마 나처럼 안경끼는 사람들은 귀 바깥쪽으로 걸리는 이어훅은 별로 안좋아할 듯 싶다. 근데 문제는, 귀 안쪽으로 걸리는 이어훅의 착용이 생각보다 어렵고 딱히 고정된다는 느낌을 받지도 않는다. 근데 이게 또 웃긴게, 제대로 걸치면 왠만해선 빠지지도 않는다.

장착법 : http://cafe.naver.com/schezade/27173

착용감 자체는 나쁘지 않고 무겁다는 느낌도 전혀 없다. 그런데 여기에는 함정이 하나 있으니, 사이퍼 케이블이 예상외로 묵직하다. 케이블 클립을 쓰는게 여러모로 좋을 듯 싶다. 장착 사진은 눈테러가 될까 염려되어 패스.

다른 IT기기에 비해 사운드 관련된 쪽은 원체 미신도 많고, 수치화된 데이터만 가지고 이야기하기도 곤란하다.

THD가 어쩌고, 측정치가 어쩌고 하는 소리는 다른 사람들이 많이들 하니 패스하고, 다른 사람들에게 선입견을 줄 수 있으니 음색에 대해서는 언급하지 않는다. 애초에 다른 사람들에게 이건 음색이 어떻고 음질이 어떻고 할만한 사람은 아니다. 단순히 청음해서 '어머 이건 질러야해' 했던 이어폰이 비싼 거였을 뿐이지. (~~근데 청음도 안하고 지른게 몇개 있다. 디락이라던지, 포칼 리슨이라던지, iSine 20이라던지~~)

IE800의 경우 소리가 선명한 만큼 밀도가 높은 느낌이다. 그에 비해 iSine 20은 소리가 선명하면서도 IE800에 비해 좀 덜 자극적이고 각 소리간에 여유가 있다는 느낌. 예를 들자면, 단단한 스펀지(IE800)와 상대적으로 부드러운 스펀지(iSine 20)라는 느낌. (~~사람이 문과를 나와야 글을 잘쓰나보다~~)

사이퍼 케이블과 일반 케이블의 차이가 좀 있다. 최소한 난 사이퍼 케이블 쪽이 훨씬 좋게 들렸다.

IE800의 소리가 극단적인 호불호로 나뉘고, 이런저런 이슈들이 있어서 그렇지 취향만 맞으면 '어떻게 이어폰에서 이 정도 소리가...' 라는 평가가 나왔는데,

iSine 20은 내 주관으로 볼때 디자인에서 호불호가 심할지언정 소리에 대한 호불호는 심하지 않을 듯 하다. 날카롭지 않게 선명하고, 충분히 공간감이라고 칭할만 한 느낌이 있다. 아마 오픈형의 구조 때문인 듯 한데, 밀폐형 커널 이어폰에서 느낄 수 없는 느낌이다.

가능하다면 샵에 가서 청음 해 보는 것을 추천한다. 꽤 괜찮은 경험이 될 것이라고 생각한다.

결론

* 한참 붙들고 애지중지 할 듯.

장점

1. 레퍼런스 헤드폰급의 공간감

2. 자극적이지 않고 선명한 음색

3. 사이퍼 케이블을 통한 아이폰 직결

4. 사이퍼 케이블의 볼륨 증폭량 높음.

단점

1. 일반적인 리모트 컨트롤 달린 케이블보다 1.5-2배쯤 무거운 사이퍼 케이블

2. 오픈형이므로 외부 소리와 단절이 안되고, 듣는 음악 소리도 새어나감

3. 뻥 뚤린 커널부(지름이 다른 커널형 이어폰의 1.5-2배)로 인해 귀지, 먼지 등의 유입 걱정

4. 다른 이어팁을 끼고 싶어도 호환되는 이어팁 전무(구 쿼드비트 이어팁이 맞다고는 하는데...)

추천대상

1. 인도어용 라이트닝 직결 이어폰이 필요한 사람

2. 차음따위 무시하고 고음질 이어폰이 필요한 사람

3. 이어폰에 헤드폰급 공간감을 요구하는 사람