맥에서 Hadoop 1.2.1 설정하기

Map Reduce Tutorial (http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html)을 돌려보려는데,


  • Unable to load realm info from SCDynamicStore 메시지가 나올 때 : hadoop-env.sh 에 옵션 추가 (참고)

HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null"

댓글

댓글 쓰기

이 블로그의 인기 게시물

Confluence 에서 Export PDF 로 내보낼 때 Code Block 에서 한글 깨짐

Confluence 에서 PDF 를 내보내려면 한글 폰트로 세팅해주어야 하고, 이에 대해서는 어렵지 않게 관련 문서를 찾을 수 있다. 예를들면  http://pseg.or.kr/pseg/atlassian/7791 그런데 Code Block 에서는 여전히 한글이 깨지고, 이에 대한 티켓 도 있지만 2018년 4월 현재 아직 수정해줄 기미가 없다. 그런데 해당 댓글을 보다 보면 CSS workaround 를 만들어준 능력자가 있다. 아래 코드를 Site Administration - Look and Feel - PDF Stylesheet - PDF Export Stylesheet 에 적어주자. div.codeContent.panelContent pre { font-family: ConfluenceInstalledFont !important; }
자세한 내용 보기

pandas.read_csv() 에서 왠만하면 컬럼타입을 지정하자

다음과 같은 파일이 있다 : CODE,DATE,TIME,OPEN,HIGH,LOW,CLOSE,VOLUME 000020,20190502,901,9770,9790,9770,9790,98 000020,20190502,902,9830,9830,9830,9830,1 000020,20190502,903,9830,9850,9830,9850,1 그렇다. 이건 하루치 분봉 데이터를 모은 것으로, 46M 정도의 크기이다. 이를 다음과 같이 나이브하게 로드했다: >>> df=pd.read_csv('test.csv') sys:1: DtypeWarning: Columns (0) have mixed types. Specify dtype option on import or set low_memory=False. 분봉이므로 9시 1분부터 오후 3시 30분까지 383개 의 데이터가 존재한다. 그런데 다음과 같은 명령으로 조회시 특정 컬럼에 대해서만 개수가 모자라는 현상이 있었다 : >>> df[df['CODE']=='071970'] 262140  071970  20190502  1029  5170  5170  5170   5170       1 262141  071970  20190502  1030  5170  5170  5170   5170       0 262142  071970  20190502  1031  5140  5140  5130   5140     177 262143  071970  20190502  1032  5140  5140  5130...
자세한 내용 보기

스프링 컨텍스트 설정파일과 URI 경로를 제대로 못찾는 삽질

실행 환경 1) IntelliJ 11 에서 프로젝트 생성 : Maven Plugin 2) pom.xml에 maven war plugin 추가             <plugin>                 <groupId>org.apache.maven.plugins</groupId>                 <artifactId>maven-war-plugin</artifactId>                 <version>2.3</version>                 <configuration>                     <webXml>web\WEB-INF\web.xml</webXml>                 </configuration>             </plugin>         </plugins> 3) Add Framework Support 에서 Tomcat 추가. 문제 1) spring의 servlet 설정파일을 못찾음 Caused by: java.io.FileNotFoundException: Could not open ServletContext...
자세한 내용 보기