[데일리 미션]
01. 제목
패스트캠퍼스 환급챌린지 5일차 미션 (2월 5일) :
파이썬으로 할 수 있는 모든 것 with 47개 프로젝트 초격차 패키지 Online 수강 후기
02. 포스팅 본문 (학습 일기) 가이드
1. 학습 인증샷 2장 이상 포함
2. 학습 후기 700자 이상 (공백 제외)
오늘은 문서를 요약해주는 Gensim 라이브러리와 텍스트 파일 저장 하는 법에 대해 배웠다.
젠심(gensim)은 외부라이브러리이고 자연어 처리를 파이썬에서 하고자 할 때 굉장이 유명하고 유용한 라이브러리라고 한다. 머신러닝 라이브러리에 쓰인다고 하는데 역시 이런 요약해서 정리하는 건 거의 머신러닝쪽으로 쓰이나보다. 그 중에서 워드투벡(Word2Vec)이라는 알고리즘이 유명하다고 한다. 자연어를 주면 벡터화(Word Embedding)하는게 대표적이라고 하는데 예시로 고양이란 단어를 주면 수치로 환산해서 1에 가까울 수록 유사하고, 마이너스가 되면 유사하지 않음을 나타낸다고 한다 이건 좀 신기했다. 하긴 이전에도 이미지를 인코딩 디코딩하는 과정에서 문자열으로 변경되는 거 보면 그런 유사성을 보여서 계산하는 건가 싶다(알듯 말듯 알쏭달쏭한 코딩의 세계) 그리고 우리에게 필요한 요약기능은 simmarization 이라는 내장 묘듈로 긴 문장을 요약가능하다. 단 여기서 주의 점이 4.x 버젼은 요약 기능이 중단되어서 하위버젼인 3.7.3 버젼을 이용하라고 했다.(버젼이 업그레이드되면 더 좋아야하는게 아닌가? 다운그레이드버젼인가?) Word2Vec은 워낙 유명하다고 해서 어떤 느낌인지 찍어보고 맛보기용으로 머신러닝의 학습까진 아니고 이미 기학습화되어있는 깃허브 공유된 것을 받아서 한국어 ko 모델을 불러와서 예시로 단어를 하나 주면 유사한 단어를 검색해주고 유사도(similarity)도 (위에 처럼 1 과 마이너스)알아보았다.
본격적으로 도서자료 요약을 통해서 요약하는 법을 배웠다. AI도서자료 요약한 데이터들을 sample로 받아서 젠심 import 시키고 pandas와 numpy 라는 데이터프레임을 다루고 데이터를 조작하는 유명라이브러리도 import시킨다.
판다스로 예제 데이터파일을 불러오고 슬라이스로 제한 설정을 두고 head()로 상위 5개만 추출해보았다.ai가 요약한 것 말고도 젠심으로도 요약해보고 요약 길이 조절도 설정했다. 데이터 요약이 실행되면 좀 더 보기쉽게 시각화를 정리하는 print도 설정했다. 젠심은 이렇게 요약기능 말고도 자연어처리에 대한 다양한 기법도 배울 수 있다고 한다. Gensim을 통해 텍스트 처리와 요약에 대한 실전적인 경험을 쌓으면서 자연어 처리 분야에서 효과적인 사용법을 좀 더 배워도 좋을 것 같다. 여러모로 활용성과 효율성면이 큰 라이브러리라고 느꼈다.
다음 강의는 텍스트 파일 저장하는 open, close를 배웠다. 말은 텍스트 파일 저장이라고 했지만 텍스트가 아닌 이미지도 저장가능하고 다용도라고 한다. open의 사용법은 "파일 객체 = open(파일 이름, 파일 열기 모드)" 이고 close는 비교적 쉽고 직관적인 "파일 객체.close()" 이렇게 닫으면 된다!(참 쉽쥬?) 오픈에서 파일 열기 모드는 3개가 있는데 각 각 R, W, A 모드로 r은 읽기모드, w는 쓰기모드, a는 추가모드이다. read, write, add 여기서 따온 말이니 외우기도 편해 보인다. 뉴스기사 프로젝트에서 이전에 배웠던 데이터 추출, 요약을 따로 백업용으로 저장하는 기능을 구현하는 듯 하다. 이것을 통해서 데이터 영구적으로 저장하거나 다루는 파일 처리 방식을 익혀두면 추후의 효과적인 프로젝트 작업에도 좋은 영향과 습관이 생길 듯 기대가 된다.
03. 필수 본문 내용
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
04. 필수 해시태그
#패스트캠퍼스 #직장인자기계발 #직장인공부 #환급챌린지 #패스트캠퍼스후기 #오공완
05. 필수 URL
https://bit.ly/48sS29N
패스트캠퍼스 [직장인 실무교육]
프로그래밍, 영상편집, UX/UI, 마케팅, 데이터 분석, 엑셀강의, The RED, 국비지원, 기업교육, 서비스 제공.
fastcampus.co.kr
[수강 강의 클립]
-Ch02. [텍스트] 뉴스 기사 3줄 요약하기
05. 문서 요약하기 - gensim
06. 텍스트 파일 저장 - open, close
[※ 기타사항메모 ※]
{100% 환급챌린지 미션 가이드 참조 : https://fastcampus.co.kr/event_online_challenge_2401_mission}
커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스
성인 교육 서비스 기업, 패스트캠퍼스는 개인과 조직의 실질적인 '업(業)'의 성장을 돕고자 모든 종류의 교육 콘텐츠 서비스를 제공하는 대한민국 No. 1 교육 서비스 회사입니다.
fastcampus.co.kr
