전체 글 썸네일형 리스트형 [생성형 AI]Chat GPT 효율적으로 사용하기 - 프롬프트 엔지니어링 최근 Chat GPT를 좀더 효율적으로 사용할 수 있는 방법에 대해 공부하고 있다. 유튜브에서 좋은 영상을 하나 찾았고, 영상의 내용을 간단히 정리할 겸 올려보는 포스팅. 1. LLM의 Emergent Ability LLM은 파라미터수가 많고 인공신경망으로 이루어진 언어모델이다. 영상에서는 LLM이 Emergent Ability라는 특징을 가진다고 설명한다. 이 특징에 따라 LLM은 3가지 능력을 가지는데 Instruction Following, In-Context Learning, Step-by-Step resoning을 말한다. 1) Instruction Following : LLM은 명령어를 그대로 따른다. "나이거에 대해 알려줘?"라는 질문을 했을 때, 이전의 통계학적인 언어모델과 LLM을 비교해.. 더보기 [생성형 AI]Chat GPT에게 '너 스스로를 정의해봐'라는 질문을 한다면 Chat GPT에게 '너 스스로를 정의해봐'라는 질문을 올려봤다. ChatGPT가 직접 본인을 소개하는 글에는 생성형 AI 특징들이 모두 들어가있다. 이 것을 몇가지로 추려보면 아래와 같이 5가지 특징으로 정리할 수 있다. 아래 특징들은 생성형 AI의 특징이라고도 말할 수 있다. 대규모 언어 모델(Large Language Model)이다. 방대한 데이터로 학습되었다. 입력으로 주어진 문장을 이해하고 새로운 문장을 생성할 수 있다. 텍스트를 기반으로 하는 상호작용을 다룬다. 자아나 의식을 가지고 있지 않고 프로그래밍대로 움직인다. 1. 대규모 언어 모델(Large Language Model)이다. 대규모 언어 모델(LLM, Large Language Model)이 무엇이라고 이야기 하기 전에 우리는 언어.. 더보기 [NLP] Down-stream 모델 개발 과정(Flow chart) ※ 개인적으로 공부한 내용을 정리한 글입니다. 잘못 된 정보가 있을 수 있는 점 참고해주세요. ※ 틀린 부분이나 문의 사항은 댓글로 피드백해주시면 감사하겠습니다. 자연어처리를 공부하는 과정에서 큰 흐름을 한번 정리가 필요할 것아 작성하는 글. 각 과정을 상세히 기록하면서 공부하는 것도 좋겠지만 먼저, 큰 그림을 그려놓고 키워드 중심으로 자료를 정리하면 좋을 것 같아서 먼저 이 글을 작성한다. 아래 이미지는 데이터 수집이 완료되었다는 전제로 작성한 것이다. 내가 이해한 일반적인 자연어처리 모델 개발 과정은 아래와 같다. 제목의 down-stream은 내가 직접 풀고자 하는 문제라고 이해하면 된다. 예를 들어, 뉴스 기사를 topic에 따라 분류하는 예측 모델이 필요하다고 해보자. 그럼 여기서 down-st.. 더보기 [책 출판 안내]사장님 몰래하는 파이썬 업무자동화 링크 : https://ybworld.tistory.com/140 [책 소개] 사장님 몰래 하는 파이썬 업무자동화 안녕하세요. 투손플레이스 티스토리를 운영 중인 와비입니다. 최근에 직장 동료와 함께 '파이썬 업무자동화'를 컨텐츠로 위키독스 전자책을 집필하고 있습니다. 아직 작성 중인 책이지만, 어느 ybworld.tistory.com 안녕하세요. 투손 플레이스 블로그를 운영하는 와비입니다. 22년 5월에 위 링크와 같이 공동 저자와 집필하고 있는 전자책을 소개드린 적이 있습니다. 집필 한 전차잭이 어쩌다보니 출판사랑 연락이 닿게 되어 출판 기회가 생겼고 작년 12월 중 작업이 완료되어 이번에 출간하게 되었습니다. 초기 6개월 목표를 잡고 공동 저자와 출판 준비를 진행했는데 직장 생활과 병행하여 대학원 석.. 더보기 [Python/데이터분석]iris 데이터셋 K-means 알고리즘 적용 및 결과 해석 학교에서 '다변량 통계' 과목을 듣고 있는데 '군집 분석'에 대한 과제를 하면서 필요한 내용에 대해 정리한 글 군집 분석은 머신 러닝에서 비지도 학습 알고리즘에 속하는 방법이다. 흔히 클러스터링 알고리즘(Clustering Algorithm)이라고도 하며, 계층적(hierarchical) 방법과 비계층적(Non-hierachical) 방법이 있다. 계층적 방법은 흔히 개체간 거리 기반의 알고리즘을 말하며, 대표적으로 유클리디안, 마할라노비스, 맨하탄, 체비세프, 민코프스키 계산 방법이 있다. 비계층적 방법은 이번 포스팅에서 다룰 K-means 알고리즘을 말하며, 일반적으로 데이터셋에서 구분 할 class의 수를 알고 있는 경우 많이 활용한다. 이번 포스팅에서는 K-means 알고리즘에 대한 간단한 정리와.. 더보기 [Python/데이터분석] 인구 통계 자료 활용하여 원하는 데이터만 시각화해보기 행정안전부(mois.go.kr)에서는 주민등록 인구 통계 자료를 자유롭게 일반인들이 사용가능하도록 공유하고 있다. 파이썬 pandas 및 matplotlib 시각화 코드 작성에 익숙해지기 위해 아래와 같이 과제 진행 및 과정을 기록한다. 주제 : 과거 1년간 서울지역 재외국민 통계자료를 활용하여 2022년 11월 기준 재외국민수, 세대수 시각화해보기 1. 통계자료 검색 및 다운 1) 검색 조건 설정 먼저 실제 받아 볼 통계자료 조건을 선택한다. .csv 파일이나 .xlsx을 선택하여 다운받을 수 있다. 이번에는 csv 파일로 다운로드 진행하여 처리해볼 것이다. 불필요한 데이터를 제거하기 위해 구분의 남여구분/남여구성비/세대당인구는 체크 해제했다. 2) csv 자료 확인 자료를 확인해보면 행정구역부터 20.. 더보기 [Python/파이썬] matplotlib 2편 : 그래프 시각화 y축 숫자가 섞여서 나오는 문제 해결 2021.08.15 - [코딩/Python] - [Python/파이썬] 필요한 부분만 정리하는 matplotlib 1편 아래 이미지의 csv 파일(doctor_data.csv)에 접근하여 지역별 의사들의 숫자를 꺾은선 그래프로 나타내주는 시각화를 진행해보았다. 다만, 시각화를 할 때 y축 숫자가 뒤죽박죽 섞여서 나오는 문제가 있어 한참을 해멨다. 이번 포스팅에서는 그 과정과 해결방법을 기록한다. 단계별 코드는 아래와 같다. 1. import import matplotlib.pyplot as plt from matplotlib import rc #한글 폰트 깨짐 방지를 위한 모듈 import csv - rc 모듈의 경우 matplotlib 사용시 내부 그래프에 한글을 사용하면 깨지는 문제가 있는데 이 문제.. 더보기 하울의 움직이는 성 - 인생의 회전목마(쇼팽 스타일 편곡) "쇼팽드지브리"의 수록곡. "쇼팽드지브리"는 지브리 스튜디오에서 작곡 한 곡들을 쇼팽 스타일로 편곡한 악보집이다. 이 악보집의 다른 곡들은 아직 안들어봐서 잘모르겠지만 인생의 회전목마는 한번듣 고 꽃혀서 학원 연주회에서 연주하려고 열심히 연습했었다. 이 곡은 뭔가 쇼팽의 왈츠 느낌이 나지만 완전 클래식하지도 않고 뉴에이지스러워서 내 취향의 곡인 것 같다. 연주회에서 이 곡을 연주한지 몇달되긴 했지만 연주하는 방법을 잊어버리기 전에 기록으로 남겨본다. 더보기 이전 1 2 3 4 ··· 18 다음
