공부를 하면서 든 생각은 내가 녹음본이 필요한 이유가 무엇인가? 였다.
1) 나온 내용중 개념을 모르는게 있어서 개념정리가 필요하다.
2) 내용중 이해했으나 복기가 필요한 부분이 있다.
3) 행동을 취하는 부분이 필요하다. ~뭐 하기로 했다.
내 회의록은 뭐가 필요한가.
1) 개념을 조회해서 정리된 내용.
2) 내 기존의 기록들을 살펴보고 부족한 부분은 수정한다.
그러면 불편한 점은?
1) 녹음본은 많은데 내가 텍스트 변환해서 ai에게 넘기는게 귀찮다.
있으면 하는 기능은?
1) 녹음본 올렸을 때 화자를 출력해주면 좋겠다.
2) 이걸 노션이나 티스트로에 올리면 좋겠는데
이 둘 어디다 넣을지는 판단이 필요할듯하다.
조건은 간단하나 판단이 어렵다면 llm 한테 맞긴다.
위 내용을 ai에게 분석하라고 요청했고 다음과 같이 분석결과를 주었다.
ChatGPT에 따르면
내 요구사항은, 단순한 "회의록 생성" 이 아니라 지식 관리 시스템(Knowledge Management) 문제로 보고 설계를 다시 해야할 것 같다고 했다.
그리고 내가 원하는 건 3가지가 섞여있다고 덧붙였다.

1. 문제 정의
: 현재 사용자('나')의 문제는 다음과 같다.
1. 회의를 녹음해놓고 관리하지 않은 녹음본이 많다.
2. 다시 듣기는 시간이 오래 걸린다.
3. STT(Text 변환)도 귀찮다. 생각보다 변환하는데 시간이 오래 걸린다.
4. 필요한 정보만 다시 찾고 싶다.
5. 공부 내용과 해야 할 일을 분리해서 관리하고 싶다.
즉 회의 내용을 단순히 저장하는 것이 아니라 필요한 정보를 빠르게 찾아 활용하고 싶다.
2. 사용자 목표(User Goal)
: 사용자('나')는 회의 후 다음과 같은 행동을 하고 싶다.
1. 개념이 이해 안 되면 설명받기
2. 이해한 내용을 다시 복습하기
3. 해야 하는 일을 확인하기
4. 기존 지식과 연결하기
5. 최종 정리본을 보관하기
3. 사용자 시나리오(또는 사용자 니즈)
1) 개념이 이해되지 않으면 설명을 받기
접근법 : 먼저 "왜 녹음본을 다시 보는가?"를 생각해봤다.
가장 먼저 떠오른 이유는 회의 중 모르는 개념이 나왔기 때문이다.
예를 들어
- MCP가 뭐지?
- Agent Loop가 뭐지?
- Tool Calling이 뭐지?
이런 경우에는 회의를 다시 듣는 것이 목적이 아니라,
- 개념 설명
- 예제
- 관련 자료
- 이전에 내가 정리했던 내용
을 한 번에 확인하고 싶다.
즉, 회의 내용을 다시 듣는 것이 아니라 '개념'을 이해하는 것이 목적이다.
2) 이해한 내용을 다시 복습하기
: 회의 당시에는 이해했지만 시간이 지나면 잊어버리는 경우도 있다.
예를 들어 오늘
- Tool Calling
- Memory
- Planning
을 공부했다고 가정해보자.
며칠 후에는 회의를 처음부터 다시 듣고 싶은 것이 아니다.
오히려 다음 정도만 있으면 충분하다.
- 오늘 배운 내용 요약
- 핵심 포인트
- 다시 생각해 볼 질문
- 관련 개념과의 연결
즉, 이 경우에는 공부한 내용을 복기(Review)하는 것이 목적이다.
3) 해야 하는 일을 확인하기
: 회의에서는 항상 해야 할 일이 나온다.
예를 들어
- Claude Code 설치
- 다음 주까지 구현
- API 발급
이런 내용은 회의를 다시 들을 필요가 없다.
사용자는 단순히
"내가 무엇을 하기로 했더라?"
를 확인하고 싶은 것이다.
따라서 AI는 회의 내용을 분석하여
- 해야 할 일(Task)
- 담당자
- 마감일(있다면)
- 진행 상태
를 자동으로 추출해야 한다.
즉, 회의 내용을 실행 가능한 Task로 변환하는 기능이 필요하다.
4) 기존 지식과 연결하기
: 회의에서는 이미 알고 있는 내용이 다시 등장하는 경우가 많다.
예를 들어 이번 회의에서
"MCP"
라는 주제가 다시 나왔다고 가정해보자.
그렇다면 AI는 단순히 새로운 회의록을 만드는 것이 아니라,
기존에 내가 작성했던
- MCP 정리
- 관련 블로그
- 이전 회의
- 노션 문서
를 함께 찾아 연결해 주면 좋다.
그리고 이번 회의에서 새롭게 나온 내용만 기존 문서에 추가하면 된다.
즉,
회의는 새로운 문서를 만드는 과정이 아니라 기존 지식을 성장시키는 과정이 된다.
5) 최종 정리본을 보관하기
: 회의가 끝난 후에는 분석 결과를 적절한 형태로 저장해야 한다.
하지만 모든 내용을 같은 장소에 저장하는 것은 적절하지 않을 수 있다.
예를 들어
Notion
- 원본 회의록
- 개념 정리
- Task 관리
- 프로젝트 기록
Tistory
- 외부에 공개할 기술 글
- 학습 내용을 정리한 블로그
처럼 역할이 다르다.
따라서 AI는
- 어떤 내용은 Notion에 저장하고
- 어떤 내용은 Tistory 초안으로 작성할지
를 판단하거나,
판단하기 어려운 경우에는 LLM이 문맥을 기반으로 결정하도록 할 수 있다.
4. 요구사항 분석
4.1. 기능 요구사항(Functional Requirement )
FR-01 : 녹음 업로드
: 사용자는 음성 파일을 업로드 할 수 있어야 한다.
입력
■ mp3
■ m4a
■ wav
출력
■ 자동 분석 시작
FR-02 자동 음성 인식(STT)
: 업로드하면 자동으로 텍스트로 변환되어야 한다.
사용자는 직접 Whisper를 실행하거나 GPT에게 "텍스트로 변환해줘"라고 요청하지 않아도 된다.
FR-03 화자 분리(Speaker Diarization)
: 텍스트는 화자별로 구분되어야 한다.
예시)
[윤지]
이번엔 MCP를 적용해보자.
[팀원]
좋아요.
FR-04 내용 분석
: 회의 내용을 분석하여 아래 항목으로 분류한다.
① 개념
MCP, Memory, Agent
② 해야 할 일(Task)
Claude Code 설치, API 발급, 프론트 수정
③ 결정사항
Spring Boot 사용, PostgreSQL 사용
④ 질문
MCP는 왜 필요한가?, Memory는 언제 저장되는가?
⑤ 아이디어
여행 Agent 만들기, 지도 UI 추가
FR-05 개념 조회
회의에서 나온 개념을 클릭하면
LLM이
■ 설명
■ 예시
■ 관련 자료
를 생성한다.
FR-06 기존 기록 검색(RAG)
: 새로운 회의를 분석할 때 기존 기록도 함께 검색한다.
예시)
이번 회의에서 MCP가 나왔다.
↓
예전 회의에서도 MCP를 논의했다.
↓
기존 내용과 연결
FR-07 지식 추가
: 기존 문서가 있으면
MCP
↓
이번 회의에서 나온 내용 추가
처럼 이어 붙인다.
즉 새 문서를 계속 만드는 것이 아니라 지식을 성장시킨다.
FR-08 저장 위치 결정
: 최종 결과를 Notion과 Tistory 중 어디에 저장할지 자동 판단하거나 사용자가 선택할 수 있어야 한다.
예시)
공부 내용
↓ Notion
----------------
블로그 글
↓ Tistory
FR-09 LLM 판단 기능
: 분류가 애매하면 LLM이 문맥을 보고 판단한다.
예시)
Memory
↓
개념인가?
Task인가?
회의 결정인가?
룰보다 LLM 판단을 우선한다(이건 좀 생각해봐야 할 문제인듯).
4.2. 비기능 요구사항
4.1. 자동화 : 사용자 입력을 최소화한다.
4.2. 검색성 : 몇 달 후에도 "MCP"라고 검색하면 바로 조회되어야 한다.
4.3. 회의가 수백 개여도 동작해야 한다.
4.4. 중복 방지 : 이미 있는 개념은 새 문서를 만들지 않는다.
4.5. 정확성 : 화자 분리가 가능해야 한다.
5. 아직 정의되지 않은 요구사항(추가 확인 필요)
: 현재 메모에서 가장 중요한 미정 사항은 다음과 같다.
① 저장 단위
■ 회의별 문서로 저장할 것인가?
■ 개념별 문서로 분리할 것인가
∨ 둘 다 유지할 것인가?
② Notion과 Tistory의 역할
: 각 플랫폼의 책임을 명확히 해야한다.
예를 들어:
■ Notion : 원본 회의록, 작업(Task), 개념 노트, 프로젝트 기록
■ Tistory : 외부 공개용으로 다듬어진 기술 글
③ 개념 업데이트 방식
: 새로운 회의에서 같은 개념이 나오면
■ 기존 문서를 수정한다.
■ 변경 이력을 남긴다.
■ 새로운 버전을 만든다.
정책을 정해야 한다.
구현을 위한 Tool
| Tool 그룹 | Tool 이름(메서드명) | 역할 | 예시 |
| Input | Audio Upload | 녹음 파일 업로드 | mp3, wav, m4a |
| Document Upload | 문서 업로드 | PDF, Markdown, DOCX | |
| URL Import | 웹 페이지 가져오기 | GitHub, 블로그, 유튜브 | |
| Processing | Speech-to-Text (STT) | 음성을 텍스트로 변환 | 회의 녹음 → 텍스트 |
| Speaker Diarization | 화자 구분 | 윤지 / 팀원1/ 팀원2 | |
| Summarization | 회의 요약 | 핵심 내용 추출 | |
| Translation | 번역 | 영문 자료 → 한글 | |
| Keyword Extraction | 핵심 키워드 추출 | MCP, Memory, Agent | |
| Knowledge | Concept Search | 기존 개념 검색 | "MCP가 뭐였지?" |
| Meeting Search | 과거 회의 검색 | "지난주 회의 찾아줘" | |
| Knowledge Retrieval (RAG) | 벡터DB/노션 등에서 관련 지식 검색 | 관련 문서 조회 | |
| Knowledge Update | 기존 지식에 내용 추가 | MCP 문서 업데이트 | |
| Action | Save to Notion | 노션 저장 | 회의록 저장 |
| Publish to Tistory | 티스토리 게시 | 블로그 글 작성 | |
| Generate Markdown | Markdown 생성 | README, 노트 생성 | |
| Create Task | 할 일 생성 | Claude 설치, API 발급 | |
| Export Document | 문서 내보내기 | PDF, DOCX | |
| Memory | Recall Memory | 이전 학습 내용 불러오기 | 예전 MCP 정리 가져오기 |
| Link Related Knowledge | 관련 문서 연결 | 같은 개념 자동 연결 | |
| Conversation History | 이전 대화 조회 | 과거 회의 내용 참조 | |
| LLM Judgement | Classification | 내용 분류 | 개념 / Task / 결정사항 |
| Destination Decision | 저장 위치 결정 | Notion vs Tistory | |
| Merge Decision | 기존 문서 병합 여부 판단 | 새 문서 생성 vs 업데이트 | |
| Priority Decision | 중요도 판단 | 중요한 Task 우선순위 지정 |
이 시스템에서 실제로 자주 호출될 Tool
| 우선순위 | Tool | 사용빈도 |
| ⭐⭐⭐ | Speech-to-Text | 매우 높음 |
| ⭐⭐⭐ | Speaker Diarization | 매우 높음 |
| ⭐⭐⭐ | Knowledge Retrieval (RAG) | 매우 높음 |
| ⭐⭐⭐ | Classification | 매우 높음 |
| ⭐⭐⭐ | Knowledge Update | 매우 높음 |
| ⭐⭐ | Save to Notion | 높음 |
| ⭐⭐ | Create Task | 높음 |
| ⭐⭐ | Summarization | 높음 |
| ⭐ | Publish to Tistory | 필요 시 |
| ⭐ | Translation | 필요 시 |
이렇게 보면 이 시스템은 단순히 STT 서비스가 아니라, 입력, 처리, 지식, 판단, 실행의 흐름을 가진 AI Agent라고 볼 수 있다.
'스터디 > AI-Agent' 카테고리의 다른 글
| [AI Agent] STT 정제 AI Agent 만들어보기 - Goal, Memory, Tool, Verify로 설계하기 - 챗GPT 작성, 검수하지 못함. (0) | 2026.07.09 |
|---|---|
| [AI-Agent] LLM 에이전트 설계, 더 똑똑하게 일하게 만드는 6가지 핵심 설계 요소 (0) | 2026.07.05 |
| [작성중/AI-Agent] Claude.md 분석 (0) | 2026.06.15 |
| [작성중/AI-Agent] 끔직한 결말, 그리고 방향성을 잡기위한 재설계의 필요성 (0) | 2026.06.14 |
| [작성중/AI-Agent] Claude가 작성한 프로젝트, 어떤 순서로 만들어졌을까? (0) | 2026.06.14 |