2023-08-16 집현전 도서 검색 TF팀 회의

[nyj001012]

할 일

• API 명세 협의
• 화면 구상

[nyj001012]

플로우 차트

서클 별 도서 추천

flowchart TD
START(시작)
--> B{사용자가 로그인 했는가?}
	B -- 아니오 --> L[로그인이 필요함을 안내한다] --> END(종료)
	B -- 예 --> C[GET /v2/cursus_users 호출]
	--> D[사용자의 서클 정보를 가져온다]
	--> G{현재 진행 중인 과제가 있는가?}
		G -- 아니오 --> H[마지막으로 진행한 과제의 서클을 탐색한다] 
		--> I{그 서클에 더 이상 진행할 과제가 없는가?}
		I -- 아니오 --> J[그 서클의 정보를 가져온다] --> E
		I -- 예 --> K[그 다음 서클 정보를 가져온다] --> E
		G -- 예 --> E[DB에서 서클 정보에 맞는 book_info.id를 가져온다]
	--> F[book_info.id에 맞는 책 정보를 보여준다]
--> END(종료)

Loading

도서 관리에서의 서클 별 도서 수정

flowchart TD
START(시작)
--> A[book의 info id를 조회한다]
--> B[book_info의 subject_id를 업데이트한다]
--> END(종료)

Loading

DB 설계(json 대체 가능)

book_info

column_name	data_type	not null
id	int	O
categoryId	varchar	O
title	varchar	O
author	varchar	O
publisher	varchar	O
isbn	varchar	X
image	varchar	X
publishedAt	date	X
createdAt	datetime	O
updatedAt	datetime	O
subject_id	int	O

• subject_id 컬럼을 제외한 나머지는 기존과 동일
• subject_id: subject 테이블의 id 값 참조. default = 0

circle

column_name	data_type	not null
id	int	O
name	varchar	O

• name: 서클 이름. 아우터의 경우를 위해 따로 추가

subject

column_name	data_type	not null
id	int	O
circle_id	int	O
name	varchar	O

• circle_id: circle 테이블의 id 값 참조
• name: 그 서클에 해당하는 서브젝트 이름
• 42 cursus가 변하지 않는 이상 이 테이블의 데이터는 바뀔 일이 없을 것
• 약간의 노가다가 있을 듯?(INSERT INTO)
• name이 '정보 없음'인 레코드가 있을 것
  • ex) 화면에는 관련과제: 정보 없음 이 보이게 하기 위함

API

URL

• /api/books/cursus

Request

• userid를 생각했으나, request 객체에서 충분히 추출할 수 있을 것 같습니다.
• 없음

Response

[
	{
		id: book_info.id
		title: 책 이름
		author: 저자
		publisher: 출판사
		image: 이미지 url
		publishedAt: 발행연월
		subject: 관련과제 이름
	}, 
	{
		id: 150
		title: 시작하세요! 도커/쿠버네티스
		author: 용찬호
		publisher: 위키북스
		publishedAt: 2020-10-23
		subject: inception
	},
	...
]

추가) 도서 수정 API에도 기능 추가해야 함

[nyj001012]

로직 수정

로그인 안 했을 때

• 서클 랜덤 지정

로그인 했을 때

• 서클 초기 인덱스만 사용자의 서클 반영

[not-using]

api
요청값에 서클을 변경할 수 있게 해주세요(없으면 처음로직대로)
응답시 요청값으로 보낼 수 있는 선택지를 알려주세요

[nyj001012]

• 응답 시, subject는 string 배열도 가능해야 함
• 요청 시, 이너부터 아우터일 경우에는 서클 패러미터 값이 어떻게 들어가면 좋을지 고민해봐야 함

[Jiwon-Woo]

집현전 회의 대비

MySQL - 확장 검색 - 전문검색 FullText Search - Real MySQL 8.0

MySQL의 전문 검색(Full Text Search)

전문 검색

• 게시물의 내용이나 제목 등과 같이 문장이나 문서의 내용에서 키워드를 검색하는 기능
• 일부만 일치해도 검색이 가능하여 LIKE 같은 패턴 일치 검색 대체 가능
  • LIKE는 인덱스를 사용하지 못할 수도 있지만, 전문검색은 전문 검색 인덱스를 이용하여 빠른 검색 가능
• 프로젝트 규모를 생각했을 때 전문적인 검색 엔진을 구축하기에는 비용이나 학습이 부담스러울 때 MySQL의 전문 검색 기능을 활용하는 것도 괜찮다

전문 검색 엔진

• 복합 컬럼 주문 인덱스를 생성할 수 있는 엔진의 경우, 한번에 두개의 칼럼을 검색할 수 있게 됨
• 검색엔진은 DB 테이블 단위로 설정 가능함
  • 서비스의 안정성을 위해서 검색을 위한 테이블을 따로 분리해서 시작하는게 좋을듯

데이터베이스 제안

1. 도서 검색 결과 미리보기

도서에 대한 자동완성, 초성 검색 대응

도서 검색 DB

• 검색 요청시 hangul.js 라이브러리를 이용하여 검색어를 초성만 따는 작업이 필요

• 원본 검색어가 초성이 아닐 경우, 한글 형태소 분석이 적용된 전문 검색 사용 가능

• 원본 검색어가 초성일 경우, 문자열 부분 일치 검색?

  • 인덱싱 방식을 어떻게 해야할지 고민 필요

• 저자가 복수인 경우는 그냥 문자열을 전부 합쳐서 넣어도 괜찮을듯

• 자연어 모드 검색도 가능하기 때문에, 띄어쓰기에 큰 영향을 받지 않는 검색 가능

  ex) ‘hash key’ → ‘hash’ 와 ‘key’ 를 포함한 문서를 검색

• 형태소 분석, 초성 둘 중 하나로 검색할 수 있기 때문에 자모 분리 검색은 어려워짐

  ex) ‘자밧’ → ‘자바 스크립트’ 검색 안됨, ‘해외여해’ → ‘해외여행’ 검색 안 됨

도서 검색 DB(2)

• 검색 요청시 hangul.js 라이브러리를 이용하여 검색어를 자모분리 및 초성만 따는 작업이 필요

• 원본 검색어가 초성이 아닐 경우, 문자열 부분 일치 검색?

  • 인덱싱 방식을 어떻게 해야할지 고민 필요

• 자모분리의 경우 자연어 모드 검색에 어떤 영향이 있을지 예상이 어려움

• 형태소 분석, 초성 둘 중 하나로 검색할 수 있기 때문에 자모 분리 검색 가능

  ex) ‘자밧’ → ‘자바 스크립트’ 검색 가능, ‘해외여해’ → ‘해외여행’ 검색 가능

• 위의 DB와 달리 도서명을 중복 저장하지 않음, JOIN 하여 도서명을 갖고 와서 검색 결과를 반환해야함

2. 검색어 자동완성

검색어에 대한 자동완성, 초성 검색 대응
집현전 서비스에 쌓인 검색 데이터 기반의 자동 완성

검색어 DB

• 도서 자동 완성 부분과 유사
• 자모분리

3. 인기 검색어

검색 로그 DB

• 검색 로그 DB에서 Group by 검색어 id, count(검색어 id), order by count(검색어 id)
• 실시간 검색이므로, 집계하는 검색 시각 range가 넓지 않을 것으로 예상됨

고려해야할 점

• 도서 미리보기+자동완성은 속도가 빨라야함..
• 도서 미리보기와 실제 검색 결과가 일치해야 매끄러움
  • 기존 search api도 수정해야할 수 있음
• 도서 미리보기와 자동 완성 api를 하나로 묶어야 할까?
  • 함수는 분리하되 api를 하나로 하는게 프론트와의 소통이 매끄러울듯

API 제안

1. 도서 결과 미리보기 + 자동완성

GET /search-keywords/autocomplete?typing={검색어}

• 책 반환 개수나 검색어 반환 개수로 요청 파라미터로 받을지

Response

{
	"items": {
		"books" : [
			{
				"id": 1,
				"title": "",
				"author": "",
				"publisher": ""
			},
			{
				"id": 2,
				"title": "",
				"author": "",
				"publisher": ""
			}
		],
		"keywords" : [
			{
				"id": 1,
				"searchKeyword": ""
			},
			{
				"id": 2,
				"searchKeyword": ""
			}
		],
	},
	"meta": {
		"totalBookCount": 10,
	}
}

2. 인기 검색어

GET /search-keywords/popular

Response

1. 검색어만 반환

{
  "time": "실시간 인기검색어 기준 시간",
	"items": ["자바", "자바스크립트", "자바 스크립트", ...]
}

1. 검색어 순위 등락까지 반환
   • 순위 등락은 어떻게 구현해야할지 감을 못 잡음..

{
  "time": "실시간 인기검색어 기준 시간",
	"items": [
		{
			"searchKeyword": "자바",
			"ranking change": 1,
		},
		{
			"searchKeyword": "자바스크립트",
			"ranking change": -1,
		},
		{
			"searchKeyword": "자바 스크립트",
			"ranking change": 0,
		}
	]
}

3. 추천 검색어

GET /search-keywords/recommended?limit={5}

Response

{
	"topic": ["최근에 달린 태그 모음"]
	"items": ["리액트", "0서클", "사서추천", ...]
}

주제 (고민중)

• 아래 주제를 매번 랜덤으로 보여주기
  • 최근에 달린 태그 모음
  • 인기 도서에 달린 태그 모음
  • 많이 입력한 태그 모음
  • 등등.. 계속 추가
• 검색할 때마다 달라지는 연관 검색어.. → 속도까지 고려하면 개발 난이도 높을 것 같음

[Jiwon-Woo]

API 제안 수정

1. 도서 결과 미리보기 + 자동완성

[request]

• typing -> keyword
• limit 추가

[response]

• book 정보는 book/info/{1} 결과와 유사하게
• 제일 필요한건 책 사진, 출판년도

2. 인기 검색어

검색어 등락은 서버 메모리에 저장한 직전 검색어하고 비교
언제 갱신할지는 좀 더 고려

[request]

• time을 아예 빼기

[response]

• rankingChange(int) -> 올랐으면 양수, 떨어지면 음수, 새로 랭킹에 들었으면 undefined

[Jiwon-Woo]

3번 추천검색어는 보류

[nyj001012]

화면 구상

• 전체적인 틀은 기획서 대로 갈 것
• 인기 검색어 랭킹의 위치는 조금 밀릴 수 있음

[Jake1152]

1. 자동완성 + 검색 결과 미리보기 + 초성 검색

• DB에 초성 파싱된 데이터를 별도 테이블에 추가한다

• 초성 데이터 api가 요청되면 초성 데이터가 있는 테이블에서 검색하여 limit 개수만큼 return 한다

• 자동완성 역시 제목이 일치하는 데이터들을 lmit 개수만큼 return한다

• 검색결과 미리보기

  • 검색결과 더보기
  • 검색 페이지에서 쓰는 api 재활용

• 고려사항

• 1.에 있는 모든 기능은 책 제목 검색만을 전제로 하는가?

• 1. 기능을 수행하는데에 필요한 필수 데이터의 범위

[Jake1152]

우선은 제목만을 기준으로 하며, 제목 기준 자동완성이 잘되는 경우 작가, 출판사 등등도 지원한다

[nyj001012]

다음 회의까지

• API 수정
• 플로우 차트
• 기타 구현방식 참고자료 준비하기