DataSource

데이터 수집 파이프라인

데이터 소스는 아래 8가지 파이프라인으로 수집합니다. 어느 파이프라인이든 스키마 편집(수집할 칸을 정함)과 데이터 관리(수집된 데이터를 봄) 두 가지 작업이 같이 붙습니다.

파이프라인	이름	설명
odbc	데이터베이스 연결	데이터베이스를 연결해서 데이터를 수집합니다.
mcp	MCP 클라이언트	MCP 서버로부터 데이터를 가져올 수 있도록 연결합니다.
email_accounts	이메일 계정	이메일 수집 계정 정보입니다.
direct_cable	포트캡처	서버의 랜포트에 직접 케이블을 연결한 경우입니다.
crawl_targets	크롤링 사이트	URL 을 가진 웹사이트를 방문해서 데이터를 수집하는 크롤링 파이프라인입니다.
google_sheets	구글 스프레드시트	온라인 클라우드 환경으로 제공되는 엑셀 파일인 구글 스프레드시트(Google Sheets)에서 수집합니다.
email_emlfile	EML 파일	로컬에 저장되어 있는 eml 파일을 읽는 파이프라인입니다.
restapi	RESTful	REST 방식의 엔드포인트를 통해 데이터를 수집합니다.

---

$테이블명.필드명

데이터 소스에서 수집한 변수명입니다. 갖어온 데이터를 템플릿에 적용하기 위해 사용합니다. 반드시 $로 시작하여 변수명으로 끝나야합니다. 괄호는 사용하지 않습니다.

구분	문법	예시
기본 문법	$테이블명.필드명	$apis.model
필터링	$테이블명.필드명?조건=값	$customers.domain?gubun=소비자
And 및 Or 조건식	{$테이블명.필드명?조건1=값&조건2=값1,값2}	{$customers.domain?gubun=소비자&grade=A,B}
표시 상한	$테이블명.필드명?limit=100	안 적으면 200개까지만 싣습니다. 잘리면 서버 로그에 남습니다

바깥 중괄호 { } 는 안 써도 됩니다. 조건이 여러 개여도 $테이블명.필드명?조건1=값&조건2=값 그대로 됩니다. 다만 프롬프트 안에서 {{ }} 로 부를 때는 절대 겹쳐 쓰지 마십시오 — {{{$…}}} 로 쓰면 바깥 중괄호가 글자로 남습니다.

---

#온톨로지노드명.필드명

온톨로지 노드의 label입니다. 온톨로지에서 가져온 데이터를 템플릿에 적용하기 위해 사용합니다. 반드시 #로 시작하여 변수명으로 끝나야합니다. 괄호는 사용하지 않습니다.

구분	문법	예시
기본 문법	#노드명.필드명	#Sender.title
필터링	#노드명.필드명?조건=값	#Customers.domain?gubun=소비자
And 및 Or 조건식	{#노드명.필드명?조건1=값&조건2=값1,값2}	{#Customers.domain?gubun=소비자&grade=A,B}
표시 상한	#노드명.필드명?limit=100	안 적으면 200개까지만 싣습니다. 잘리면 서버 로그에 남습니다

바깥 중괄호 { } 는 안 써도 됩니다. 조건이 여러 개여도 #노드명.필드명?조건1=값&조건2=값 그대로 됩니다. 다만 프롬프트 안에서 {{ }} 로 부를 때는 절대 겹쳐 쓰지 마십시오 — {{{#…}}} 로 쓰면 바깥 중괄호가 글자로 남습니다.

---

부록 1. 구글 스프레드시트 서비스 계정 키 발급 받는 방법

google_sheets 파이프라인은 구글 서비스 계정으로 시트를 읽습니다. 키는 인스턴스마다 한 번만 등록하면 되고, 등록 전에는 수집이 빈 결과로 끝나며 서버 로그에 [Google Auth Error] 'google_service_account_json' field is empty or missing 이 남습니다.

1. Google Cloud Console 에 들어가 프로젝트를 고릅니다 (없으면 하나 만듭니다).
2. API 및 서비스 → 라이브러리 에서 Google Sheets API 와 Google Drive API 를 각각 사용으로 켭니다.
3. API 및 서비스 → 사용자 인증 정보 → 사용자 인증 정보 만들기 → 서비스 계정. 이름만 적고 완료합니다 (역할은 비워 둬도 됩니다).
4. 만든 서비스 계정을 열어 키 → 키 추가 → 새 키 만들기 → JSON. {"type": "service_account", …} 로 시작하는 파일이 내려옵니다. 이 파일은 비밀번호와 같습니다 — 공유 폴더에 두지 마십시오.
5. Zio 에서 기초코드 → system_configs 표를 열고, google_service_account_json 칸에 JSON 파일 내용을 통째로 붙여 넣습니다.
6. 읽을 스프레드시트(또는 그 폴더)를 서비스 계정 이메일에 공유합니다. 이메일은 JSON 의 client_email 값(…@….iam.gserviceaccount.com)입니다. 읽기만 하므로 뷰어 권한이면 됩니다.

같은 서비스 계정을 여러 인스턴스에서 써도 됩니다. 시트를 그 이메일에 공유하는 것을 잊으면 키가 맞아도 「파일을 찾을 수 없음」으로 끝납니다.

---