Npy 형식
Npy 형식
Npy 형식은 .npy 파일의 NumPy 배열을 ClickHouse로 로드하도록 설계되었어요. NumPy 파일 형식은 수치 데이터 배열을 효율적으로 저장하는 데 사용되는 바이너리 형식이며, 가져올 때 최상위 차원을 단일 컬럼의 행 배열로 취급합니다.
출처: 문서
본문
| Input | Output | Alias |
|---|---|---|
| ✔ | ✔ |
설명 (Description)
Npy 형식은 .npy 파일의 NumPy 배열을 ClickHouse로 로드하도록 설계되었습니다. NumPy 파일 형식은 수치 데이터 배열을 효율적으로 저장하는 데 사용되는 바이너리 형식입니다.
가져오는 동안 ClickHouse는 최상위 차원을 단일 컬럼의 행 배열로 취급합니다. 아래 표는 지원되는 Npy 데이터 타입과 ClickHouse에서의 해당 타입을 보여줍니다:
데이터 타입 매칭 (Data types matching)
| Npy data type ( INSERT ) | ClickHouse data type | Npy data type ( SELECT ) |
|---|---|---|
| i1 | Int8 | i1 |
| i2 | Int16 | i2 |
| i4 | Int32 | i4 |
| i8 | Int64 | i8 |
| u1 , b1 | UInt8 | u1 |
| u2 | UInt16 | u2 |
| u4 | UInt32 | u4 |
| u8 | UInt64 | u8 |
| f2 , f4 | Float32 | f4 |
| f8 | Float64 | f8 |
| S , U | String | S |
| FixedString | S |
사용 예시 (Example usage)
Python으로 .npy 형식의 배열 저장 (Saving an array in .npy format using Python)
import numpy as np
arr = np.array([[[1],[2],[3]],[[4],[5],[6]]])
np.save('example_array.npy', arr)
ClickHouse에서 NumPy 파일 읽기 (Reading a NumPy file in ClickHouse)
쿼리
SELECT *
FROM file('example_array.npy', Npy)
응답
┌─array─────────┐
│ [[1],[2],[3]] │
│ [[4],[5],[6]] │
└───────────────┘
데이터 선택 (Selecting data)
ClickHouse 테이블에서 데이터를 선택하고 Npy 형식의 파일로 저장하려면 clickhouse-client와 함께 다음 명령을 사용할 수 있어요:
$ clickhouse-client --query="SELECT {column} FROM {some_table} FORMAT Npy" > {filename.npy}