그루부기 사파리(IT&Tech)

  • 홈
  • 태그
  • 방명록

json 1

데이터 파이프라인 생존 조건: CSV, JSON, Parquet, Avro 파일 포맷

데이터 구조화의 물리적 경계와 스택 최적화시스템 아키텍처 내에서 데이터 직렬화 방식은 디스크 I/O 병목 현상과 직결된다. CSV와 JSON은 텍스트 기반의 행 지향 구조를 가지며 시스템 간 상호운용성을 보장하지만 대규모 처리에서 파싱 오버헤드를 유발한다. 반면 Parquet는 열 지향 구조로 데이터를 압축하여 분석 쿼리의 스캔 범위를 최소화한다. Avro는 행 지향 바이너리 직렬화를 통해 스키마 진화를 지원하며 네트워크 대역폭 소비를 줄인다. 이들의 물리적 특성을 이해하고 선택하는 과정이 스택 최적화의 첫 단계다.포맷데이터 구조스키마 타입주요 아키텍처 용도CSV행 지향 텍스트없음단순 이기종 시스템 교환JSON계층형 텍스트동적 (읽기 시점)웹 REST API 통신Parquet열 지향 바이너리정적 (쓰기 ..

IT&Tech 2026.03.25
이전
1
다음
더보기
프로필사진

그루부기 사파리(IT&Tech)

IT 및 기술 관련 뉴스 및 궁금증을 공부하면서 정리하고 있습니다.

  • 분류 전체보기 (68)
    • IT&Tech (68)

Tag

스테가노그라피, 팔란티어, 하네스엔지니어링, 레이저냉각기술, 저전력방사성내성반도체, 네모트론3슈퍼, 텍스트vs바이너리, 디지털프로버넌스, 리니지추적, 고방열라디에이터, LORA, 루프히트파이프, 보스톤마라톤테러, Mamba-Transformer, 동적vs정적스키마, 오라클, 대형전개식라디에이터, 오프체인, LatentMoE, 클라우드서버칩셋, 데이터레이크, DCT이산코사인변환, 블록체인, 제로트러스터, XWorm악성코드, 결정론적연산, LSB, 스카이컴퓨팅, 정규특이분석RS분석, 인터포저적층,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바