Bila anda yang menangani big data, pasti akan berkutat pada data yang sangat besar, bagaimana menyimpan data tersebut agar efektif? Yaitu format HDF (Hierarchical Data Format) yang sekarang sudah mencapai versi ke 5 yaitu HDF5 yang mempunyai perbedaan yang cukup signifikan dari sebelumnya.
Struktur HDF5 terdiri 2 tipe utama yaitu
Dataset yaitu multidimensional array
Group yaitu berisi data yang terstruktur
https://en.wikipedia.org/wiki/Hierarchical_Data_Format Beberapa benefit penggunaan HDF5
https://www.hdfgroup.org/
- Heterogeneous Data
- Easy Sharing
- Cross Platform
- Fast I/O
- Big Data
- Keep Metadata with Data
Nah Python mempunyai interfacing yaitu
http://www.h5py.org/, untuk dokumentasinya
http://docs.h5py.org/en/stable/index.htmlFormat h5py tersebut sangat efektif sekali daripada menggunakan format JSON dan YAML
Tidak ada komentar:
Posting Komentar