主頁  > 數據實驗室   > 數據協作項目   > 技術及平台資訊

數據實驗室

技術及平台資訊

 


醫管局數據實驗室採用Apache Hadoop作為分析平台。Apache Hadoop為一種開源軟件,用於儲存及處理大量分散及多樣的數據。作為大數據平台,Apache Hadoop發揮著數據儲存、數據處理、數據查閱、數據管理、保安及操作的功能。


醫管局數據實驗室平台提供頂尖的數據研究主題,如數據分析、優化/可視化、模擬,以及醫療行業的運作研究。


本平台提供Apache Hadoop解決方案以助決策及製訂策略。它的主要組成部份包括HDFS, HBASE, HIVE, Kafka, Sqoop, Spark, Tez, Zookeeper, Storm 及Ranger。


下圖顯示了醫管局數據實驗室採用的Hadoop的主要組成部份:

 

可用軟件

Hadoop 生態系統
軟件 版本
Spark 2.4.7.7.1.7.1000-141
TEZ 0.9.1.7.1.7.1000-141
Ranger 2.1.0.7.1.7.1000-141
Zookeeper 3.5.5.7.1.7.1000-141
Hadoop HDFS 3.1.1.7.1.7.1000-141
Hadoop YARN 3.1.1.7.1.7.1000-141
Hive 3.1.3000.7.1.7.1000-141
HBase 2.2.3.7.1.7.1000-141
Sqoop 1.4.7.7.1.7.1000-141

 

GPU 伺服器組件
標準庫及驅動程式 版本
CUDA 11.0.194
NVIDIA Driver 460.73.01

 

R & 模組
套裝名稱 版本
Rstudio Server 1.4.1717
R 4.3.1
abind 1.4-5
backports 1.4.1
base 4.3.1
bit 4.0.5
bit64 4.0.5
boot 1.3-28.1
brio 1.1.3
broom 1.0.4
callr 3.7.3
car 3.1-2
carData 3.0-5
cellranger 1.1.0
chk 0.9.0
class 7.3-22
cli 3.6.1
clipr 0.8.0
cluster 2.1.4
cobalt 4.5.1
codetools 0.2-19
colorspace 2.1-0
commonmark 1.9.0
compiler 4.3.1
corrplot 0.92
cowplot 1.1.1
cpp11 0.4.3
crayon 1.5.2
data.table 1.14.8
datasets 4.3.1
DBI 1.1.3
deldir 1.0-9
desc 1.4.2
diffobj 0.3.5
digest 0.6.31
dplyr 1.1.2
ellipsis 0.3.2
evaluate 0.21
exactRankTests 0.8-35
fansi 1.0.4
farver 2.1.1
forcats 1.0.0
foreach 1.5.2
foreign 0.8-84
fs 1.6.2
gbm 2.1.8.1
generics 0.1.3
ggplot2 3.4.2
ggpubr 0.6.0
ggrepel 0.9.3
ggsci 3.0.0
ggsignif 0.6.4
glmnet 4.1-7
glue 1.6.2
graphics 4.3.1
grDevices 4.3.1
grid 4.3.1
gridExtra 2.3
gtable 0.3.3
haven 2.5.2
highr 0.10
hms 1.1.3
interp 1.1-4
isoband 0.2.7
iterators 1.0.14
jomo 2.7-6
jpeg 0.1-10
jsonlite 1.8.5
KernSmooth 2.23-21
km.ci 0.5-6
KMsurv 0.1-5
knitr 1.43
labeling 0.4.2
lattice 0.21-8
latticeExtra 0.6-30
lifecycle 1.0.3
lme4 1.1-33
magrittr 2.0.3
markdown 1.7
MASS 7.3-60
MatchIt 4.5.3
MatchThem 1.0.1
Matrix 1.5-4.1
MatrixModels 0.5-1
maxstat 0.7-25
methods 4.3.1
mgcv 1.8-42
mice 3.16.0
minqa 1.2.5
mitml 0.4-5
mitools 2.4
mnormt 2.1.1
munsell 0.5.0
mvtnorm 1.2-2
nlme 3.1-162
nloptr 2.0.3
nnet 7.3-19
numDeriv 2016.8-1.1
ordinal 2022.11-16
pan 1.6
parallel 4.3.1
pbkrtest 0.5.2
pillar 1.9.0
pkgconfig 2.0.3
pkgload 1.3.2
png 0.1-8
polynom 1.4-1
praise 1.0.0
prettyunits 1.1.1
processx 3.8.1
progress 1.2.2
ps 1.7.5
psych 2.3.6
purrr 1.0.1
quantreg 5.95
R6 2.5.1
RColorBrewer 1.1-3
Rcpp 1.0.10
RcppEigen 0.3.3.9.3
RcppProgress 0.4.2
readr 2.1.4
readxl 1.4.2
rematch 1.0.1
rematch2 2.1.2
rlang 1.1.1
rpart 4.1.19
rprojroot 2.0.3
rstatix 0.7.2
scales 1.2.1
shape 1.4.6
SparseM 1.81
spatial 7.3-16
splines 4.3.1
stats 4.3.1
stats4 4.3.1
stringi 1.7.12
stringr 1.5.0
survey 4.2-1
survival 3.5-5
survminer 0.4.9
survMisc 0.5.6
tcltk 4.3.1
testthat 3.1.8
tibble 3.2.1
tidyr 1.3.0
tidyselect 1.2.0
tidyverse 2.0.0
tools 4.3.1
twang 2.5
tzdb 0.4.0
ucminf 1.2.0
utf8 1.2.3
utils 4.3.1
vctrs 0.6.3
viridisLite 0.4.2
vroom 1.6.3
waldo 0.5.1
WeightIt 0.14.2
withr 2.5.0
xfun 0.39
xgboost 1.7.5.1
xtable 1.8-4
yaml 2.3.7
zoo 1.8-12

 

Python & 模組
套裝名稱 版本
Python 3.9.16
absl-py 1.4.0
anyio 3.7.1
argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0
arrow 1.2.3
asttokens 2.2.1
astunparse 1.6.3
async-lru 2.0.4
attrs 23.1.0
Babel 2.12.1
backcall 0.2.0
beautifulsoup4 4.12.2
bleach 6.0.0
cachetools 5.3.1
certifi 2023.5.7
cffi 1.15.1
charset-normalizer 3.1.0
comm 0.1.4
contourpy 1.0.7
cycler 0.11.0
debugpy 1.6.7
decorator 5.1.1
defusedxml 0.7.1
easyocr 1.7.0
exceptiongroup 1.1.2
executing 1.2.0
fastjsonschema 2.18.0
filelock 3.12.2
flatbuffers 1.12
fonttools 4.39.4
fqdn 1.5.1
gast 0.4.0
google-auth 2.19.0
google-auth-oauthlib 0.4.6
google-pasta 0.2.0
grpcio 1.54.2
h5py 3.8.0
idna 3.4
imageio 2.31.1
importlib-metadata 6.6.0
ipykernel 6.25.0
ipython 8.14.0
isoduration 20.11.0
jedi 0.19.0
Jinja2 3.1.2
joblib 1.2.0
json5 0.9.14
jsonpointer 2.4
jsonschema 4.18.6
jsonschema-specifications 2023.7.1
jupyter_client 8.3.0
jupyter_core 5.3.1
jupyter-events 0.7.0
jupyter-lsp 2.2.0
jupyter_server 2.7.0
jupyter_server_terminals 0.4.4
jupyterlab 4.0.4
jupyterlab-pygments 0.2.2
jupyterlab_server 2.24.0
keras 2.9.0
Keras-Preprocessing 1.1.2
kiwisolver 1.4.4
lazy_loader 0.3
libclang 16.0.0
lit 16.0.6
Markdown 3.4.3
MarkupSafe 2.1.2
matplotlib 3.6.0
matplotlib-inline 0.1.6
mistune 3.0.1
mpmath 1.3.0
nbclient 0.8.0
nbconvert 7.7.3
nbformat 5.9.2
nest-asyncio 1.5.7
networkx 3.1
ninja 1.11.1
notebook 7.0.2
notebook_shim 0.2.3
numpy 1.22.4
nvidia-cublas-cu11 11.10.3.66
nvidia-cuda-cupti-cu11 11.7.101
nvidia-cuda-nvrtc-cu11 11.7.99
nvidia-cuda-runtime-cu11 11.7.99
nvidia-cudnn-cu11 8.5.0.96
nvidia-cufft-cu11 10.9.0.58
nvidia-curand-cu11 10.2.10.91
nvidia-cusolver-cu11 11.4.0.1
nvidia-cusparse-cu11 11.7.4.91
nvidia-nccl-cu11 2.14.3
nvidia-nvtx-cu11 11.7.91
oauthlib 3.2.2
opencv-python-headless 4.8.0.74
opt-einsum 3.3.0
overrides 7.3.1
packaging 23.1
pandas 1.4.1
pandocfilters 1.5.0
parso 0.8.3
pexpect 4.8.0
pickleshare 0.7.5
Pillow 10.0.0
platformdirs 3.10.0
prometheus-client 0.17.1
prompt-toolkit 3.0.39
protobuf 3.19.6
psutil 5.9.5
ptyprocess 0.7.0
pure-eval 0.2.2
pyasn1 0.5.0
pyasn1-modules 0.3.0
pyclipper 1.3.0.post4
pycparser 2.21
Pygments 2.15.1
PyGObject 3.26.1
pyparsing 3.0.9
python-apt 1.6.6
python-bidi 0.4.2
python-dateutil 2.8.2
python-json-logger 2.0.7
pytz 2023.3
PyWavelets 1.4.1
PyYAML 6.0.1
pyzmq 25.1.0
referencing 0.30.0
requests 2.31.0
requests-oauthlib 1.3.1
rpds-py 0.9.2
rsa 4.9
scikit-image 0.21.0
scikit-learn 1.0.2
scipy 1.11.1
Send2Trash 1.8.2
shapely 2.0.1
six 1.16.0
sniffio 1.3.0
soupsieve 2.4.1
stack-data 0.6.2
sympy 1.12
tensorboard 2.9.1
tensorboard-data-server 0.6.1
tensorboard-plugin-wit 1.8.1
tensorflow-estimator 2.9.0
tensorflow-gpu 2.9.1
tensorflow-io-gcs-filesystem 0.32.0
termcolor 2.3.0
terminado 0.17.1
threadpoolctl 3.1.0
tifffile 2023.7.18
tinycss2 1.2.1
tomli 2.0.1
torch 1.13.0
torchaudio 0.13.0
torchvision 0.14.0
tornado 6.3.2
traitlets 5.9.0
triton 2.0.0
typing_extensions 4.6.2
unattended-upgrades 0.1
uri-template 1.3.0
urllib3 1.26.16
wcwidth 0.2.6
webcolors 1.13
webencodings 0.5.1
websocket-client 1.6.1
Werkzeug 2.3.4
wheel 0.40.0
wrapt 1.15.0
zipp 3.15.0

 

DICOM & 其他工具
名稱 版本
Sante DICOM Viewer Lite 3.1.5
itk-SNAP 3.6.0
OsiriX DICOM Viewer 12.0.1
PyCharm 2018.3.4 (Community Edition)
FSL 5.0.8
dcm2nii 2MAY2016
libgdcm-tools 2.6.3
DCMTK - DICOM Toolkit 3.6.3

 

 

修訂日期:2023年11月03日

回到頂部