主页  > 数据实验室   > 数据协作项目   > 技术及平台资讯

数据实验室

技术及平台资讯

 


医管局数据实验室採用Apache Hadoop作为分析平台。Apache Hadoop为一种开源软件,用于储存及处理大量分散及多样的数据。作为大数据平台,Apache Hadoop发挥着数据储存、数据处理、数据查阅、数据管理、保安及操作的功能。


医管局数据实验室平台提供顶尖的数据研究主题,如数据分析、优化/可视化、模拟,以及医疗行业的运作研究。


本平台提供Apache Hadoop解决方案以助决策及製订策略。它的主要组成部份包括HDFS, HBASE, HIVE, Kafka, Sqoop, Spark, Tez, Zookeeper, Storm 及Ranger。


下图显示了医管局数据实验室採用的Hadoop的主要组成部份:

 

可用软件

Hadoop 生态系统
软件 版本
Spark 2.4.7.7.1.7.1000-141
TEZ 0.9.1.7.1.7.1000-141
Ranger 2.1.0.7.1.7.1000-141
Zookeeper 3.5.5.7.1.7.1000-141
Hadoop HDFS 3.1.1.7.1.7.1000-141
Hadoop YARN 3.1.1.7.1.7.1000-141
Hive 3.1.3000.7.1.7.1000-141
HBase 2.2.3.7.1.7.1000-141
Sqoop 1.4.7.7.1.7.1000-141

 

GPU 伺服器组件
标准库及驱动程式 版本
CUDA 11.0.194
NVIDIA Driver 460.73.01

 

R & 模组
套装名称 版本
Rstudio Server 1.4.1717
R 4.3.1
abind 1.4-5
backports 1.4.1
base 4.3.1
bit 4.0.5
bit64 4.0.5
boot 1.3-28.1
brio 1.1.3
broom 1.0.4
callr 3.7.3
car 3.1-2
carData 3.0-5
cellranger 1.1.0
chk 0.9.0
class 7.3-22
cli 3.6.1
clipr 0.8.0
cluster 2.1.4
cobalt 4.5.1
codetools 0.2-19
colorspace 2.1-0
commonmark 1.9.0
compiler 4.3.1
corrplot 0.92
cowplot 1.1.1
cpp11 0.4.3
crayon 1.5.2
data.table 1.14.8
datasets 4.3.1
DBI 1.1.3
deldir 1.0-9
desc 1.4.2
diffobj 0.3.5
digest 0.6.31
dplyr 1.1.2
ellipsis 0.3.2
evaluate 0.21
exactRankTests 0.8-35
fansi 1.0.4
farver 2.1.1
forcats 1.0.0
foreach 1.5.2
foreign 0.8-84
fs 1.6.2
gbm 2.1.8.1
generics 0.1.3
ggplot2 3.4.2
ggpubr 0.6.0
ggrepel 0.9.3
ggsci 3.0.0
ggsignif 0.6.4
glmnet 4.1-7
glue 1.6.2
graphics 4.3.1
grDevices 4.3.1
grid 4.3.1
gridExtra 2.3
gtable 0.3.3
haven 2.5.2
highr 0.10
hms 1.1.3
interp 1.1-4
isoband 0.2.7
iterators 1.0.14
jomo 2.7-6
jpeg 0.1-10
jsonlite 1.8.5
KernSmooth 2.23-21
km.ci 0.5-6
KMsurv 0.1-5
knitr 1.43
labeling 0.4.2
lattice 0.21-8
latticeExtra 0.6-30
lifecycle 1.0.3
lme4 1.1-33
magrittr 2.0.3
markdown 1.7
MASS 7.3-60
MatchIt 4.5.3
MatchThem 1.0.1
Matrix 1.5-4.1
MatrixModels 0.5-1
maxstat 0.7-25
methods 4.3.1
mgcv 1.8-42
mice 3.16.0
minqa 1.2.5
mitml 0.4-5
mitools 2.4
mnormt 2.1.1
munsell 0.5.0
mvtnorm 1.2-2
nlme 3.1-162
nloptr 2.0.3
nnet 7.3-19
numDeriv 2016.8-1.1
ordinal 2022.11-16
pan 1.6
parallel 4.3.1
pbkrtest 0.5.2
pillar 1.9.0
pkgconfig 2.0.3
pkgload 1.3.2
png 0.1-8
polynom 1.4-1
praise 1.0.0
prettyunits 1.1.1
processx 3.8.1
progress 1.2.2
ps 1.7.5
psych 2.3.6
purrr 1.0.1
quantreg 5.95
R6 2.5.1
RColorBrewer 1.1-3
Rcpp 1.0.10
RcppEigen 0.3.3.9.3
RcppProgress 0.4.2
readr 2.1.4
readxl 1.4.2
rematch 1.0.1
rematch2 2.1.2
rlang 1.1.1
rpart 4.1.19
rprojroot 2.0.3
rstatix 0.7.2
scales 1.2.1
shape 1.4.6
SparseM 1.81
spatial 7.3-16
splines 4.3.1
stats 4.3.1
stats4 4.3.1
stringi 1.7.12
stringr 1.5.0
survey 4.2-1
survival 3.5-5
survminer 0.4.9
survMisc 0.5.6
tcltk 4.3.1
testthat 3.1.8
tibble 3.2.1
tidyr 1.3.0
tidyselect 1.2.0
tidyverse 2.0.0
tools 4.3.1
twang 2.5
tzdb 0.4.0
ucminf 1.2.0
utf8 1.2.3
utils 4.3.1
vctrs 0.6.3
viridisLite 0.4.2
vroom 1.6.3
waldo 0.5.1
WeightIt 0.14.2
withr 2.5.0
xfun 0.39
xgboost 1.7.5.1
xtable 1.8-4
yaml 2.3.7
zoo 1.8-12

 

Python & 模组
套装名称 版本
Python 3.9.16
absl-py 1.4.0
anyio 3.7.1
argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0
arrow 1.2.3
asttokens 2.2.1
astunparse 1.6.3
async-lru 2.0.4
attrs 23.1.0
Babel 2.12.1
backcall 0.2.0
beautifulsoup4 4.12.2
bleach 6.0.0
cachetools 5.3.1
certifi 2023.5.7
cffi 1.15.1
charset-normalizer 3.1.0
comm 0.1.4
contourpy 1.0.7
cycler 0.11.0
debugpy 1.6.7
decorator 5.1.1
defusedxml 0.7.1
easyocr 1.7.0
exceptiongroup 1.1.2
executing 1.2.0
fastjsonschema 2.18.0
filelock 3.12.2
flatbuffers 1.12
fonttools 4.39.4
fqdn 1.5.1
gast 0.4.0
google-auth 2.19.0
google-auth-oauthlib 0.4.6
google-pasta 0.2.0
grpcio 1.54.2
h5py 3.8.0
idna 3.4
imageio 2.31.1
importlib-metadata 6.6.0
ipykernel 6.25.0
ipython 8.14.0
isoduration 20.11.0
jedi 0.19.0
Jinja2 3.1.2
joblib 1.2.0
json5 0.9.14
jsonpointer 2.4
jsonschema 4.18.6
jsonschema-specifications 2023.7.1
jupyter_client 8.3.0
jupyter_core 5.3.1
jupyter-events 0.7.0
jupyter-lsp 2.2.0
jupyter_server 2.7.0
jupyter_server_terminals 0.4.4
jupyterlab 4.0.4
jupyterlab-pygments 0.2.2
jupyterlab_server 2.24.0
keras 2.9.0
Keras-Preprocessing 1.1.2
kiwisolver 1.4.4
lazy_loader 0.3
libclang 16.0.0
lit 16.0.6
Markdown 3.4.3
MarkupSafe 2.1.2
matplotlib 3.6.0
matplotlib-inline 0.1.6
mistune 3.0.1
mpmath 1.3.0
nbclient 0.8.0
nbconvert 7.7.3
nbformat 5.9.2
nest-asyncio 1.5.7
networkx 3.1
ninja 1.11.1
notebook 7.0.2
notebook_shim 0.2.3
numpy 1.22.4
nvidia-cublas-cu11 11.10.3.66
nvidia-cuda-cupti-cu11 11.7.101
nvidia-cuda-nvrtc-cu11 11.7.99
nvidia-cuda-runtime-cu11 11.7.99
nvidia-cudnn-cu11 8.5.0.96
nvidia-cufft-cu11 10.9.0.58
nvidia-curand-cu11 10.2.10.91
nvidia-cusolver-cu11 11.4.0.1
nvidia-cusparse-cu11 11.7.4.91
nvidia-nccl-cu11 2.14.3
nvidia-nvtx-cu11 11.7.91
oauthlib 3.2.2
opencv-python-headless 4.8.0.74
opt-einsum 3.3.0
overrides 7.3.1
packaging 23.1
pandas 1.4.1
pandocfilters 1.5.0
parso 0.8.3
pexpect 4.8.0
pickleshare 0.7.5
Pillow 10.0.0
platformdirs 3.10.0
prometheus-client 0.17.1
prompt-toolkit 3.0.39
protobuf 3.19.6
psutil 5.9.5
ptyprocess 0.7.0
pure-eval 0.2.2
pyasn1 0.5.0
pyasn1-modules 0.3.0
pyclipper 1.3.0.post4
pycparser 2.21
Pygments 2.15.1
PyGObject 3.26.1
pyparsing 3.0.9
python-apt 1.6.6
python-bidi 0.4.2
python-dateutil 2.8.2
python-json-logger 2.0.7
pytz 2023.3
PyWavelets 1.4.1
PyYAML 6.0.1
pyzmq 25.1.0
referencing 0.30.0
requests 2.31.0
requests-oauthlib 1.3.1
rpds-py 0.9.2
rsa 4.9
scikit-image 0.21.0
scikit-learn 1.0.2
scipy 1.11.1
Send2Trash 1.8.2
shapely 2.0.1
six 1.16.0
sniffio 1.3.0
soupsieve 2.4.1
stack-data 0.6.2
sympy 1.12
tensorboard 2.9.1
tensorboard-data-server 0.6.1
tensorboard-plugin-wit 1.8.1
tensorflow-estimator 2.9.0
tensorflow-gpu 2.9.1
tensorflow-io-gcs-filesystem 0.32.0
termcolor 2.3.0
terminado 0.17.1
threadpoolctl 3.1.0
tifffile 2023.7.18
tinycss2 1.2.1
tomli 2.0.1
torch 1.13.0
torchaudio 0.13.0
torchvision 0.14.0
tornado 6.3.2
traitlets 5.9.0
triton 2.0.0
typing_extensions 4.6.2
unattended-upgrades 0.1
uri-template 1.3.0
urllib3 1.26.16
wcwidth 0.2.6
webcolors 1.13
webencodings 0.5.1
websocket-client 1.6.1
Werkzeug 2.3.4
wheel 0.40.0
wrapt 1.15.0
zipp 3.15.0

 

DICOM & 其他工具
名称 版本
Sante DICOM Viewer Lite 3.1.5
itk-SNAP 3.6.0
OsiriX DICOM Viewer 12.0.1
PyCharm 2018.3.4 (Community Edition)
FSL 5.0.8
dcm2nii 2MAY2016
libgdcm-tools 2.6.3
DCMTK - DICOM Toolkit 3.6.3

 

 

修订日期:2023年11月03日

回到顶部