NVIDIA Clara Guardian 是一個應用框架，同時也是一種合作夥伴生態系統，它可以利用多模態 AI 簡化智能傳感器的開發和部署，可應用於醫療健康設施的各個位置。藉助各種各樣的預訓練模型、參考應用和設備群管理解決方案，開發者能夠以更快的速度構建解決方案，從而將 AI 引入醫療健康設施，並提高患者護理水平。
Clara Guardian 的關鍵組件包括醫療健康預訓練模型，該模型適用於計算機視覺和語音、訓練工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command 是一個混合雲平台，可支持在數百萬台伺服器或醫院的邊緣設備中安全管理並擴展 AI 部署。
這使得生態系統合作夥伴可以輕鬆將 AI 功能添加到常用傳感器中，從而監控人群的安全社交距離、測量體溫、檢測是否佩戴口罩等防護裝備，或與高風險患者進行遠程交互，從而在保護醫療健康機構人員安全的同時，還能讓他們隨時了解狀況。
應用和服務可以在各種硬體上運行，因此，開發者能夠在從邊緣到雲端的任意位置安全地進行部署。
NVIDIA Clara Guardian 功能特性
提供解決方案
利用高性能的預訓練模型在醫療健康領域構建精確 AI。
雲原生，邊緣優先
快速擴展軟體，並在邊緣輕鬆部署應用。
安全管理
在數十台，甚至多達數百萬台的伺服器或邊緣設備上安全地管理和擴展 AI 部署。
醫療健康領域專用的預訓練模型
適用於語音的 Clara Guardian
適用於語音的 Clara Guardian 是 Riva 對話式 AI 功能針對醫療健康領域的特定版本。
- 對於自動語音識別（ASR）功能，模型執行離線識別和串流識別兩種模式，可自動添加標點符號、輸出字詞時間戳並返回前 n 個腳本。
- 我們推薦使用 CitriNet 這個基於端到端卷積 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型會接收音頻片段，並將其轉寫為字母、字節對或詞片段序列。CitriNet 已在 ASR 數據集上進行訓練，在沒有任何外部 LM 的情況下，它可以在 LibriSpeech test-other 上達到 6.22% 的誤字率（WER），並且在各種硬體 / GPU 上高效運行，如此處所示。
- Conformer-CTC 模型是用於自動語音識別的 Conformer 模型的非自回歸變體，該模型使用 CTC 損失 / 解碼代替 Transducer。
- 對於自然語言理解（NLU）功能，深度學習模型通過編碼向量理解上下文，並為特定語言任務（如預測下一個單詞和文本摘要）提供適當的輸出。
- 對於文本轉語音（TTS），有一款基於 FastPitchHifiGanE2E 的語音合成模型。FastPitchHifiGanE2E 是一個端到端的非自回歸模型，可將文本轉化成音頻。它將 FastPitch 和 HiFiGan 組合成一個模型，並以端到端方式聯合訓練。
語音模型（ASR、NLP 和 TTS）可用於截取、處理和響應患者在醫療健康設置中可能提出的常見請求。
適用於計算機視覺的 Clara Guardian
適用於計算機視覺的 Clara Guardian 是 DeepStream 和 Riva 計算機視覺功能在醫療健康領域的特定版本。
Clara Guardian 包含可用於手勢識別、心率監測、口罩檢測和身體姿態估計的預訓練模型。
- 身體姿態估計可用於檢測身體中重要關節和面部特徵的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝蓋、腳踝、鼻子、頸部等），從而建立患者監控 AI 模型。
- 手勢識別模型可以識別一系列常見的手勢（揮手、表示同意、豎大拇指、表示制止等）。
- 僅通過觀察人臉的視頻流，心率估計模型就可以獲得一個人的心率數據。
預編譯的 NVIDIA TensorRT 引擎已在 NVIDIA GPUs 上進行優化。
藉助 Fleet Command 進行安全管理
NVIDIA Fleet Command 是一個混合雲平台，可以跨數十台到數百萬台伺服器或邊緣設備，安全地遠程部署、管理和擴展 AI。管理員無需花費數周時間規劃和執行部署，只需幾分鐘即可將 AI 擴展到醫院。管理員能夠在一個控制面板中實現整個 IT 部門的相關操作，從而管理 AI 應用的生命周期、通過無線以及遠程監控和訪問系統更新系統軟體。
端到端 AI 解決方案
Clara Guardian 包含經 GPU 優化的組件，可加速應用開發的各個階段。
訓練
- 一系列醫療健康領域專用的預訓練計算機視覺和對話式 AI 模型，適用於各種用例。
- NVIDIA NeMo，為 ASR、NLP 和 TTS 構建對話式 AI 模型。
- TAO 工具套件，可創建零編碼且高度準確的計算機視覺模型。
部署
- NVIDIA Riva 用於部署融合了視覺、語音和其他傳感器數據的對話式 AI 模型。
- NVIDIA DeepStream SDK 藉助傳輸層安全性（TLS）協議，提供多平台可擴展的視頻分析框架，可在邊緣進行部署，可連接到任意雲。
點擊閱讀原文，了解更多 NVIDIA Clara Guardian 相關內容。
https://developer.nvidia.cn/zh-cn/clara-guardian