NVIDIA 最近推出免費下載的技術展示工具「Chat with RTX」，首次將基於 NVIDIA RTX 的生成式人工智能引入本地 Windows PC，實現快速、定制化的聊天機器人體驗。
本地生成式 AI 的技術突破
Chat with RTX 使用 NVIDIA TensorRT-LLM 軟件和 RTX 加速技術，結合檔案檢索增強生成（RAG），讓用戶在本地 PC 上運行生成式人工智能應用。只需一張 GeForce RTX 30 系列或更高型號的顯示卡，且配備至少 8GB 的顯示記憶體（VRAM），即可啟用這一功能。
用戶可以輕鬆將 PC 本地檔案作為數據集，連接開源大型語言模型（如 Mistral 或 Llama 2），快速獲取相關答案。例如，輸入「我的伴侶在拉斯維加斯推薦的餐廳是什麼？」後，Chat with RTX 將自動檢索指定的本地檔案，並提供具有上下文的回應。
支援多種檔案類型與影片整合
該工具支援 .txt、.pdf、.doc/.docx 及 .xml 等多種檔案格式，用戶只需將檔案資料夾指向應用程式，即可快速載入資料。此外，它還支援整合 YouTube 影片內容，用戶只需輸入影片網址，即可將影片資訊納入問答內容，例如根據旅遊博主的推薦進行計劃，或從教育資源中獲取快速教學指南。
本地運行保障數據安全
Chat with RTX 在本地運行，避免將數據上傳至雲端服務。這不僅提高了回應速度，還保障用戶隱私，適合處理敏感數據。此外，該應用不需連接網絡即可使用，進一步強化了使用便利性與數據安全性。
