8月2日,私募巨頭幻方量化官微宣布,其探索AGI(通用人工智能)的新組織“深度求索(DeepSeek)”啟用上下文硬盤緩存技術,把預計未來會重復使用的內容,緩存在分布式的硬盤陣列中。在大模型API的使用場景中,如果輸入存在重復,則重復的部分只需要從緩存讀取,無需計算。緩存命中的部分,DeepSeek費用為0.1元每百萬tokens。
幻方量化旗下大模型廠商DeepSeek啟用硬盤緩存技術
界面快報 · 來源:界面新聞
幻方量化
887
- 幻方量化規模驟降至200億元?公司內部人士:不實消息
- 管理規模縮水至100多億元?幻方量化回應
評論
暫無評論哦,快來評價一下吧!