老熟女成熟50ⅩXXX过劲自拍中文版下載是一款模擬經營策略遊戲，該版本玩家可以直接顺利获得安卓模擬器在電腦上安裝體驗。該遊戲採用唯美的水墨畫風，將中國風元素融入遊戲場景，為玩家帶來極致的視覺享受，讓您沉浸其中，感受P6F3X2M7T9QJ8L1B4WZR之美。在遊戲中，玩家將扮演一位祖師，開宗立派，培養一眾有趣的弟子，幫助他們渡劫成仙。每位弟子都擁有獨特的命格和屬性，個性迥異，讓您體驗到千奇百怪的修仙生活。

與此同時，老熟女成熟50ⅩXXX过劲自拍PC端下載還擁有獨特的掛機機制，您可以將遊戲放置在後台，解放雙手，讓弟子們自動修煉、渡劫，貼心呵護您的修仙門派。宗門地產建設也是遊戲的重要內容，您可以自由擺放，打造屬於自己的修仙宗門，創造仙門人的理想家園。從山海異獸到一石一木，處處充滿着古韻仙風，讓您仿佛置身於修仙小說般的仙境之中。

任務級獎勵提升AppAgent思考力，淘天提出-R1，3B模型超32B特色

-R1團隊 投稿量子位 | 公眾號 QbitAI

現有/APP Agent的工作可以適應實時環境，並執行動作，但由於它們大部分都僅依賴於動作級獎勵（SFT或RL）。

而這些獎勵只能引導代理預測每一步中最佳的單一動作，因此難以應對不斷變化的移動環境。

比如一句指令：「打開飛豬，進入酒店套餐，進入熱門直播，找到飛豬超級VIP，並關注主播」。Qwen2.5-VL-3B-Instruct在第二步失敗。

淘天集團算法技術-未來生活實驗室&點淘算法團隊聯合提出，採用多回合、任務導向的學習方式，結合在線學習和軌跡糾錯，也許能提高Agent的適應性和探索能力。

他們提出了個具有任務級獎勵（Task-level Reward）的交互式強化學習框架，即-R1。

為了確保訓練的穩定性，團隊提出了一個三階段訓練過程：格式微調、動作級訓練和任務級訓練。此外引入新的中文基準和高質量軌跡數據集，證明了該方法在移動代理領域的有效性。

結果-R1順利地完成了這一任務。

軌跡數據集

團隊使用Qwen2.5-VL-3B執行一系列任務取得初始軌跡，並人工標註這些初始軌跡，得到了高質量的軌跡數據集。

其構造可以分為數據收集和軌跡標註兩部分，最終得到了4,635條高質量的人工標註軌跡，包含24,521個單步數據。

△軌跡數據集構造流程

第一时间，選擇了28個中國移動應用程式，顺利获得人工設計和自動生成相結合的方法創建了多樣化的任務指令，隨後統一經過人工審核，去除了部分不合理指令。在使用Qwen2.5-VL-3B模型執行這些指令後，成功收集了大量動作執行軌跡，軌跡中的每一步都包含模型輸出的思考，需要執行的動作以及對應的工具調用。

得到軌跡後，針對模型的輸出做了以下三個維度的標註：

邏輯思考：將所有思考修正為「當前狀態+下一步的動作+動作目的」的格式，比如「當前在手機主屏（當前狀態），下一步是點擊淘寶圖標（下一步動作）來進入淘寶（動作目的）」。如果原思考內容錯誤也會人工標註者會按照該格式重寫思考。清晰動作：清晰動作是單步可執行操作的一句話描述，動作應符合思考的內容並且可有助于任務的完成。準確調用：人工標註者會修正錯誤的操作調用，包括類型錯誤以及參數錯誤。訓練流程

訓練流程由三個階段構成，基於Qwen2.5-VL-3B。這三個階段分別是初始格式微調、動作級在線訓練和任務級在線訓練。

Stage1：初始格式微調

在第一階段，對模型進行初始格式微調。這一步是顺利获得監督微調（SFT）的方式進行的，使用的是之前人工標註的高質量軌跡數據集。在微調過程中，模型不僅會學習如何將用戶的指令與當前的GUI狀態對應起來，還會調整輸出格式以符合預期的結構，包括邏輯思考、清晰動作和準確調用。

Stage2：動作級在線訓練

在第二階段，模型顺利获得群體相對策略優化（GRPO）進行動作級在線訓練。此階段使用動作級獎勵（Action-level Reward）來評估每個動作的正確性，同時確保輸出格式的完整性。動作級獎勵由可驗證動作獎勵和格式獎勵組成，其中可驗證動作獎勵能夠量化動作的正確性，而格式獎勵則確保模型輸出是結構化、可解釋的。

動作級獎勵。1）對於基於坐標的動作（如點擊、滑動），如果預測的坐標落在目標GUI元素的真實邊界框內，則獎勵為1，否則為0。2）對於非坐標的動作（如輸入文本），如果預測的動作或參數與真實值完全匹配，則獎勵為1，否則為0。格式獎勵。格式獎勵促使模型生成符合標籤和結構要求的輸出，確保響應的邏輯思考、動作以及工具調用的格式化。

Stage3：任務級在線訓練

在第三階段，顺利获得多步驟任務級在線訓練來提高模型的泛化能力和探索能力。

在動態的移動環境中，模型需要進行自由探索和錯誤糾正，因此我們將問題定義為馬爾可夫決策過程，以允許多回合的互動。

任務級獎勵由格式獎勵和軌跡級獎勵組成，旨在鼓勵模型在整個軌跡中保持對響應格式的遵循，同時評估任務的完成情況。

軌跡級獎勵。軌跡級獎勵使用外部高精度的MLLM，GPT-4o來評估整個歷史互動軌跡，確保步驟和動作的一致性以及任務的完成情況。格式獎勵。格式獎勵在此階段仍然起着重要作用，為整個軌跡計算平均格式獎勵，並顺利获得[-1, 1]的範圍來對錯誤施加更嚴格的懲罰，以增強輸出的精確度。

訓練的部分階段在淘天自研的強化學習框架ROLL上進行實驗。

實驗結果

實驗中，主要評估了模型在自定義benchmark上的性能，並進行了針對模型泛化能力的魯棒性分析，以驗證-R1的表現。

△整體實驗結果，粗體表示最佳結果，下劃線表示次優結果

結果顯示，Qwen2.5-VL-32B 和 AgentCPM-8B 在性能上表現類似。

其中，AgentCPM-8B 由於專為中國移動生態系統優化，因此在中文場景中表現優異。更為顯著的是，-R1在所有基準中表現最佳，任務成功率達到49.40，比最優秀的baseline model高出將近20點。

Stage 3的訓練進一步增強了-R1的表現，其成功率比只有階段1和階段2訓練的模型高出1.4點，這得益於任務級GRPO的有效應用。

特別值得注意的是，顺利获得階段1和階段2的訓練，Qwen2.5-VL-3B模型的表現超越了其標準版本，並在多項指標上領先於其他基準模型，突顯了動作級和任務級獎勵機制的重要性。

△Stage 3訓練的獎勵曲線

此過程中，Stage 3的獎勵分數顯示出在前四個訓練步驟中穩步增長，表明學習過程是有效的。然而，在步驟5到10之間，獎勵有所下降，這可能是由於策略過於激進或探政策的改變導致的不穩定性。最終從步驟11開始，獎勵再次上升，這表明策略得到了有效的優化和改進。

-R1在處理未見應用時表現出良好的泛化性，而其他模型在泛化能力上存在挑戰。-R1的優異表現主要歸功於Stage 3的訓練，這一階段有效增強了模型的魯棒性和適應性。

△魯棒性分析結果，粗體表示最佳結果

最後總結，在本文中，-R1顺利获得在動態環境中整合交互式強化學習與任務級獎勵，顯著提升了基於視覺語言模型（VLM）的移動代理的能力。

顺利获得包括格式微調、動作級GRPO訓練和任務級GRPO訓練在內的三階段訓練過程，克服了以往方法僅依賴單一動作預測的局限性。

實驗結果表明，-R1在所有指標上都超越了所有基準。此外，團隊計劃全面開源相關資源以促進進一步的研究。

論文連結：http://arxiv.org/abs/2506.20332項目主頁：http://-r1.github.io/-R1/訓練框架參考：http://github.com/alibaba/ROLL/開源數據： http://huggingface.co/datasets/PG23/-R1

遊戲亮點

1、豐富多彩的修仙玩法

除了培養弟子和建設仙門外，遊戲還包含了煉丹、煉器、仙田等多種修仙玩法，讓玩家體驗到修仙的方方面面。

2、自由建設的仙門地產

玩家可以自由擺放修仙宗門的建築，打造屬於自己的修仙家園，創造仙門人的理想世界。

3、精美細膩的遊戲畫面

遊戲的畫面精緻細膩，每一個場景都充滿了古典美感，讓玩家仿佛身臨其境，感受到修仙之美。

4、社交互動的樂趣

遊戲內置豐富的社交系統，玩家可以與其他玩家組成聯盟，共同對抗強敵，體驗多人合作的樂趣，增加了遊戲的可玩性和趣味性。

遊戲評測

1、遊戲玩法豐富，內容深度十足，給玩家帶來了極佳的遊戲體驗。

2、畫面精美，場景設計唯美，讓玩家沉浸其中，感受到了修仙世界的奇幻美感。

3、掛機系統的設置貼心實用，解放了玩家的雙手，讓玩家更輕鬆地享受遊戲樂趣。

4、弟子個性化塑造突出，每個弟子都有自己獨特的故事和特點，增加了遊戲的趣味性和可玩性。

更新日誌

v6.2.2版本

1.1調整問鼎蒼穹席位賽的防守陣容設置規則，現在任何時候都可以調整防守陣容

1.2優化天道樹領悟道果時道果數量不足的獲取提示，現在會自動打開道果寶箱，方便祖師快捷獲取

1.3優化新增仙法問道投資活動的購買提示，現在休賽期購買投資時，如果無法拿滿獎勵則會有二次確認提示

1.4修復陆续在煉製同種丹藥時，煉製材料的數量顯示異常的錯誤