MAA
迈向规范化任务链编写｜Towards canonical task chain-writing #10679
Replies: 6 comments 11 replies
-
|
素材 +1 共有三个任务了使用模版 [email protected]，但是每个任务都把同样的 roi 和 action 复制了一遍。 原先的任务流为 "Roguelike@StageTraderRefreshWithDice": {
"template": "[email protected]",
"action": "ClickSelf",
"roi": [230, 47, 211, 182],
"next": [
"Roguelike@StageTraderRefreshWithDiceConfirm",
"Roguelike@StageTraderRefreshWithDiceNotAvaiable",
"Roguelike@StageTraderInvestSystem",
"Roguelike@TraderRandomShopping",
"Roguelike@StageTraderLeave"
],
"exceededNext": [
"Roguelike@StageTraderInvestSystem",
"Roguelike@TraderRandomShopping",
"Roguelike@StageTraderLeave"
]
},
"Sami@Roguelike@StageTraderRefresh": {
"template": "[email protected]",
"action": "ClickSelf",
"roi": [230, 73, 212, 141],
"next": ["Sami@Roguelike@StageTraderRefreshConfirm"]
},
"Sarkaz@Roguelike@StageTraderRefresh": {
"template": "[email protected]",
"action": "ClickSelf",
"roi": [230, 73, 212, 141],
"next": ["Sarkaz@Roguelike@StageTraderRefreshConfirm"]
},修正后的任务流为 "Roguelike@StageTraderRefresh": {
"roi": [230, 47, 211, 182],
"action": "ClickSelf"
},
"Roguelike@StageTraderRefreshWithDice": {
"baseTask": "Roguelike@StageTraderRefresh",
"template": "[email protected]",
"next": [
"Roguelike@StageTraderRefreshWithDiceConfirm",
"Roguelike@StageTraderRefreshWithDiceNotAvaiable",
"Roguelike@StageTraderInvestSystem",
"Roguelike@TraderRandomShopping",
"Roguelike@StageTraderLeave"
],
"exceededNext": [
"Roguelike@StageTraderInvestSystem",
"Roguelike@TraderRandomShopping",
"Roguelike@StageTraderLeave"
]
},
"Sami@Roguelike@StageTraderRefresh": {
"template": "[email protected]",
"next": ["Sami@Roguelike@StageTraderRefreshConfirm"]
},
"Sarkaz@Roguelike@StageTraderRefresh": {
"template": "[email protected]",
"next": ["Sarkaz@Roguelike@StageTraderRefreshConfirm"]
},此外，field 的顺序也应当有讲究。单个任务实际上指定了任务触发的 guard 和任务实际的 action。（此处甚至可以引入 Process Algebra 等形式化验证的内容）roi 参数应为 guard 的一部分。 |
Beta Was this translation helpful? Give feedback.
-
|
我認為自動化將原本的任務列表规范化任务链编写更現實一點，因為一個一個打太坐牢了 ``` import yaml
# Function to fill in template parameters dynamically
def fill_template_parameters(template, parameters):
for key, value in parameters.items():
placeholder = f"{{{{{key}}}}}"
if isinstance(template, dict):
for k, v in template.items():
if isinstance(v, str) and placeholder in v:
template[k] = v.replace(placeholder, str(value))
elif isinstance(template, str):
template = template.replace(placeholder, str(value))
return template
# Function to normalize task chain and automate parameter inputs
def normalize_task_chain_with_dynamic_params(task_data):
templates = {}
normalized_tasks = {}
# Step 1: Extract common templates based on 'roi', 'action', and 'template'
for task_name, task_details in task_data.items():
# Convert list to tuple to make it hashable for dictionary keys
roi = tuple(task_details.get('roi', []))
action = task_details.get('action', '')
template = tuple(task_details.get('template', '')) if isinstance(task_details.get('template', ''), list) else task_details.get('template', '')
# Create a unique key based on 'roi', 'action', and 'template' to identify common templates
template_key = (roi, action, template)
# Check if this template already exists
if template_key not in templates:
template_name = f"TemplateTask_{len(templates) + 1}"
templates[template_key] = {
"template_name": template_name,
"roi": "{{roi}}", # Placeholder
"action": "{{action}}", # Placeholder
"template": "{{template}}" # Placeholder
}
# Step 2: Create a normalized task using the baseTask (template) and pass dynamic parameters
base_task = templates[template_key]['template_name']
parameters = {
'roi': task_details.get('roi', []),
'action': task_details.get('action', ''),
'template': task_details.get('template', '')
}
# Fill template with parameters dynamically
filled_template = fill_template_parameters(templates[template_key].copy(), parameters)
normalized_tasks[task_name] = {
"baseTask": base_task,
"next": task_details.get('next', []),
"parameters": parameters, # Include the parameters for transparency
"filled_template": filled_template # Show the filled template for reference
}
# Step 3: Generate the final normalized task chain with templates and tasks
normalized_chain = {
"templates": {tpl['template_name']: tpl for tpl in templates.values()},
"tasks": normalized_tasks
}
return normalized_chain
# Example task data for dynamic parameter testing
task_data = {
"Roguelike@StageTraderRefreshWithDice": {
"template": "[email protected]",
"action": "ClickSelf",
"roi": [230, 47, 211, 182],
"next": [
"Roguelike@StageTraderRefreshWithDiceConfirm",
"Roguelike@StageTraderRefreshWithDiceNotAvaiable"
]
},
"Sami@Roguelike@StageTraderRefresh": {
"template": "[email protected]",
"action": "ClickSelf",
"roi": [230, 73, 212, 141],
"next": ["Sami@Roguelike@StageTraderRefreshConfirm"]
}
}
# Normalize the task chain with dynamic parameter inputs
normalized_chain_dynamic = normalize_task_chain_with_dynamic_params(task_data)
# Save the normalized task chain to a new YAML file
normalized_yaml_dynamic_path = '/mnt/data/normalized_task_chain_dynamic_params.yaml'
with open(normalized_yaml_dynamic_path, 'w') as f:
yaml.dump(normalized_chain_dynamic, f, default_flow_style=False)
# Return the path to the normalized YAML file
normalized_yaml_dynamic_path
自動化樣本參數輸入的步驟：
識別動態欄位：範本將包含佔位元（例如,、、 ），需要根據特定於任務的數據進行填充。{{roi}}{{action}}{{template}}
提取相關參數：對於每個任務，提取參數（、 等）並將其傳遞到範本中。roiaction
自動填充參數：實施一個系統，當任務引用基本範本時，該系統會自動將佔位元替換為特定於任務的數據。
方法：
動態範本系統：使用佔位元定義範本。當任務使用 時 ，它將提供必要的參數，這些參數會自動插入到範本中。baseTask
解釋：
佔位元替換：範本定義、 和 等佔位元。當任務引用範本時，實際值（例如 ， ）會使用該函數自動替換為範本。{{roi}}{{action}}{{template}}roiactionfill_template_parameters()
Dynamic Parameters：字典包含每個任務的特定值。這些值將動態插入到範本中，從而允許每個任務重複使用相同的範本，但具有不同的值。parameters
結果：現在，每個任務都包含對基本範本的引用和帶有實際參數值的填充範本。 |
Beta Was this translation helpful? Give feedback.
-
|
上面太亂了這裡重新解釋自動化執行與實現 此函數的主要功能是根據傳入的參數動態地替換範本中的佔位符。 此函數負責處理一組任務，並將它們標準化，將重複的任務合併為共用的範本。 動態參數填充： 每個任務都可能有不同的參數（例如 roi、action 和 template），這些參數在執行時被動態提取並填充到範本中。 使用共用範本來減少重複的程式碼和配置，增強可維護性。 透過將所有標準化的任務和範本整合在一起，最終生成的結構（normalized_chain）便於後續的儲存、使用和維護。 |
Beta Was this translation helpful? Give feedback.
-
|
validated_normalized_task_chain_with_template_handling.zip |
Beta Was this translation helpful? Give feedback.
-
|
第二張圖的設計思路涉及到將任務的轉換標籤簡化為 "redo when blocked"，以提升任務鏈的可視化清晰度。以下是對這個做法及其實現的詳細說明。 第二張圖的思路 行為 (action1)： 從場景 A 到場景 B 的初始行為。 在場景 A 中，當進行 action1 之後，若因某些原因（如場景切換動畫或加載延遲）導致無法立即轉換到場景 B，則系統會自動重做 action1，直至成功。 當達到場景 B 時，需要檢查是否可以執行 action2，同時確保場景 A 是否可以正常重做。 定義任務狀態： 每個場景（如場景 A 和 B）都應定義為狀態 (state)。 定義從場景 A 到場景 B 的轉換，並附上 action1。 在從場景 B 返回場景 A 的轉換中，使用 guard 來決定是否可以執行 action2，這樣可以避免不必要的行為執行。 在可視化工具中，將這些轉換標籤設置為簡化形式，這樣使用者在查看任務鏈時能夠一眼明瞭整個流程。 ``` class TaskState:
def __init__(self, name):
self.name = name
self.actions = []
self.guards = []
self.transitions = {}
def add_action(self, action):
self.actions.append(action)
def add_guard(self, guard):
self.guards.append(guard)
def add_transition(self, action, target_state, guard=None):
self.transitions[action] = (target_state, guard)
# 定義場景 A 和場景 B
scene_A = TaskState("场景 A")
scene_B = TaskState("场景 B")
# 添加行為
scene_A.add_action("action1")
scene_B.add_action("action2")
# 設置轉換
scene_A.add_transition("action1", scene_B, guard="check_if_can_go_to_B")
scene_A.add_transition("redo when blocked", scene_A) # 重做行為
# 可視化
def visualize(task_state):
print(f"State: {task_state.name}")
for action in task_state.actions:
print(f" Action: {action}")
for action, (target, guard) in task_state.transitions.items():
guard_info = f" with guard: {guard}" if guard else ""
print(f" Transition: {action} -> {target.name}{guard_info}")
# 可視化場景 A
visualize(scene_A)
這樣子? |
Beta Was this translation helpful? Give feedback.
-
``` import yaml
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizer
def load_tasks(file_path):
with open(file_path, 'r', encoding='utf-8') as file:
return yaml.safe_load(file)
def save_tasks(tasks, file_path):
with open(file_path, 'w', encoding='utf-8') as file:
yaml.dump(tasks, file, default_flow_style=False, allow_unicode=True)
def calculate_similarity(text_a, text_b):
vectorizer = CountVectorizer().fit_transform([text_a, text_b])
vectors = vectorizer.toarray()
return cosine_similarity(vectors)[0][1]
def task_context_similarity(task_a, task_b):
# Compare templates and ROIs
if (task_a['template'] == task_b['template'] and
task_a['roi'] == task_b['roi']):
# Calculate similarity of task descriptions
doc_a = task_a.get('doc', {}).get('description', '')
doc_b = task_b.get('doc', {}).get('description', '')
similarity_score = calculate_similarity(doc_a, doc_b)
# Use a threshold for merging
return similarity_score > 0.7 # Example threshold
return False
def merge_tasks(tasks):
merged_tasks = {}
issues = []
task_names = list(tasks.keys())
for i in range(len(task_names)):
task_a_name = task_names[i]
task_a = tasks[task_a_name]
if task_a_name not in merged_tasks:
merged_tasks[task_a_name] = task_a
for j in range(i + 1, len(task_names)):
task_b_name = task_names[j]
task_b = tasks[task_b_name]
if task_context_similarity(task_a, task_b):
# Prompt for manual confirmation
print(f"Suggest merging '{task_a_name}' and '{task_b_name}'")
user_input = input("Do you want to merge? (y/n): ")
if user_input.lower() == 'y':
# Merge logic
merged_tasks[task_a_name]['next'].extend(task_b.get('next', []))
# Add redo when blocked transition
merged_tasks[task_a_name]['next'].append({
'target': task_b_name,
'label': "redo when blocked"
})
print(f"Merged '{task_a_name}' with '{task_b_name}'.")
else:
merged_tasks[task_b_name] = task_b
return merged_tasks, issues
def format_for_visualization(tasks):
visual_data = {"states": [], "transitions": []}
for task_name, task_details in tasks.items():
# Create state entry
state = {
"name": task_name,
"description": task_details.get('doc', {}).get('description', '')
}
visual_data["states"].append(state)
# Create transitions
for transition in task_details.get('next', []):
transition_info = {
"from": task_name,
"to": transition['target'],
"label": transition.get('label', 'redo when blocked') # Use default label
}
visual_data["transitions"].append(transition_info)
return visual_data
# Example usage
tasks_file_path = 'path/to/tasks.yaml' # Update with actual path
tasks = load_tasks(tasks_file_path)
merged_tasks, issues = merge_tasks(tasks)
# Save the merged tasks back to a new file
save_tasks(merged_tasks, 'path/to/merged_tasks.yaml') # Update with desired output path
# Generate visual data
visual_data = format_for_visualization(merged_tasks)
with open('path/to/visual_data.yaml', 'w', encoding='utf-8') as file:
yaml.dump(visual_data, file, default_flow_style=False, allow_unicode=True)
# Report any issues found
if issues:
print("Issues found during merging:")
for issue in issues:
print(issue)
else:
print("All tasks merged successfully.")
這樣的腳本能夠自動化整理過程，減少人工介入的必要。如果自動合併過程中出現問題，腳本會生成報告以供檢查。 |
Beta Was this translation helpful? Give feedback.
-
|
@Alan-Charred 怎麼與你聯絡，郵箱還是什麼的 |
Beta Was this translation helpful? Give feedback.
-
|
（挠头）好像 github 没有好用的私信功能。我们先在帖子下面交流吧，也方便其他人参与讨论。 您的意思是通过脚本进行初步筛查以减少重写的工作量。是个好主意！ |
Beta Was this translation helpful? Give feedback.
-
|
我的意思是說你有沒有你自己的郵箱因為我在你的個人資料，裡面沒看到你的聯絡方式（因為用這個慢慢回覆的話很難溝通，有些文檔需要調適的時候，可能會變得很沒效率，再加上不會有人一個一個評論去看，只要把重要貼出來就好了，可視化早就用好了?我都打好了啊(●'◡'●) |
Beta Was this translation helpful? Give feedback.
-
Beta Was this translation helpful? Give feedback.
-
|
我有点没看懂，maa 有什么地方用到 yaml 和 csv 了吗？ |
Beta Was this translation helpful? Give feedback.
-
|
素材 +1 |
Beta Was this translation helpful? Give feedback.
-
如何选择 MatchTemplate 与 OcrDetect以我个人的习惯和经验来说，尽可能对所有目标内容为常规文字的内容使用 OcrDetect，无法使用的再改用 MatchTemplate。 OcrDetect 的优缺点
MatchTemplate 的优缺点
|
Beta Was this translation helpful? Give feedback.
-
|
原来如此原来如此，是否支持热更新是一个我从未考虑过的角度，感谢分享！ 虽然我偏好模版匹配，但是在半透明背景下纯色图案的模版匹配，依然是个大问题。现在越来越多的半透明元素出现在 ui 中。极端情况下 Android 模拟器用户仅可以刚刚超过 0.8 一点的分数通过检测，而使用 PlayCover 的 M 芯片 Mac 用户的匹配分数就更低了。寻找对主体形状更敏感、对半透明背景容错率更高的模版匹配方法也在我的 Todo 里。 模版匹配不支持一些简单的形变，一旦模版本身需要略微改动，就必须得等下一个版本，另外新功能支持更慢更费劲一些，是一个我之前没有考虑过的问题（一直在做旧的模式没有和时间赛跑过哈哈哈）。 我之后如果用什么怪方法做模版匹配，也会发到这个帖子来作为素材。（越来越多需要考虑的东西了） |
Beta Was this translation helpful? Give feedback.
-
|
总之我目前的一个原则是，模版匹配不应用于带文字的内容。如果模版中带有 OCR 能精确识别的文字，那我估计会想换成 OCR。 |
Beta Was this translation helpful? Give feedback.
-
先占个位置，糊点乱七八糟的东西，并抛砖——啊，没有砖但是想要白嫖玉。
Introduction
当讨论 MAA 的时候，我们往往会将 MAA 分为五个部分：
tasks.json文件和template文件夹共同构成的任务链信息；（这跟我一个直接用 C++ 接口运行 MAA 的用户又有什么关系呢？）任务链无疑是 MAA 运行的基石之一。当运行一个 接口任务1 时，
Assistant会根据任务类型创建对应的InterfaceTask的子类的对象，后者将根据接口任务的参数启用需要的插件并调用预先编写好的任务链。任务链运行时不断检测各插件的触发条件——比如特定任务执行前或执行后，若条件满足则运行插件，以实现更复杂的操作。本 discussion 建立的目的主要是分享与讨论一些任务链编写实践，尝试归纳、总结一些其中值得推广的部分。虽说不是什么规范，但日积月累，或许能为未来的开发者提供一些便利。
可能的讨论话题有：
MatchTemplate与OcrDetect；sub；Footnotes
为了消除歧义，我们将集成文档中提及的可由
AsstAppendTask接口创建的任务，即StartUp,CloseDown,Fight,Recruit,Infrast,Mall,Award,Roguelike,Copilot,SSSCopilot,Depot,OperBox,Reclamation,Custom,SingleStep,VideoRecognition共 16 项，称为接口任务。 ↩Beta Was this translation helpful? Give feedback.
All reactions