featuretask源码（feature mask data）
本文目录一览：
- 1、asynctask 源码，为什么 android4.0 以后是串行
- 2、windows 进程管理源代码详解，要详细的，
- 3、如何使用Ansible 2.0 API的Python运行剧本
- 4、linux内核源码pid_task的疑惑
- 5、在arcgis中出现不能编辑是怎么回事呢 出现 the create feature task could not complete
asynctask 源码，为什么 android4.0 以后是串行
gridview和listview一样，都是在你滑动的时候都会重复多次执行你的baseAdapter里的getView函数里代码，你把AsyncTask放在getview里的话他当然会多次异步加载了。
windows 进程管理源代码详解，要详细的，
Windows 是闭源开发的商业软件，受商业版权法保护，别说大家都没有，就算有也不能给你的（被微软起诉那可不是小事）。
Linux的是开源的，干嘛不去读Linux源码呢？
新版本的太长，写不开，给你最经典的0.11版的进程管理源码。其他的你自己去查。作为一个好的程序员，必须学会充分利用搜索引擎。
---------------------------------------
linux0.11通过一个进程数组管理进程，最大允许64个进程存在。进程的状态有就绪态，运行态，暂停态，睡眠态和僵死态等。睡眠态又可分为可中断和不可中断两种。对于进程的管理，我觉得按照进程的状态来讲会清晰一些。
1.0号任务
0号比较特殊，是"纯手工制作",下面就是制作过程
mem_init(main_memory_start,memory_end);
trap_init();
blk_dev_init();
char_dev_init();
tty_init();
time_init();
sched_init();
buffer_init(buffer_memory_end);
hd_init();
floppy_init();
sti();
move_to_user_mode();
这么多init当然不全是为0任务准备的，他们是初始化系统。对任务0来说，重要的是sched_init()和move_to_user_mode()两个。sched_init()中手动设置了任务0的任务段描述符tss和局部段描述符ldt，并设置了tr和ldtr寄存器：
set_tss_desc(gdt+FIRST_TSS_ENTRY,(init_task.task.tss)); //设置tss段描述符
set_ldt_desc(gdt+FIRST_LDT_ENTRY,(init_task.task.ldt));//设置ldt描述符
...
ltr(0); //加载tss描述符地址到tr
lldt(0); //加载ldt描述符地址到ldtr
我们来看一下任务0的tss和ldt是什么样子
/*ldt*/ {0,0},\
{0x9f,0xc0fa00},\
{0x9f,0xc0f200},\
/*tss*/{0,PAGE_SIZE+(long)init_task,0x10,0,0,0,0,(long)pg_dir,\
0,0,0,0,0,0,0,0,\
0,0,0x17,0x17,0x17,0x17,0x17,0x17,\
_LDT(0),0X80000000，\
{}\
}，\
从ldt 可以看到，任务的代码和数据段均为640k，基址为0，DPL=3。这说明虽然任务0的代码还是处在内核段内，但是任务的级别已经是用户态了。从tss也可以看到这一点，代码和数据都被置为0x17，也就是局部段描述符表第2项。还可以看到任务0的内核太堆栈被设置在init_task之后的一页处，用户态堆栈就是move_to_user_mode之前的内核态堆栈。这和普通进程不一样，普通进程的用户态堆栈在其64Mb地址空间的末端。
move_to_user_mode是在堆栈中创建一个任务切换的假象，用iret跳转到外层3，这样cpu就会自动根据tr加载tss，并初始化各个寄存器运行任务0。所以，任务0其实就是内核空间中的用户态任务。
2.进程的创建
进程创建是由系统调用sys_fork完成的，主要使用了两个函数find_empty_process和copy_process。前者在进程在进程数组中找一个不用的进程号给子进程，后者完成子进程信息的创建，主要是复制父进程的信息。
我们来看一下copy_process的代码：
int copy_process(int nr,long ebp,long edi,long esi,long gs,long none,
long ebx,long ecx,long edx,long fs,long es,long ds,
long eip,long cs,long eflags,long esp,long ss)
{
struct task_struct *p;
int i;
struct file *f;
//首先为子进程的进程描述符分配一块内存
p=(struct task_struct *)get_free_page();
if(!p)
return -EAGAIN;
//将新任务结构指针加入数组中
task[nr]=p;
//复制当前用户的任务结构到子进程中。当然堆栈不复制
*p=*current;
//将子进程的状态设为不可中断等待，防止现在被调度
p-state=TASK_UNINTERRUPTIBLE;
P-pid=last_pid;
p-father=current-pid;
p-count=p-priority;
p-signal=0;
p-alarm=0;
p-leader=0;
p-utime=p-stime=0;
p-cutime=p-cstime=0;
p-start_time=jiffies;
p-tss.back_link=0;
//新进程的内核态堆栈在进程描述符页末端
p-tss.esp0=PAGE_SIZE+(long)p;
P-tss.ss0=0x10;
//ip为父进程调用fork的下一条指令
p-tss.eip=eip;
//fork的返回值对子进程来说是0，对父进程来说是它的pid，通过这个区别，在fork调用返回后，父子进程的代码段便被分割来，
p-tss.eax=0;
//虽然他们是在一个代码文件中写的
p-tss.ecx=ecx;
p-tss.edx=edx;
p-tss.ebx=ebx;
p-tss.esp=esp;
p-tss.ebp=ebp;
p-tss.esi=esi;
p-tss.edi=edi;
p-tss.es=es0xffff;
p-tss.cs=cs0xffff;
p-tss.ss=ss0xffff;
p-tss.ds=ds0xffff;
p-tss.fs=fs0xffff;
p-tss.gs=gs0xffff;
p-tss.ldt=_LDT(nr);
p-tss.trace_bitmap=0x80000000;
//如果父任务使用了协处理器，还要保存到tss中
if(last_task_used_math==current)
_asm("clts;fnsave %0"::"m"(p-tss.i387));
//为新任务设置新的代码和数据段基地址。注意，因为linux0.11只支持64M的进程空间，所以进程的线性地址空间在64M的边界处。
//然后为新任务复制父进程的页表。通过copy_page_tales，父子任务此时共用一个只读的代码数据段。在写操作时，写时复制会为新进程申请新的物理页面。
if(copy_mem(nr,p)){
task[nr]=NULL;
free_page((long)p);
return -EAGAIN;
}
for(i=0;iNR_OPEN;i++)
if(f=p-filp)
f-f_count++;
if(current-pwd)
current-pwd-i_count++;
if(current-root)
current-root-i_count++;
if(current-executable)
current-executable-i_count++;
//设置新任务的tss和ldt描述符
set_tss_desc(gdt+(nr1)+FIRST_TSS_ENTRY,(p-tss));
set_ldt_desc(gdt+(nr1)+FIRST_LDT_ENTRY,(p-ldt));
//返回子进程的pid
return last_pid;
}
参数都是堆栈中的值，nr是调用copy_process之前的find_empty_process的返回值，作为任务数组的序号。
3.进程的调度
进程创建之后并不是立即执行。系统会在适当的时刻调用系统调度函数schedule，它会选择适当的进程运行。调度函数可能在系统调用结束之后，进程暂停/ 睡眠/退出，时钟中断等多个地方调用。调度函数主要是通过进程的时间片来选择一个运行时间最短的进程运行。如果没有找到就运行空闲pause系统调用，在 Pause中，调度函数又会被调用。下面是主要代码
while(1){
c=-1;
next=0;
i=NR_TASKS;
p=task[NR_TASKS];
//寻找就绪任务中运行时间最短的任务
while(--i){
if(!(*--p))
continue;
if((*p)-state==TASK_RUNNING(*p)-counterc)
c=(*p)-counter,next=i;
}
//如果找到，就退出。否则重新计算任务的时间片。注意，如果没有任务，next始终为0,结果就被切换到任务0
if(c)break;
for(p=LAST_TASK;pFIRST_TASK;--p)
if(*p)
(*p)-counter=((*p)-counter1)+(*)-priority;
}
switch_to(next);//通过长跳转，转换任务到新任务。
}
时钟中断是执行调度的重要措施，正是由于不断的执行调度，系统才能在多个任务之间进行切换，完成多任务操作系统的目标。在调度器初始化时，除了手动设置了任务0，还对8253开启了定时器中断，对系统"点火".中断中调用了do_timer函数。现在这是个很短的函数:
void do_timer(long cpl)
{
...
//根据优先级调整进程运行时间
if(cpl)
current-utime++;
else
current-stime++;
//处理定时器中断队列
if(next_timer){
next_timer-jiffies--;
while(next_timernext_timer-jiffies=0){
void(*fn)(void);
fn=next_timer-fn;
next_timer-fn=NULL;
next_timer=next_timer-next;
(fn)();
}
}
..
//对进程时间片减1。如果大于0 ，表示时间片还没有用完，继续
if((--current-counter0)return;
//注意，内核态任务是不可抢占的，在0.11中，除非内核任务主动放弃处理器，它将一直运行。
if(!cpl)return;
//调度
schedule();
}
4.进程的终止
进程可以自己中止，也可以被中止信号中止。do_exit执行退出。如果它有子进程的话，子进程就会成为孤儿进程，这里会将它的孩子托付给进程1(即init进程)管理。在成为僵死进程之后，还要通知父进程，因为他的父进程可能在等它呢。
如何使用Ansible 2.0 API的Python运行剧本
在ansible1.9的时候，API是一个非常简单的东西。官方说“it's pretty simple”，真是又pretty又simple。
import ansible.runner
runner = ansible.runner.Runner(
module_name='ping',
module_args='',
pattern='web*',
forks=10
)
datastructure = runner.run()
到了ansible2.0以后，是“a bit more complicated”，Oh my，简直让人难受。
简洁和灵活是鱼和熊掌。
ansible2.0 API怎么用？
ansible2.0更贴近于ansible cli的常用命令执行方式，不同于上一版本只能发送单个命令或playbook；而更推荐用户在调用ansibleAPI的时候，将playbook的每个task拆分出来，获取每个task的结果。能够跟灵活处理在执行批量作业过程中的各种反馈。
将执行操作的队列模型，包含各类环境参数设置，归结到“ansible.executor.task_queue_manager”类中
将执行过程中的各个task的设置，或者说playbook中的编排内容，归结到“ansible.playbook.play”中
上述两个东西，几乎囊括了可以在执行过程中设置的所有参数，足够灵活，也让人抓狂，相当于需要自己写一个1.9版本中的runner。
他们的确也都是原生类，并非专用于外部调用。
ansible.executor.task_queue_manager
这是ansible的一个内部模块（ansible/executor/task_queue_manager.py）。初始化的源码如下：
class TaskQueueManager:
'''
This class handles the multiprocessing requirements of Ansible by
creating a pool of worker forks, a result handler fork, and a
manager object with shared datastructures/queues for coordinating
work between all processes.
The queue manager is responsible for loading the play strategy plugin,
which dispatches the Play's tasks to hosts.
'''
def __init__(self, inventory, variable_manager, loader, options, passwords, stdout_callback=None, run_additional_callbacks=True, run_tree=False):
self._inventory = inventory
self._variable_manager = variable_manager
self._loader = loader
self._options = options
self._stats = AggregateStats()
self.passwords = passwords
self._stdout_callback = stdout_callback
self._run_additional_callbacks = run_additional_callbacks
self._run_tree = run_tree
self._callbacks_loaded = False
self._callback_plugins = []
self._start_at_done = False
self._result_prc = None
……
创建时，需要的主要参数包括：
inventory -- 由ansible.inventory模块创建，用于导入inventory文件
variable_manager -- 由ansible.vars模块创建，用于存储各类变量信息
loader -- 由ansible.parsing.dataloader模块创建，用于数据解析
options -- 存放各类配置信息的数据字典
passwords -- 登录密码，可设置加密信息
stdout_callback -- 回调函数
ansible.playbook.play
ansible.playbook是一个原生模块，既用于CLI也用于API。从源码可以看出来：
try:
from __main__ import display
except ImportError:
from ansible.utils.display import Display
display = Display()
ansible.playbook.play（ansible/playbook/play.py）。初始化源码的介绍如下：
__all__ = ['Play']
class Play(Base, Taggable, Become):
"""
A play is a language feature that represents a list of roles and/or
task/handler blocks to execute on a given set of hosts.
Usage:
Play.load(datastructure) - Play
Play.something(...)
"""
最后，用task_queue_manager(play)来执行，老规矩，源码的官方解释。
def run(self, play):
'''
Iterates over the roles/tasks in a play, using the given (or default)
strategy for queueing tasks. The default is the linear strategy, which
operates like classic Ansible by keeping all hosts in lock-step with
a given task (meaning no hosts move on to the next task until all hosts
are done with the current task).
'''
一个完整的例子
# -*- coding:utf-8 -*-
# !/usr/bin/env python
#
# Author: Shawn.T
# Email: shawntai.ds@gmail.com
#
# this is the Interface package of Ansible2 API
#
from collections import namedtuple
from ansible.parsing.dataloader import DataLoader
from ansible.vars import VariableManager
from ansible.inventory import Inventory
from ansible.playbook.play import Play
from ansible.executor.task_queue_manager import TaskQueueManager
from tempfile import NamedTemporaryFile
import os
class AnsibleTask(object):
def __init__(self, targetHost):
Options = namedtuple(
'Options', [
'listtags', 'listtasks', 'listhosts', 'syntax', 'connection','module_path',
'forks', 'remote_user', 'private_key_file', 'ssh_common_args', 'ssh_extra_args',
'sftp_extra_args', 'scp_extra_args', 'become', 'become_method', 'become_user',
'verbosity', 'check'
]
)
# initialize needed objects
self.variable_manager = VariableManager()
self.options = Options(
listtags=False, listtasks=False, listhosts=False, syntax=False, connection='smart',
module_path='/usr/lib/python2.7/site-packages/ansible/modules', forks=100,
remote_user='root', private_key_file=None, ssh_common_args=None, ssh_extra_args=None,
sftp_extra_args=None, scp_extra_args=None, become=False, become_method=None, become_user='root',
verbosity=None, check=False
)
self.passwords = dict(vault_pass='secret')
self.loader = DataLoader()
# create inventory and pass to var manager
self.hostsFile = NamedTemporaryFile(delete=False)
self.hostsFile.write(targetHost)
self.hostsFile.close()
self.inventory = Inventory(loader=self.loader, variable_manager=self.variable_manager, host_list=self.hostsFile.name)
self.variable_manager.set_inventory(self.inventory)
def ansiblePlay(self, action):
# create play with tasks
args = "ls /"
play_source = dict(
name = "Ansible Play",
hosts = 'all',
gather_facts = 'no',
tasks = [
dict(action=dict(module='shell', args=args), register='shell_out'),
dict(action=dict(module='debug', args=dict(msg='{{shell_out.stdout}}')))
]
)
play = Play().load(play_source, variable_manager=self.variable_manager, loader=self.loader)
# run it
tqm = None
try:
tqm = TaskQueueManager(
inventory=self.inventory,
variable_manager=self.variable_manager,
loader=self.loader,
options=self.options,
passwords=self.passwords,
stdout_callback='default',
)
result = tqm.run(play)
finally:
# print result
if tqm is not None:
tqm.cleanup()
os.remove(self.hostsFile.name)
self.inventory.clear_pattern_cache()
return result
写一个ansibleTask类，创建了上述的各类必要的配置信息对象，最后使用ansibleTask.ansiblePlay()函数执行。
inventory文件的动态生成
写上面的代码的过程中，碰到一个问题：inventory对象创建时需要一个实体的hosts文件，而文件需要动态生成。
生成的方法参考了这篇牛逼闪闪的文章。使用tempfile.NamedTemporaryFile这个方法来创建一个有名称的临时文件，可以选择关闭后删除或保留。上面的处理办法是：不删除，在执行完毕之后，通过os.remove(self.hostsFile.name)进行删除。
ps.经YiChenWang指出，inventory的创建参数host_list可以使列表。使用以下方式创建inventory也是可以的：
self.inventory = Inventory(loader=self.loader, variable_manager=self.variable_manager, host_list=['xx.xx.xx.xx', 'xx.xx.xx.xx'])
不过，源码中指出，采用list格式参数是无法加载inventory data的。如果需要加载，还是得使用临时文件的办法。
linux内核源码pid_task的疑惑
结论: pids[type].pid_list, 内核将其看成字符串路径(除了 type 需要替换).
以下是推导过程:
进程描述符 task_struct 中含有 pids 字段, 它是一个数组
struct task_struct {
…
struct pid pids[PIDTYPE_MAX];
};
pid 类型定义如下
struct pid
{
int nr;
struct hlist_node pid_chain;
struct list_head pid_list; // * elem
};
pid_task 宏
#define pid_task(elem, type) \
list_entry(elem, struct task_struct, pids[type].pid_list)
综上, 我们得出以下信息
elem 本来就指向 struct list_head 类型的 pid_list 变量,
pid_list(通过 .pid_list 访问) 的包涵体 pid (通过 pids[type] 访问)是进程描述符的成员 pids 的一个项,
所以 elem 所指变量的路径是 pids[type].pid_list
在arcgis中出现不能编辑是怎么回事呢 出现 the create feature task could not complete
是建这个数据层的选择合适的投影（或是定义好上下左右范围）
