linux多线程下载工具 axel 下载中止的问题
linux多线程下载工具 axel 下载中止的问题
1 axel是什么
axel是一个linux下的多线程下载工具, 官网 http://axel.alioth.debian.org/
2 我遇到的问题
$> axel -a -n 10 -s 409600 "myurl"
下载一段时间再无进度. 而且这种现象很难重现.
3 axel 源码的逻辑
main()
{
axel_new()
{
/* 发送HTTP GET 请求 1个字节,获取下载文件字节数 */
}
axel_open()
{
/* 分配每个连接下载文件数据的起止字节数, 并打开用于保存下载数据的文件 */
axel->outfd = open();
}
axel_start()
{
/* 创建线程池 */
setup_thread()
{
/* 线程处理函数 仅仅是创建连接 之后就返回了.而且 connect() 未设置超时 */
gethostbyname();
connect();
return;
}
}
/* 注册 SIGINT 和 SIGTERM 信号 */
while (下载未完成 且 未接收到信号)
{
axel_do()
{
/*
保存下载状态
注册 select()
如果当前线程池未创建有效连接,即所有描述符(axel->conn[0-n].fd <= 0), 则回收线程或重新创建线程
如果某线程 创建连接成功或未成功返回,则回收线程,并再次创建线程,执行连接操作.
如果某线程 在设定时间内未返回,则 pthread_cancel() 掉该线程. 但是 pthread_cancel() 并不回立马生效
select()
如果某连接可读, 则读取数据,并写入文件对应位置.
如果某连接不可读 且 超时 45秒, 则关闭连接.下次循环时会创建线程重新连接.
*/
}
}
}
4 分析过程
使用strace跟踪当前 axel 进程:
strace -f -tt -p PID
然后看单个线程的执行过程:
16457 14:28:54.194584 clone(child_stack=0xb5e35494, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0xb5e35bd8, {entry_number:6, base_addr:0xb5e35b70, limit:1048575, seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, seg_not_present:0, useable:1}, child_tidptr=0xb5e35bd8) = 23423
23423 14:28:54.194938 set_robust_list(0xb5e35be0, 0xc <unfinished ...>
23423 14:28:54.195125 <... set_robust_list resumed> ) = 0
23423 14:28:54.195300 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
16457 14:29:14.077986 tgkill(16457, 23423, SIGRTMIN <unfinished ...>
23423 14:29:14.078204 <... futex resumed> ) = ? ERESTARTSYS (To be restarted)
23423 14:29:14.078424 --- SIGRTMIN (Unknown signal 32) @ 0 (0) ---
23423 14:29:14.078676 madvise(0xb5635000, 8372224, MADV_DONTNEED <unfinished ...>
23423 14:29:14.078761 <... madvise resumed> ) = 0
23423 14:29:14.078916 _exit(0) = ?
16457 14:28:54.195374 <... clone resumed> child_stack=0xb5634494, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0xb5634bd8, {entry_number:6, base_addr:0xb5634b70, limit:1048575, seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, seg_not_present:0, useable:1}, child_tidptr=0xb5634bd8) = 23424
23424 14:28:54.195524 set_robust_list(0xb5634be0, 0xc <unfinished ...>
23424 14:28:54.195666 <... set_robust_list resumed> ) = 0
23424 14:28:54.195877 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
16457 14:29:14.078985 tgkill(16457, 23424, SIGRTMIN) = 0
23424 14:29:14.079124 <... futex resumed> ) = ? ERESTARTSYS (To be restarted)
23424 14:29:14.079353 --- SIGRTMIN (Unknown signal 32) @ 0 (0) ---
23424 14:29:14.079510 madvise(0xb4e34000, 8372224, MADV_DONTNEED <unfinished ...>
23424 14:29:14.079719 <... madvise resumed> ) = 0
23424 14:29:14.079944 _exit(0) = ?
...
发现:
-> 新分配的线程都停在了 futex(0xb77bcde0, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
|
v
-> 显然是死锁了.
| 为什么死锁?
v
-> 查看源码, 并没有使用锁机制, 整个代码中调用的线程函数有:
| pthre
