source config.sh

ehco $BUILD_PATH

mkdir -p $BUILD_PATH

echo

一次性解压目录下所有zip文件-正则表达式

1
find . -name "2000????.zip" -exec unzip {} \;

那么一次性删除呢？

传输工具filezilla

类似winscp

断点续传下载数据集ubuntu

转自https://www.qingsword.com/qing/1284.html

Aria2 是一个轻量级多协议多源命令行下载工具；支持 HTTP, HTTPS, FTP, SFTP, BT, Metalink等协议；下面是Aria2的常用实例：

1）下载单个文件

1
2
3
4
5
6
7
#a.下载单个文件,将要下载的文件地址包含在一对英文双引号中，aria会将文件下载到当前目录中，可以使用ctrl+c来中断下载，如果需要断点续传，只需要在相同的目录下执行相同的命令，只要http源地址文件不变，就能直接断点续传，没有下载完的任务会同时存在两个文件，其中以.aria2结尾的文件保存着当前的下载进度和信息

qing@qingsword.com:~$ aria2c "http：//URL/file.zip"

#b.使用多连接，多线程下载单个文件，-x15同一服务器连接数15，-s15单个任务最大线程数15（比起单线程会明显快很多，一般会达到当前网络最大下载速度）

qing@qingsword.com:~$ aria2c -x15 -s15 "http：//URL/file.zip"

2）并行下载多个文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#c.使用参数-Z（大写）并行下载任意数目的URL，每个URL用空格分隔
qing@qingsword.com:~$  aria2c -Z "http：//URL/file1.zip" "http：//URL/fileN.zip"

#d.将URL放在文本文件中，让aria2下载文本文件中所有的URL
qing@qingsword.com:~$ gedit TextFile

#每行一个URL，保存在TextFile文件中
http：//URL/file1.zip
http：//URL/file2.zip
......
http：//URL/fileN.zip

#-i后面是文件名，-j3表示，一次并行下载这个文件中的3条URL文件
qing@qingsword.com:~$ aria2c -i TextFile -j3

3)下载BT和磁力链接

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#e.显示一个.torrent文件中的内容
qing@qingsword.com:~$ aria2c -S  "file.torrent"

#f.直接解析URL中的种子文件内容下载
qing@qingsword.com:~$ aria2c "http：//URL/file.torrent"

#g.解析本地种子文件内容下载
qing@qingsword.com:~$ aria2c "file.torrent"

#h.限制上传速度为20K，当下载速度低于100K时，尝试增加连接数来提高下载速度
qing@qingsword.com:~$ aria2c -u20K --bt-request-peer-speed-limit=200K "file.torrent"

#i.下载磁力连接
qing@qingsword.com:~$ aria2c "magnet:?xxx"

#j.选择下载种子中的哪些文件，配合-S参数使用，先列出种子文件内容，再根据内容选择下载哪几个文件,本例选择下载种子文件中第1~3以及第6个文件
qing@qingsword.com:~$ aria2c --select-file=1-3,6 -T "file.torrent"

4）使用本地配置文件中的属性

上面的例子中的所有属性都可以直接写在aria2的本地配置文件aria2.conf中，在使用aria2下载的时候，只需要在aria2c后面写上文件或者bt连接地址就可以了，aria2会自动调用本地配置文件中的参数下载；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
#k.创建本地配置文件
qing@qingsword.com:~$ gedit ~/.aria2/aria2.conf

#在文件中输入下面的内容，请根据自己的环境修改部分参数（比如下载文件夹，监听端口等）
# '#'开头为注释内容, 选项都有相应的注释说明, 根据需要修改
#被注释的选项填写的是默认值, 建议在需要修改时再取消注释
## 基本选项 ##
# 文件的保存路径(可使用绝对路径或相对路径，推荐使用绝对路径), 默认: 当前启动位置
dir=/home/qing/download

# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc
# 预分配所需时间: none < falloc < trunc < prealloc
# falloc和trunc则需要文件系统和内核支持
# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项
file-allocation=trunc

# 断点续传，目前只支持 HTTP/HTTPS/FTP 协议
continue=true

## 下载连接相关 ##
# 最大同时下载任务数, 运行时可修改, 默认:5
max-concurrent-downloads=20

# 同一服务器连接数, 添加时可指定, 默认:1
max-connection-per-server=15

# 单个任务最大线程数, 添加时可指定, 默认:5
split=5

# 整体下载速度限制,单位K或M, 运行时可修改, 默认:0
#max-overall-download-limit=0
# 单个任务下载速度限制, 默认:0
#max-download-limit=0
# 整体上传速度限制, 运行时可修改, 默认:0
#max-overall-upload-limit=10K
# 单个任务上传速度限制, 默认:0
#max-upload-limit=0


## RPC相关设置 ##
# 启用RPC, 默认:false
enable-rpc=true
# 允许所有来源, 默认:false
rpc-allow-origin-all=true
# 允许非外部访问, 默认:false
rpc-listen-all=true
# RPC监听端口, 端口被占用时可以修改, 默认:6800
rpc-listen-port=51112
# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项
#rpc-secret=TOKEN
# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-user=USER
# 设置的RPC访问密码, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-passwd=PASSWD


## BT/PT下载相关 ##
# 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true
#follow-torrent=true
# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999
listen-port=51111
# 单个种子最大连接数, 默认:55
bt-max-peers=500
# 打开DHT功能, PT需要禁用, 默认:true
enable-dht=true
# 打开IPv6 DHT功能, PT需要禁用
#enable-dht6=true
# DHT网络监听端口, 默认:6881-6999
dht-listen-port=16881-16999
# 客户端伪装, PT需要
peer-id-prefix=-TR2770-
user-agent=Transmission/2.77
# 继续之前的BT任务时, 无需再次校验, 默认:false
bt-seed-unverified=true
# 保存磁力链接元数据为种子文件(.torrent文件), 默认:false
bt-save-metadata=true
# 当速度总是低于200K/s，aria2将临时增加连接数来试着提高下载速度
bt-request-peer-speed-limit=100K
# 下载完成多少分钟后停止做种，本例设置为1分钟
seed-time=1

Ps：经过测试，aria2对热门的bt资源下载速度可以达到带宽上限，对于一些冷门的资源，建议大家用迅雷离线下好后再以上方法下载到本地。另外，aria2的本地配置文件与uGet并不兼容，创建了本地aria2.conf后会导致uGet启动后不能启动aria2，所以，建议大家选择一种自己喜欢的下载方式，或者不创建本地配置文件，在使用aria2终端下载的时候手动添加一些常用参数。