编程

发布日期: 2023-12-15

作者: Bevis23

文章字数: 5.5k

阅读时长: 20 分

阅读次数:

引言

在当今数字化的世界中，计算机操作和系统管理成为了日常工作中不可或缺的一部分。然而，随着科技的不断发展，我们有时会陷入图形用户界面的便利性中，而忽略了一个强大而高效的工具——Shell。本博客旨在介绍Shell的基础知识，深入探讨其作用以及为何学习和使用Shell对个人和专业发展都具有重要意义。

从简单的命令行操作到复杂的脚本编程，Shell为用户提供了一种灵活、高效的与计算机系统交互的方式。通过学习Shell，我们能够更好地理解计算机系统的运作原理，并能够在日常工作中更加高效地执行各种任务。

shell简介

什么是 Shell？

Shell是一种命令行解释器，是操作系统和用户之间进行交互的界面。它接收用户输入的命令并将其转化为操作系统能够理解的指令，然后执行相应的操作。Shell还提供了许多功能，如脚本编程、文件操作、进程控制等，使用户能够更有效地与计算机系统进行交互。

Shell 的作用

用户界面： Shell为用户提供了一种与操作系统交互的方式。通过Shell，用户可以通过键入命令来执行各种操作，而不必依赖图形用户界面。
脚本编程： Shell脚本是一系列命令的集合，可以用于自动化执行任务。通过编写脚本，用户可以批量处理文件、管理系统配置等，提高工作效率。
系统管理： 系统管理员可以使用Shell来进行系统配置、用户管理、进程监控等任务。Shell提供了强大的工具和命令，方便管理员对系统进行管理和维护。
软件开发： 在软件开发过程中，开发者可以使用Shell来执行各种构建、测试和部署任务。Shell脚本可以方便地集成到开发工作流中。

为什么要学习和使用 Shell？

效率： 使用Shell可以更快速地执行各种任务，特别是对于批量处理和自动化任务而言。相比于图形界面，Shell更注重快捷键入和命令行操作，提高了工作效率。
灵活性： Shell提供了强大的命令行工具和脚本编程能力，用户可以根据需要自由组合和定制命令，实现更灵活的操作。
系统管理： 对于系统管理员而言，熟练掌握Shell是必备的技能。它可以用于系统配置、故障排除、日志分析等各种管理任务。
跨平台： 大多数操作系统都提供了Shell，而且Shell脚本通常是可移植的。这意味着你可以在不同的系统上使用相似的命令和脚本，而不用担心平台差异。

Shell 的分类：

Shell有多种不同的类型，每种类型都有其特定的特性和用途。以下是几种常见的Shell类型：

Bash（Bourne Again Shell）： Bash是一种常见的Shell，广泛用于Linux和Unix系统。它是Bourne Shell的扩展，具有更多的功能和改进，成为许多Linux发行版默认的Shell。
Zsh（Z Shell）： Zsh是一个功能强大的Shell，提供了丰富的自动补全和主题定制功能。它也是一个扩展性极强的Shell，支持插件和各种配置选项。
Fish（Friendly Interactive Shell）： Fish以用户友好性和交互性而闻名。它提供了语法高亮、智能补全等功能，使得Shell的使用更加直观和方便。
Dash： Dash是一个轻量级的Shell，通常用于一些资源受限的系统或作为系统引导时的默认Shell。它的设计注重速度和效率。
PowerShell： PowerShell是由Microsoft开发的Shell，主要用于Windows系统。它具有强大的脚本编程功能，支持对象管道，可以与.NET框架进行集成。

Bash 常用快捷键：

熟练使用快捷键可以极大地提高在Bash中的操作效率。以下是一些常用的Bash快捷键：

Ctrl + A： 将光标移动到命令行的开头。
Ctrl + E： 将光标移动到命令行的末尾。
Ctrl + U： 删除光标前的所有文本。
Ctrl + K： 删除光标后的所有文本。
Ctrl + W： 删除光标前的一个单词。
Ctrl + Y： 粘贴之前删除的文本。
Ctrl + R： 向后搜索命令历史。
Ctrl + C： 中断当前正在运行的命令。
Ctrl + D： 注销当前会话或者退出当前终端。

输入输出重定向：

在Shell中，输入输出重定向是一种强大的工具，允许我们控制命令如何与文件、设备以及其他命令进行交互。以下是关于输入输出重定向的一些重要概念：

Linux 的标准输入与输出：

标准输入（stdin）： 在Linux中，标准输入是指命令从用户获取输入的地方。通常，它是从键盘获取输入，但可以通过输入重定向改变其来源。
标准输出（stdout）： 标准输出是指命令输出结果的地方。默认情况下，它是在屏幕上显示，但同样可以通过输出重定向将结果保存到文件或其他地方。

输入重定向：

通过使用 < 符号，我们可以将一个文件的内容作为命令的输入：

command < input_file

输出重定向：

通过使用 > 符号，我们可以将命令的输出保存到文件中。如果文件已经存在，会被覆盖；如果不存在，会创建新文件。

command > output_file

如果要将输出追加到文件末尾，可以使用 >> 符号：

command >> output_file

/dev/null 文件：

/dev/null 是一个特殊的文件，它可以被用作输入或输出的“黑洞”。将输出重定向到 /dev/null 就意味着将其丢弃，不保存到任何文件中。

command > /dev/null  # 将命令的输出丢弃

多命令顺序执行：

使用分号 ; 可以在一行中顺序执行多个命令：

command1 ; command2

如果希望只有在前一个命令成功执行后才执行下一个命令，可以使用双与号 &&：

command1 && command2

Shell 脚本的执行：

Shell脚本是包含一系列Shell命令的文本文件。通过赋予执行权限并使用 ./ 执行：

chmod +x script.sh  # 赋予执行权限
./script.sh        # 执行脚本

或者可以使用 bash 命令执行脚本：

bash script.sh

Shell 变量：

在Shell中，变量是用于存储数据值的命名容器。它们为我们提供了在脚本中存储和检索信息的一种方式。以下是关于Shell变量的命名规则和特殊符号的介绍：

变量的命名规则：

变量名只能包含字母（大小写敏感）、数字和下划线。
变量名不能以数字开头。
不能使用特殊字符（如空格、标点符号等）。
避免使用Shell保留关键字，以免与Shell命令冲突。
推荐使用具有描述性意义的变量名，以提高代码可读性。

特殊符号：

等号 =： 用于给变量赋值。在变量名和等号之间不能有空格。
```
variable_name=value
```
美元符号 $： 用于引用变量的值。通过在变量名前加上 $ 来获取其值。
```
echo $variable_name
```
反引号 ``： 用于将命令的输出赋值给变量。也可以使用 $() 来达到相同的效果。
```
result=`command`
# 或
result=$(command)
```
花括号 {}： 用于明确变量的边界，帮助解析器识别变量名。
```
echo ${variable_name}_suffix
```

示例：

#!/bin/bash

# 定义变量
name="John"
age=25

# 使用变量
echo "Name: $name"
echo "Age: $age"

# 将命令输出赋值给变量
current_directory=$(pwd)

# 拼接字符串
greeting="Hello, ${name}!"
echo $greeting

变量的分类：

在Shell中，变量可以根据其来源和用途进行分类。其中，用户自定义变量是最常用的一种，可以根据需要创建、调用、查看和删除。以下是用户自定义变量的详细介绍：

用户自定义变量：

用户可以根据需要创建自己的变量，用于存储数据或执行脚本中的计算。这类变量可以根据其生命周期分为两种：

全局变量： 在整个Shell会话中都有效，包括Shell脚本和其它命令执行的上下文。
局部变量： 仅在定义它们的Shell脚本中有效，对于其他脚本或命令不可见。

变量定义：

使用等号 = 进行变量定义，无需指定变量类型。

# 全局变量
global_variable="I am a global variable"

# 局部变量
function example_function() {
  local local_variable="I am a local variable"
  echo $local_variable
}

变量调用：

通过 $ 符号引用变量的值。

echo $global_variable

# 调用函数中的局部变量
example_function

变量查看：

使用 echo 命令或 printf 命令来查看变量的值。

echo $global_variable

变量删除：

使用 unset 命令可以删除变量。

unset global_variable

示例：

#!/bin/bash

# 定义全局变量
global_variable="I am a global variable"

# 定义函数，包含局部变量
function example_function() {
  local local_variable="I am a local variable"
  echo "Inside function: $local_variable"
}

# 调用全局变量
echo "Global variable: $global_variable"

# 调用函数
example_function

# 删除全局变量
unset global_variable

# 尝试再次调用全局变量
echo "After unset: $global_variable"  # 将不再有输出

环境变量：

环境变量是一种特殊类型的变量，它们对整个系统或用户会话都可见，而不仅仅是在当前Shell脚本中。环境变量在系统配置和用户定制中起着重要的作用，用于存储各种配置信息和路径。

1. 环境变量设置：

使用 export 命令可以将一个变量设置为环境变量。环境变量通常用于存储路径、配置信息等。

export MY_VARIABLE="This is an environment variable"

设置环境变量后，它将在当前Shell及其子Shell中可见。

2. 环境变量查询和删除：

查询环境变量：

使用 echo 命令或 printf 命令来查看环境变量的值。
```
echo $MY_VARIABLE
```
删除环境变量：

使用 unset 命令可以删除环境变量。
```
unset MY_VARIABLE
```
删除后，变量将不再是环境变量，但仍然存在于当前Shell。

3. 系统默认环境变量：

系统默认包含一些常用的环境变量，它们提供了系统和用户的重要信息。一些常见的系统环境变量包括：

PATH： 包含用于执行命令的目录列表。
HOME： 用户的主目录路径。
USER： 当前用户的用户名。
SHELL： 用户默认的Shell路径。

示例：

#!/bin/bash

# 设置环境变量
export MY_VARIABLE="This is an environment variable"

# 查询环境变量
echo "My environment variable: $MY_VARIABLE"

# 删除环境变量
unset MY_VARIABLE

# 尝试再次查询环境变量
echo "After unset: $MY_VARIABLE"  # 将不再有输出

位置参数变量：

在Shell脚本中，位置参数变量用于获取传递给脚本或函数的参数值。这些参数值根据它们在命令行中的位置进行编号，其中 $1 表示第一个参数，$2 表示第二个参数，以此类推。

位置参数变量的使用示例：

#!/bin/bash

# 打印第一个和第二个位置参数
echo "First argument: $1"
echo "Second argument: $2"

在执行这个脚本时，可以通过在命令行中提供参数来传递值，例如：

bash script.sh arg1 arg2

在这个例子中，$1 将获取值 “arg1”，$2 将获取值 “arg2”。

预定义变量：

Shell提供了一些预定义的特殊变量，它们包含有关系统、脚本或运行时环境的信息。以下是一些常见的预定义变量：

1. $0： 当前脚本的名称。

2. $#： 传递给脚本或函数的参数个数。

3. $*： 以一个单字符串显示所有向脚本传递的参数。

4. $@： 以一个数组显示所有向脚本传递的参数。

5. $?： 最后运行的命令的退出状态。如果为0表示成功，非0表示失败。

6. $$： 当前Shell脚本的进程ID。

7. $!： 后台运行的最后一个作业的进程ID。

预定义变量的使用示例：

#!/bin/bash

echo "Script name: $0"
echo "Number of arguments: $#"
echo "All arguments as a single string: $*"
echo "All arguments as an array: $@"
echo "Exit status of the last command: $?"
echo "Process ID of the current script: $$"
echo "Process ID of the last background command: $!"

这个例子演示了如何使用一些常见的预定义变量获取有关脚本和系统的信息。这些变量使脚本能够动态地适应不同的上下文和运行时条件。

只读变量：

在Shell中，可以使用 readonly 命令将变量设置为只读，使其值不能被修改。只读变量对于存储常量或配置信息是很有用的。

只读变量的使用示例：

#!/bin/bash

# 定义只读变量
readonly my_variable="This is a read-only variable"

# 尝试修改只读变量的值
my_variable="New value"  # 这行会引发错误

# 输出只读变量的值
echo "Read-only variable: $my_variable"

在这个例子中，my_variable 被设置为只读变量，因此任何尝试修改其值的操作都会导致错误。

接受键盘输入：

Shell脚本可以通过 read 命令接受用户的键盘输入。read 命令将等待用户输入，并将输入的值存储在指定的变量中。

接受键盘输入的使用示例：

#!/bin/bash

# 提示用户输入，并将输入的值存储在变量中
echo "Enter your name:"
read user_name

# 输出用户输入的值
echo "Hello, $user_name!"

在这个例子中，脚本使用 read 命令等待用户输入，并将输入的值存储在 user_name 变量中。然后，脚本输出一条包含用户输入的欢迎消息。这两种技术结合使用，可以在脚本中创建具有只读常量和接受用户输入的灵活性。

Shell 运算符：

在Shell脚本中，运算符用于执行各种运算，包括算术运算、关系运算、逻辑运算、字符串运算以及文件测试运算。以下是各类运算符的详细介绍：

1. 算数运算符：

加法 +： 相加两个数字。
减法 -： 从第一个数字减去第二个数字。
乘法 *： 将两个数字相乘。
除法 /： 将第一个数字除以第二个数字。
取余 %： 返回第一个数字除以第二个数字的余数。

算数运算符的使用示例：

#!/bin/bash

a=10
b=5

# 加法
echo "Addition: $((a + b))"

# 减法
echo "Subtraction: $((a - b))"

# 乘法
echo "Multiplication: $((a * b))"

# 除法
echo "Division: $((a / b))"

# 取余
echo "Modulus: $((a % b))"

2. 关系运算符：

等于 ==： 检查两个值是否相等。
不等于 !=： 检查两个值是否不相等。
大于 >： 检查第一个值是否大于第二个值。
小于 <： 检查第一个值是否小于第二个值。
大于等于 >=： 检查第一个值是否大于或等于第二个值。
小于等于 <=： 检查第一个值是否小于或等于第二个值。

关系运算符的使用示例：

#!/bin/bash

a=10
b=5

# 等于
if [ $a == $b ]; then
  echo "Equal"
else
  echo "Not equal"
fi

# 大于
if [ $a -gt $b ]; then
  echo "Greater than"
else
  echo "Not greater than"
fi

3. 逻辑运算符：

逻辑与 &&： 当两个条件都为真时返回真。
逻辑或 ||： 当两个条件至少有一个为真时返回真。
逻辑非 !： 对条件取反，如果条件为真，则返回假；如果条件为假，则返回真。

逻辑运算符的使用示例：

#!/bin/bash

a=true
b=false

# 逻辑与
if [ $a == true ] && [ $b == true ]; then
  echo "Both conditions are true"
else
  echo "At least one condition is false"
fi

# 逻辑或
if [ $a == true ] || [ $b == true ]; then
  echo "At least one condition is true"
else
  echo "Both conditions are false"
fi

# 逻辑非
if ! $a; then
  echo "Condition is false"
else
  echo "Condition is true"
fi

4. 字符串运算符：

等于 =： 检查两个字符串是否相等。
不等于 !=： 检查两个字符串是否不相等。
长度不为零 -n： 检查字符串是否非空。
长度为零 -z： 检查字符串是否为空。

字符串运算符的使用示例：

#!/bin/bash

string1="Hello"
string2="World"

# 等于
if [ $string1 = $string2 ]; then
  echo "Strings are equal"
else
  echo "Strings are not equal"
fi

# 长度不为零
if [ -n $string1 ]; then
  echo "String is not empty"
else
  echo "String is empty"
fi

5. 文件测试运算符：

文件测试运算符用于检查文件的各种属性，如文件是否存在、是否是目录等。

存在 -e： 检查文件或目录是否存在。
目录 -d： 检查是否为目录。
文件 -f： 检查是否为普通文件。
可读 -r： 检查文件是否可读。
可写 -w： 检查文件是否可写。
可执行 -x： 检查文件是否可执行。

文件测试运算符的使用示例：

#!/bin/bash

file="/path/to/file.txt"

# 文件存在
if [ -e $file ]; then
  echo "File exists"
else
  echo "File does not exist"
fi

# 文件可读
if [ -r $file ]; then
  echo "File is readable"
else
  echo "File is not readable"
fi

这些运算符使得在Shell脚本中能够进行各种条件判断和计算，增强了脚本的灵活性和功能。

流程控制：

在Shell脚本中，流程控制结构用于根据条件执行不同的代码块，或者重复执行一段代码。以下是常见的流程控制结构：

1. if 条件判断：

单分支 if 条件：

if [ condition ]; then
  # code block
fi

双分支 if 条件语句：

if [ condition ]; then
  # code block for true condition
else
  # code block for false condition
fi

多分支 if 条件语句：

if [ condition1 ]; then
  # code block for condition1
elif [ condition2 ]; then
  # code block for condition2
else
  # code block if none of the conditions are true
fi

2. 多分支 case 条件语句：

case variable in
  pattern1)
    # code block for pattern1
    ;;
  pattern2)
    # code block for pattern2
    ;;
  *)
    # code block if none of the patterns match
    ;;
esac

3. for 循环：

for variable in values; do
  # code block
done

4. while 循环：

while [ condition ]; do
  # code block
done

5. until 循环：

until [ condition ]; do
  # code block
done

6. 函数：

function_name() {
  # code block
}

7. 特殊流程控制语句：

exit 语句： 用于终止脚本的执行，并返回一个指定的退出状态。
```
exit 0  # 正常退出
exit 1  # 异常退出
```

break 语句： 用于终止循环。

while [ condition ]; do
  # code block
  if [ some_condition ]; then
    break  # 终止循环
  fi
done

continue 语句： 用于跳过循环中的其余代码，进入下一次循环迭代。

for ((i=1; i<=5; i++)); do
  if [ $i -eq 3 ]; then
    continue  # 跳过本次循环迭代
  fi
  # code block
done

这些流程控制结构使得Shell脚本能够进行复杂的逻辑判断和循环，以及定义和调用函数。

字符截取、替换和处理命令

正则表达式：

基本概念：

正则表达式是一种用于描述字符串匹配模式的表达式。在Shell中，正则表达式通常用于模式匹配和文本处理。以下是一些基本概念：

元字符： 正则表达式中的特殊字符，如 *、.、^ 等。
字符类： 使用方括号 [] 表示，用于匹配一个字符的集合。
量词： 用于指定前面的字符或组的重复次数，如 *（零次或多次）、+（一次或多次）、?（零次或一次）。
位置锚定： 使用 ^ 表示字符串的开始，$ 表示字符串的结束。

常用正则表达式符号：

.：匹配任意单个字符。
*：匹配前面的字符零次或多次。
+：匹配前面的字符一次或多次。
?：匹配前面的字符零次或一次。
^：匹配字符串的开头。
$：匹配字符串的结尾。
[]：字符类，匹配方括号中的任意一个字符。
()：分组，将多个字符组合为一个整体。

字符截取、替换命令：

cut 列提取命令：

# 提取文件的第2列
cut -f 2 filename

awk 编程：

概述： awk 是一种用于处理文本数据的强大工具，支持对文本进行分析、过滤、处理和打印。

printf 格式化输出：

awk '{ printf "Name: %s, Age: %d\n", $1, $2 }' data.txt

基本使用：

awk '{ print $1 }' data.txt  # 打印第1列

条件语句 (BEGIN, END, 关系运算符)：

awk '$3 > 50 { print $1, "is older than 50" }' data.txt

内置变量：

awk '{ print NF }' data.txt  # 打印每行的字段数量

常用统计实例：

awk '{ sum += $2 } END { print "Total Age:", sum }' data.txt

流程控制：

awk '{ if ($2 > 30) print $1, "is older than 30"; else print $1, "is younger than 30" }' data.txt

函数：

awk 'function greet(name) { print "Hello, " name } { greet($1) }' data.txt

在 Shell 中调用 awk 脚本：
```
awk -f script.awk data.txt
```

sed 文本选取、替换、删除、新增的命令：

提取行数据：

sed -n '2p' filename  # 打印文件的第2行

删除行数据：

sed '2d' filename  # 删除文件的第2行

追加插入行数据：

sed '2a\This is a new line' filename  # 在第2行后追加新行

替换行数据：

sed 's/old/new/g' filename  # 将文件中的所有 'old' 替换为 'new'

字符串替换：

echo "Hello World" | sed 's/World/Shell/'

字符处理命令：

sort 排序命令：
```
sort filename
```
uniq 取消重复行：
```
uniq filename
```
wc 统计命令：
```
wc filename
```

这些命令和工具使得在Shell中能够进行灵活的文本处理、数据分析和统计。

结语

在这篇博客中，我们深入探讨了Shell脚本编程的一些关键主题，包括Shell的简介、变量的使用、环境变量、位置参数、流程控制结构以及字符截取、替换和处理命令等内容。Shell脚本是一种强大的自动化工具，它允许您以脚本的形式编写一系列命令，从而简化和自动化系统管理、数据处理和任务执行。通过学习Shell脚本，您可以更高效地处理日常任务，提高工作效率。

转载规则

《shell编程基础》由 Bevis23 采用知识共享署名 4.0 国际许可协议进行许可。

贝叶斯之眼看世界

引言从日常生活的简单决策，比如选择午餐吃什么，到复杂的问题，如科学家预测疾病的传播，我们都在使用概率来指导我们的行动。而在这其中，有一种概率理论不仅在数学和统计学中占有举足轻重的地位，更在决策过程中发挥了作用，这就是贝叶斯定理。然而，与它在

2024-01-02 数据分析

数据分析思维贝叶斯定理

解读IMDb电影Top250-电影数据探索

引言当谈到电影史上最经典的作品时，不可避免地会提及IMDb电影Top250榜单。这一榜单汇集了全球观众对电影的热爱和认可，并成为了衡量电影质量的标杆之一。作为一个电影爱好者，对这样一个充满各种类型与风格的榜单进行数据分析，让我异常兴奋。在

2023-11-03 数据分析

数据分析 python

引言