大数据基础命令集锦

1. 查看当前目录是什么命令？怎么表示当前path

pwd

2. 切换到上一次和上一层目录?切换到当前用户的目录。

cd -
cd ..或者cd ../  两层 cd ../../
cd ~ 或者cd

3. 创建目录命令，连续目录的参数

mkdir mkdir 4 5 6当前目录下创建同级目录 mkdir -p 连续目录

4. mv和cp什么区别

mv：用户可以使用该命令为文件或目录重命名或将文件由一个目录移入另一个目录中。

cp: 该命令的功能是将给出的文件或目录拷贝到另一文件或目录中。

5. vi哪三种模式

编辑,命令行,尾行

6. 简述你们知道的vi快捷键有哪些

shift+g 光标到达最后一行 shift+$ 光标到达行位 dd 删除单行 dG 删除当前行到文件结尾部分 gg 光标到达首行

7. 简述哪些命令可以生成一个新的文件

touch mv cp echo vi vim

8. 追加和覆盖分别是什么表示

echo "a" >> b.txt 将字符串a追加到b.txt最后一行 echo "a" > b.txt 使用字符串a覆盖文件内容

9. cat “数据” > bigdata.log 这个成功吗

如果”数据”文件存在则能够执行 如果”数据”只是一个字符串则会提示no such file

cat a.txt 打印a.txt的全部内容 more a.txt 展示a.txt从头开始，使用空格向下翻页，b向上翻页

10. 命令快捷方式设置

别名 alias cdrt=’cd /root’ 当前窗口有效 在环境变量中设置,可以永久生效

vi /etc/profile alias cdrt=’cd /root’

12. 查看历史命令是什么，执行第66行

history !66

13. 怎样查看命令帮助 该注意什么

man python`
`python --help

14. rwx分别代表数字是什么

读写执行权限，分别代表421

15. rwxr–r– 数字多少，分别代表哪三组的权限

读 r 4 写 w 2 执行 x 1 rwxr 4+2+1 = 7 r 4 默认读权限 4 744 分别代表了用户、用户组、其他用户组 -rw--r--r-- root root =》644rw- 6表示root用户有读写权限r-- 4表示root用户组有度权限r-- 4表示其他用户组有读权限

16. 简述哪些命令是带大R参数，反之哪些带小r参数

chown -R spark:hadoop /app` #hadoop(用户):spark(用户组)
`chmod -R 777 /app`
`rm -r`
`cp -r`
`scp -r

17. which xxx，找的是哪个环境变量的目录

$PATH

18. 查看当前系统的ip

ifconfig 
hostname -i

19. 查看某个服务是否开机启动

chkconfig --list |grep http

设置开机启动

chkconfig httpd on

20. telnet 某个ip的端口

yum install -y telnet
telnet 192.168.142.150 80

21. tail -f 与 tail -F

tail --help
-f, --follow[={name|descriptor}]
     output appended data as the file grows;
     -f, --follow, and --follow=descriptor are
     equivalent
-F   same as --follow=name --retry

tail -f 持续输出文件的新增内容，当文件消失时，停止输出 tail -F 持续输出文件的新增内容,并且一直重新尝试

22. 设置文件显示行数

:set nu
:36    #跳转到36行
:set nonu
:/common  #搜索  n向下翻  N向上翻

23. Linux 与Windows上传下载数据

CRT在Linux中输入

rz   #上传到linux
sz a.txt #下载到windows
#下载路径设置    CRT -> Session Manager -> 192.168.142.150(右键) ->  Properties -> X/Y/Xmodem界面的Download

24. 文件大小

ll -h   #当前目录下文件大小
du -sh a.txt #查看文件大小

文件夹大小

du -sh a #查看文件夹

26. 在一个配置文件我这样写

`$JAVA_HOME=/usr/java/jdk1.8`
哪里不对?
那么我引用这个变量 
`echo $JAVA_HOME`是否正确?

`答：配置文件的时候不能在变量名中使用$,可以HADOOP_CONF_DIR=$HADOOP_HOME/conf
在引用时需要添加$表示引用变量`

27. hive数据和元数据分别存储在哪

hive数据存储在hdfs，元数据存储在mysql

28. hive哪些SQL会触发 mr job

聚合函数 那么,什么事聚合函数： 1）一句话概括什么是聚合函数：多行合并为一行 2）常用函数：sum，count，max，min，avg。 3）group by

29. 解压和压缩 参数是什么

tar -zxvf a.tar.gz`
`tar -zcvf a.tar.gz a/*`
`zip -r a.zip a/`
`unzip zip

30. tar解压后，我们要习惯注意什么

修改名字，查看用户的权限

31. 如何配置一个普通用户为sudo权限的无密码的

passwd hadoop设置密码 id hadoop 查看用户组 userdel hadoop 删除用户 修改/etc/sudoers 添加用户 hadoop nopassword jepson ALL=(root) NOPASSWD:ALL

:wq! #强制保存 具体的添加用户，到用户权限，再到sudo免密，可以查看： https://blog.csdn.net/u013429010/article/details/83069421 vi /etc/passwdhuhu:x:503:504::/tmp:/bin/false #修改家目录和是否允许进入该用户 /bin/nologin groupadd bossusermod -a -G boss hadoop #将hadoop添加到boss组usermod -g boss hadoop #修改hadoop的主组

25. su - jepson 你们认为这句话做了哪些

切换用户 ，目录切换到当前用户的家目录下 生效当前用户的环境变量

su jepson 切换用户后依旧停留在之前的目录

25. sudo su - jepson，这样命令可以组合使用吗？

切换用户到家目录生效环境变量 家目录出现 bin-4.1$ 之类的命令行,不影响使用，但是可以通过以下命令进行修正 cp /etc/skel/.* /home/hadoop/ 将隐藏文件复制到家目录下

26. 全局环境变量文件在哪?怎样生效

vim /etc/profile`
`source /etc/profile

27. 个人环境变量文件在哪?怎样生效

临时生效，下次进入后需要再次source vim ~/.bash_profile source ~/.bash_profile 长期生效，下次进入后不需要再次source vim ~/.bashrc source ~/.bashrc

28. 隐藏文件是什么标识开始?哪个命令参数查看?

以.开始 ll -a ls -la ls -l 等价于 ll

29. 查看文件大小

ls -l -h => ll -h

30. 查看文件时间

ls -l -rt 按时间排序

31. 全局路径和相对路径区别是什么

全局 从根目录开始,相对路径从某个位置开始

32. 查看机器负载 ，内存，磁盘

top
uptime 
free -m #查看内存
df -h  #查看硬盘

33. 当前目录搜索含有abc字母的文件或文件夹

find . -name *abc*

34. 通过监控看到服务器CPU load 飙升800，请问你觉得你该怎么做?

使用top查看那个进程消耗的cpu多，是否为有用进程，如果没有用，直接干掉，如果有用，分析log

35. 搜索文件包含某个字符串的行

cat a.txt | grep 22 搜索a.txt中包含22的行 cat a.txt | wc -l 统计a.txt文件的行数 grep -i 忽略大小写

36. 打开a服务器服务xxx的web界面，请问你该怎么做

ps -ef|grep 程序名` #查看进程是否存在
`netstat -nlp|grep 进程号` #根据PID查看端口号
然后进行访问
`ps -ef|grep httpd|grep -v grep

37. 高危命令哪些? 就是在做操作时，要确认清楚或备份一下

rm kill rm a.txt 询问确认是否删除 rm -f a.txt 不询问 强制删除 rm -r -f a ==> rm -rf a 不询问 删除文件夹

38. 软连接语法是什么?

常用来区别软件版本，如： ln -s /home/hadoop/app/python2.7/bin/python /usr/bin/python2 ln -s /home/hadoop/app/python3.6/bin/python /usr/bin/python3

39. 那么删除软连接文件或文件夹，那么源文件还在吗

软连接相当于windows下的一个快捷方式

40. 重命名文件名称，不生成一个新的文件命令是什么

mv

41. Linux远程登录另外一台Linux命令是什么

ssh 集群名/ip

42. Linux系统之间传输文件或文件夹命令是什么

scp/scp -r

43. 多台机器配置无密码信任关系

具体可查看文章： https://blog.csdn.net/u013429010/article/details/83301825

44. a无密码访问b，谁的公钥给谁

只需要将a的公钥发送给b，即可在a上无密码登录b

45. Linux中清屏命令

clear

46. shell文件开头

#!/bin/bash

47. 网络安装

yum install -y httpd`
`service httpd status`
`pgrep -f http` 找到所有包含http的命令
`kill -9 $(pgrep -f http)

48.删除rpm包

rpm -qa |grep http 查询包名 rpq -e --nodeps 包名 卸载rpm yum remove 包名 卸载rpm

49.修改所属用户

chown -R spark:hadoop /home/hadoop/test/ spark:hadoop spark用户和hadoop用户组

50 找到所有包的进程ID pid

pgrep -f http` 找到所有包含http的命令
`kill -9 $(pgrep -f http)

51 查看hdfs中文件的大小

hadoop fs -du -h /data/a.txt

results matching ""

    No results matching ""