Spark Standalone Mode安装配置
2016-02-05 - 一、Spark下载安装 官网地址：http://spark.apache.org/downloads.html root@ubuntu:/usr/local# tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz root@ubuntu:/usr/local# cd spark-1.6.0-bin-hadoop2.6 二、Scala下载安装 官网地址：http://www.scala-lang.org/d...
2016-02-05 - 安装fedaro时启用LVM，安装完发现没有分swap分区。 步骤如下： $su #/sbin/init 3 等重启后就进入文本界面了。用root登录。 #df /home分区有12G空间，逻辑卷是/dev/mapper/vg-lv01 查看分区情况后，决定从/home 中分出2G空间来，所以先来缩减/home分区空间。...
2016-02-05 - 大环境: Ubuntu 下载： 从https://github.com/panks/Xv6上下载的源代码可以直接编译通过，而且在qemu上能顺利运行！我从其他的源代码网站上git的Xv6源代码，编译中出现error，手动修改后，虽然编译通过了，但是无法在qemu或bochs上正常运行。 运行环境： 选...
2016-02-05 - 前提是已安装好Ruby（可以参照：Ruby安装，下面附上 ），不然会安装失败，因为可能是缺少各种依赖包。 很多时候我们可能需要解析原始HTML。Ruby gem Nokogiri使读取原始HTML像crack-parsed XML and JSON一样容易。 gem install nokogiri 安装时遇到下面情况...
2016-02-05 - Linux内核从2.6.13开始，引入了inotify机制。通过intofity机制，能够对文件系统的变化进行监控，如对文件进行创建、删除、修改等操作，可以及时通知应用程序进行相关事件的处理。这种响应处理机制，避免了频繁的文件轮询任务，提高了任务的处理效率。 一、检...
linux下终端中区分数字0和字母o及数字1和字母l
2016-02-05 - 在日常使用和编程中，有时候总是很难分清数字0和字母o或数字1和字母l，有没有更好的办法呢，当然有！ 如果显示成如下这样是不是很容易分辨呢？ 方式是更改终端的字体格式，方法如下： 找到编辑-首选项-字体设置， 选择DejaVuSansMonos 字体即可。 也有人设置...
分享个最新的linux内核4.5-rc2(已经编译成deb包)
2016-02-05 - 本人系统是deepin15.1 64位，等于ubuntu15.10 64位吧。 这个内核是2016-02-01号的4.5-rc2，并不是4.4！ 安装方法： 先下载解压： tar -xvf ./linux-4.5-rc2.tar.gz 安装： cd linux-4.5 sudo dpkg -i ./* 也可以选择自己编译，内核下载地址： https://www.ke...
2016-02-03 - 在安装hue以前你的服务器上要安装以下软件： CentOS JDK Maven Git Hadoop Hive Python 1、下载hue https://github.com/cloudera/hue 2、编译hue 进入到hue的根目录，执行make apps 3、执行后如果报下面的错，说明你的服务器上没有python-dev，按照下面的步...
2016-02-03 - 昨天晚上让运维帮我更新上线了一个shell脚本，并添加到定时任务中准备凌晨12点06分执行，当我早上5点17醒来的时候，总感觉不对就去查邮件看看定时任务是否执行了，一看没有执行，然后直接远程到服务器，发现脚本执行只用了6秒，说明脚本是被调用了，那么就直...
2016-02-03 - 几乎英特网上的所有关于配置VNC的文章都是连接到一个新的会话上的。但是这个不太适合我的胃口，我需要将我的pc连接到服务器上，并前可以获得当前服务器桌面的状态。 首先，我要说，下面的方法允许获得远程的连接，不管是从window还是其它任何的操作系统远程...
在CentOS 6.6 64bit上为vim 7.4安装并配置vim-airline插件
2016-02-03 - 在CentOS 6.6 64bit上我使用Vundle来管理vim 7.4的所有插件。为了安装vim-airline插件，只需要在： ~/.vimrc 中添加一行： Plugin bling/vim-airline 并紧接着配置： set laststatus=2 set t_Co=256 set g:airline_theme=durant 就会出现下面我比较喜欢的效...
2016-02-02 - 1.一般图片处理需要安装imagemagic：$ sudo apt-get install imagemagic 2.linux批量修改图片大小：find /home/wanghl/绝对路径/ -name *.jpg -exec convert -resize 50%x50% {} {} \; 检查系统有无安装ImageMagick shell rpm -qa | grep ImageMagick 没有就...
2016-02-02 - 在嵌入式linux里面，经常会修改默认的telnet断口号，使默认的23端口指向app中的命令行，原来的linux 默认的sh命令行改为2323或其他。 在/etc/init.d/rcS里面一般会有： /usr/sbin/telnetd 用来启动telnet服务。 因此一个修改端口的方法就是: 方法1：比较简单...
Sublime Text 3 Package Control安装
2016-02-02 - 安装好Sublime Text 3之后，安装Package Control最简单的方法就是使用命令行安装。 从官网上Package Control Installation（https://packagecontrol.io/installation），中复制下所需的Python代码： Sublime Text 3: import urllib.request,os,hashlib; h =...
2016-02-02 - 磁盘 swap：是把磁盘的一部分作为内存， 对应用来说完全是透明的，相当与增大了内存， 但是缺点很明显， 当用到swap的时候，速度会变的很慢。 zram： 是把物理内存的一部分划分出来，把不是常用的内存数据压缩后放到zram里， 用到的时候把数据解压出来， 相...
2016-02-01 - 擦除第二分区-kernel # flash_eraseall /dev/mtd1 Erasing 64 Kibyte @ 200000 - 100% complete. 重写kernel分区 # flashcp kernel.img /dev/mtd1 备注：第一分区/dev/mtd0为uboot,尽量不要动，其他分区操作错误，只要uboot没死都可以想办法恢复系统，uboot...
2016-02-01 - Linux主要发行版本中提供的网络工具： netstat、tcpdump、ethtool、snmp、ifport、ifconfig、route、arp、ping、traceroute、host、nslookup ping ipaddress/hostname 显示计算机是否真在运行以及网络连接是否正常（该命令使用了ICMP中的echo功能） route命...
如何Mutt邮件客户端中使用密文密码
2016-02-01 - Mutt 是一个 Linux/UNIX 终端环境下的开源的邮件客户端。Mutt 以及 Alpine 在 Linux 命令行爱好者中有着最忠诚的追随者，这不是没有原因的。想一下你所期待邮件客户端应有的功能，Mutt 拥有：多协议支持（例如，POP3、IMAP 和 SMTP），S/MIME 和 PGP/GPG 集...
用丰富的256色装点你的终端
2016-02-01 - 终端并不只是黑白两色，虽然使用终端可以提高效率，但是这并不意味着我们只能面对非黑即白的界面。也许你的终端的某些应用在展示部分内容时已经使用了16色了，但是这在当今难免感觉还不够细腻。其实，很多终端，比如 xterm、urxvt，以及 Mac OSX 中的 Iterm....
Linux/Unix桌面趣事：终端上的圣诞树
2016-02-01 - 给你的Linux或Unix控制台创造一棵圣诞树玩玩吧。在此之前，需要先安装一个Perl模块，命名为Acme::POE::Tree。这是一棵很喜庆的圣诞树，我已经在Linux、OSX和类Unix系统上验证过了。 安装 Acme::POE::Tree 安装perl模块最简单的办法就是使用CPAN（Perl综合典...
在Linux下反编译Android.apk文件
2016-01-31 - 一、apk反编译生成程序的源代码和图片、XML配置、语言资源等文件 下载反编译工具包：apktool：https://code.google.com/p/android-apktool/downloads/list 具体步骤： 将下载好的反编译工具包解压到android-apk文件夹里面。 在命令行下定位到android-apk文件...
2016-01-31 - 尽管我们可以使用 SSH连接远程通过字符界面来操作Linux，但是对于更多熟悉图形人来说是很不方便的，因此开启Linux的远程桌面还是很有必要的。目前有两种比较流 行的方式：XDM(X display manager）方案和VNC方案，而我个人比较倾向于VNC方案，一是因为VNC方案...
2016-01-31 - 将密钥上传到一台自己的linux主机，下面举例文件名为 key.pemchmod 600 key.pem改写密钥格式为 OpenSSH，如果询问passphrase可以留空（直接回车）ssh-keygen -p -f key.pem生成公密钥 .pub 文件。 使用公密钥时，SecureCRT会询问私密钥或者.pem文件ssh-keyge...
linux下ethtool修改网卡eeprom
2016-01-30 - ethtool 工具有一个-E 指令, 可以通过此指令修改网卡的eeprom. 前提是此网卡驱动编写了ethtool驱动接口,并具有eeprom. 以intel e1000系列网卡为例。 首先取得e000设备的VenID:DevID, 这个VenID:DevID就是ethtool -E 指令中magic 的参数. 可以分别通过2种方式...
Grub开启serial console支持
2016-01-30 - GRUB的配置文件是/boot/grub目录下的menu.lst，可在配置文件中添加serial 与 terminal命令来配置串口输出。 serial命令用于设置串口的参数： --unit：串口设备，0就表示ttyS0，如果是ttyS1就要设为1； --speed：波特率； --work：数据位； --parity：奇偶校...
2016-01-30 - 下载patchelf-0.8.tar.bz2并安装： wget http://nixos.org/releases/patchelf/patchelf-0.8/patchelf-0.8.tar.bz2 tar -zxf patchelf-0.8.tar.bz2 cd patchelf-0.8 ./configure --prefix=/usr make make install 修改前： readelf -d cc1 ynamic section at...
2016-01-30 - copr.fedoraproject.org 提供了第三方构建的 devtoolset-3/4 的仓库, 可直接添加yum源repo后体验 devtoolset-3(gcc-4.9.2) devtoolset-4(gcc-5.2.1)，免去自己构建编译 gcc 麻烦。 devtoolset-3 CentOS 6 https://copr.fedoraproject.org/coprs/rhscl/devtoo...
2016-01-30 - 1、找到settings.json 调置文件。此文件是transmission的配置文件。一般存放在 /home/用户名/.config/transmission 目录下。 2、使用文件编辑工具打开此文件，找到 cache-size-mb: 4, 这一项，可以看到Transmission的缓存是4MB 对于现在的软件来说太小了，因...
2016-01-29 - 安装完ubuntu15.04系统后编译android 4.4系统，用的make版本是3.81。 但ubuntu15.04默认安装的是4.0的，如下： make -v GNU Make 4.0 手动下载：make-3.81.tar.gz http://ftp.gnu.org/pub/gnu/make/make-3.81.tar.gz 解压：sudo tar zxvf make-3.81.tar.gz -...
2016-01-28 - 有时候监控出swap的使用量太高，而又不知道swap到底被谁用了，这时可以使用该方法找出占用swap最多的进程。在Linux内核 2.6.16中引入了一个系统内存接口特性，这个接口位于/proc/$pid/目录下的smaps文件中，一看内容发现是进程内存映像信息，比同一目录下的m...
2016-01-28 - 大家可能都有过这样的经历，我们克隆一台centos6后，使用ifconfig -a 命令看，发现网卡名字不是从eth0开始了。这是由一个配置文件决定的/etc/udev/rules.d/70-persistent-net.rules 要想让它从eth0开始，很简单。首先ifconfig -a 查看网卡的mac地址，然后vim...
2016-01-28 - rhgb表示redhat graphics boot，就是会看到图片来代替启动过程中显示的文本信息，这些信息在启动后用dmesg也可以看到。 quiet表示在启动过程中只有重要信息显示，类似硬件自检的消息不回显示。 rhgb = redhat graphical boot - This is a GUI mode booting s...
2016-01-27 - 在工作或者是日常生活中，肯定会遇到这么一种情况，需要安装软件，但是本地的网络环境并不允许你上网，这个时候就可以用本地的光盘镜像来作为yum的安装源了，具体的步骤如下： 1、挂载光盘 # mount /dev/sr0 /mnt/dvd 2、备份/etc/yum.repos.d/*.repo文件，...
2016-01-27 - 在 inputrc 文件中增加一行配置 echo set completion-ignore-case on~/.inputrc 当前用户重新登录后生效。 当然了，这只是改变当前用户的操作配置，如果要改变全局（对所有用户都生效）的配置，需要在 /etc/inputrc 文件中增加相同的配置，重启后生效。 vim...
2016-01-27 - Linux开启coredump的方法，运行以下命令： mkdir -p /home/data/corefile chmod 777 /home/data/corefile echo ulimit -S -c unlimited /dev/null 21 /etc/profile source /etc/profile echo 1 /proc/sys/kernel/core_uses_pid echo /home/data/corefile/cor...
【Linux】关于IP直达文件hosts
2016-01-27 - hosts文件经常听到，改hosts什么的，但这个文件的真实作用是什么呢？网上对于这个文件解释永远是那种太长不看的理论。让我看的头昏眼花。 一、hosts的基本理论 其实hosts文件在任何一个系统都有，这个hosts在任何系统都没有后缀名，是一个相当于系统全局变量...
【Linux】将终端的命令输出保存为txt文本文件
2016-01-27 - 本来这不是一个问题，因为Linux中的终端很方便，可以直接复制粘贴的。 之后开一个gedit文本编辑器，把复制到的内容粘贴就可以的。 不像windows的cmd控制台，需要先右键标题栏，选择编辑-全选/标记，在右键标题栏，选择复制，这么复制。 cmd搞不好，鼠标不小...
2016-01-27 - pwd 查看当前目录 cd / 进入根目录 cd .. 返回上一级目录 cd ~ 切换到当前目录的家目录 cd ~/chenwei 切换到用户chenwei的家目录 cd - 将当前目录切换到上一个工作目录 每次通过键盘输入路径，这实在是一件很麻烦的事。此时，我可以用诸如pushd各popd这种基...
2016-01-26 - 新安装centos7 Server with GUI 时，每次进入GUI很麻烦，所以想把X-windows直接关掉。 在系统中使用以下命令即可关闭： systemctl set-default multi-user.target 如果需要启用X-Windows在命令行中运行以下命令即可： startx 本文永久更新地址： http://www....
bash环境下自动安装并初始化oh-my-zsh & autojump zsh
2016-01-26 - Linux和Mac系统默认的shell 都是bash，但是真正强大的shell应属于zsh，而且完全监控bash，是shell中的终极杀手，有很多bash所没有的功能，但是zsh的初期配置太过繁琐，流行率一直不高，直到有个叫Robby Russell的家伙在github上开发了oh-my-zsh项目，使大家...