Hexo的Anatole主题修改

之前的NEXT主题看腻了,太多人使用这个主题了,所以想换个博客主题。偶然发现Ben02做的Anatole这个主题感觉挺不错的。安装上之后发现实在是太过简单了,很多东西都没,所以就自己动手改造主题了,就是现在博客这个主题了。 原主题样子: 改造后的样子: 以后肯定会继续修改的,我自己了解点JS,完全不会nod...

Arch Linux Gnome终端透明教程

前话原版的gnome-terminal是不能调透明的,这是因为在早些版本的时候去掉了这个功能,后来Fedora的开发者有把这个透明特性给patch回去了,Arch Linux AUR包里有这个加了patch的版本。 教程安装yarourt1pacman -S yaourt 安装gnome-terminal-tr...

Arch Linux 安装教程

前话最近老作死美化linux,在系统上装装卸卸,导致一些环境依赖包缺失,又不知道具体缺失哪些,所以就只能重装,借这次重装写篇教程,此篇教程大都来源于CSDN的 ArchLinux安装图文教程,但发现此教程稍微有些地方需要修改了,这里会详细说明。 教程制作镜像准备Arch Linux镜像和Ultra ISO软件A...

Scrapy利用Selenium和Xvfb实现非图形界面爬虫

前言最近在做一个天眼查的爬虫,直接用Scrapy爬会被识别为电脑,然后需要验证码,更改时间间隔都没用,后来发现是cookie的缘故,在请求天眼查的网页时发现cookie一直在变。所以Scrapy直接爬如果没办法解决验证码的问题是肯定失败,由于PhantomJS不是真正的浏览器,所以用PhantomJS也不行,所...

Python字符编码以及decode、encode用法区别

为什么Python使用过程中会出现各式各样的乱码问题,明明是中文字符却显示成“/xe4/xb8/xad/xe6/x96/x87”的形式?为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position...

Scrapy爬取Ajax页面(三)

有三种方式爬取Ajax页面抓Json包:简单、快捷 能找到url的情况下首选使用采用Splash插件:爬取速度快,需要Docker,部署麻烦采用Selenium插件:爬取速度慢,需要PhantomJsSelenium插件Selenium 是一套完整的web应用程序测试系统,包含了测试的录制(Selenium I...

Scrapy爬取Ajax页面(二)

有三种方式爬取Ajax页面抓Json包:简单、快捷 能找到url的情况下首选使用采用Splash插件:爬取速度快,需要Docker,部署麻烦采用Selenium插件:爬取速度慢,需要PhantomJsSplash插件Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器首先...

Scrapy爬取Ajax页面(一)

有三种方式爬取Ajax页面抓Json包:简单、快捷 能找到url的情况下首选使用采用Splash插件:爬取速度快,需要Docker,部署麻烦采用Selenium插件:爬取速度慢,需要PhantomJs抓Json包本文爬取网站为工信部的一个文件发布网站,爬取列表和里面的文件内容http://xxgk.miit.g...

Python处理含有中文的文档

Python 直接open('abc.txt', 'r+')处理含有中文的文档时会报错:UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 17: ordinal not...

免密SS登录远程服务器

Linux/Mac下生成秘钥1ssh-keygen -t rsa 三个回车就生成秘钥在~/.ssh/目录下 通过ssh-copy-id的方式上传到服务器1ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@IP 然后输入服务器密码就好了