论VT-d对虚拟化NAS之价值

2019-03-02 作者： Fisherworks

Here the post is to talk about how to build a vm-based homelab NAS file server to make the entire unit (host and vm guest) working perfectly well, with both low power consumption, and highly flexible features like timer power on/off, completely spin down HDDs (as data warehouse) with a “power-off” vm – while the host is running well in 7×24. And the key to all of those, is Intel VT-d (feature of x64 processor), with an extra SATA controller attached on the motherboard.

Then btw, clear thinking, after 10 years working experience, should be considered as one of the most valued personalities of a professional.

硬件：产自圣地华强北，3205U，4 Intel i211，HDMI，4 USB，3.5mm音频，1 9pin COM

初始状态：一台基于KVM虚拟化的NAS（文件服务器），Host系统是Proxmox VE 5.3。

当大部分教程选择esxi 5.x时，博主经仔细选择玩了PVE，原因1母鸡是标准debian本身可以做很多事（比如crontab，比如nfs server，比如gitlab等），2基于kvm稳定且不缺文档，3开源，4玩转了可以在工作中使用，毕竟是远近驰名的专业私有云solution。
小鸡操作系统是DSM6，参考别的资料，应该是基于BSD的定制魔改版本。
虚拟机（小鸡）分配2核1.5G内存作为计算资源。
硬盘共3块。
- sata1，引导盘，尺寸50M，用于引导无系统的DSM6进入可以安装系统的状态。虚拟盘，位于母鸡Intel SATA控制器下的mSATA SSD上的一个qcow2文件。
- sata0，系统盘，尺寸20G，用于安装DSM6系统。同样虚拟盘，位于母鸡Intel SATA控制器下的mSATA SSD上的一个qcow2文件。
- sata2，数据盘，尺寸2.0T，从基于PVE（Proxmox VE）的母鸡“伪·直通”到小鸡的物理磁盘。
网卡是从PVE母鸡“真·直通”到小鸡的物理网卡，Intel i211千兆网。

存在问题：一台既无性能，也不可靠的文件服务器。

所谓无性能，就得搞明白“真·直通”和“伪·直通”的区别，这里有关于Intel VT-x和VT-d的简介。
- 对于已经通过VT-d做了直通的i211网卡，其DMA和Interrupt都会remapping到虚拟机去，不再累及母鸡的cpu和内存来做传声筒；换句话说，几乎等价把母鸡的物理外设直连到了小鸡。小鸡关机，可以直接关掉物理网卡，这一点是最好佐证。
- 而对于通过PVE命令“qm set –sata2”接到小鸡的磁盘，无非是把母鸡身上这个整体存储区间（整个硬盘），映射到小鸡虚拟的sata2通道（看起来还是整个硬盘）。也就是说，所有从小鸡对这块磁盘的读写，事无巨细都得母鸡全部过一遍，中断响应和IO性能差异高下立现。
所谓不可靠，此处指两点细节问题。
- 首先，对“伪·直通”的硬盘。我们到小鸡身体里面看（下图右），虚拟出来的QEMU SATA硬盘，其身份信息以及可支持的健康功能统统不见；与同一块硬盘在母鸡身上所得的详细数据相比（下图左），堪称凄惨。这就造成DSM6系统对磁盘健康程度（SMART）是一无所知的。
- 然后，单数据盘，无RAID，对文件服务器而言……尤其对于一台连磁盘的SMART状态都看不到的服务器，屋漏偏逢连夜雨，绝了。

解决思路：把SATA控制器“真·直通”到小鸡。

↑这是tm不可行的，常见家用计算机，包括我手里这台软路由，只有一个SATA控制器。意即给母鸡的系统盘，和给小鸡的数据盘，挂在同一个SATA控制器下，一根绳上蚂蚱，要走都走，要留都留。
既然如此，那么外接一个SATA控制器。接在哪，去看技术手册。

完整阅读本篇»

基于阿里云API实现简单DDNS

2019-02-28 作者： Fisherworks

This is a post talking about using Aliyun Domain Control API (and python sdk as well) to script a simple, self-own ddns service, with only one assumption – a public ip over WAN port of your router.

原始状态：

光猫 <—> R7000主路由 <—> 需要出门的母鸡+小鸡们

设计思路：

办法1：破解光猫，将光猫与R7000桥接。
- 优势：内网只有一层，简洁明了。
- 劣势：打N通电话，下N多工具，还要将独立IPTV信道映射或proxy到R7000的某个LAN口。
办法2：硬件不做任何变动，添加两层映射。
- 优势：实施安全性高。
- 劣势：理论上，走ddns经双层转发，传输性能受影响。
总结：人老色衰，首选安全方案。

网络拓扑：

【更新】代码已推至github，欢迎加星。

完整阅读本篇»

PVE 5.3网卡直通 | PCI NIC Passthrough

2019-01-18 作者： Fisherworks

The pic shown below is recently purchased “software router” from Taobao. This article is written to talk about PCI NIC (Ethernet) passthrough on the newly released Proxmox 5.3.

Configuration –

Intel 3205U 2C 1.5GHz
DDR3 4G RAM
LENOVO MSATA 256GB SSD

最近一直心痒想玩软路由，入了一台几乎是HTPC的“诡异”配置。说是软路由，带着wifi、音频输出和HDMI，说是HTPC吧，还有四块i211千兆。

本想玩esxi，但想到那玩意儿非开源，输码激活不说；Host机上还不方便跑其他脚本和自己想玩的服务，所以还是上熟悉的Proxmox，这货抛掉虚拟机就是个minimum installed Debian，Host和Guest都可以玩的尽兴。

先上直通后的样子 –

黑线是#1网口，是PVE Host管理口，也是Guest机虚拟网卡桥接到外界的网口
灰线是#2口，是虚拟机直通后走的物理网口。

完整阅读本篇»

Mysql full-text index query with SqlAlchemy

2017-11-24 作者： Fisherworks

结论：

mysql fulltext index基本可用（试了natural language mode和boolean mode），尤其在表结构比较简单的前提下
sqlalchemy自带的match关键字只能match单列的fulltext索引，多列的我们用如下办法自制 – 仅用于查询的话，完全够用
最重要的一点：数据量大时，一个query尽量只使用where match against，与其他的where some_column = ‘hello’要分开写（做成subquery）。如果写在一起，极有可能只有fulltext索引生效，而其他列的简单查询所对应的index不生效。

注册自己的Match子句

from sqlalchemy.ext.compiler import compiles
from sqlalchemy.sql.expression import ClauseElement
from sqlalchemy import literal

class Match(ClauseElement):
    def __init__(self, columns, value):
        self.columns = columns
        self.value = literal(value)

@compiles(Match)
def _match(element, compiler, **kw):
    return "MATCH (%s) AGAINST (%s)" % (
               ", ".join(compiler.process(c, **kw) for c in element.columns),
               compiler.process(element.value)
             )

query(Model).filter(Match([Model.x, Model.y], "some value")) #实施查询

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

from sqlalchemy.ext.compiler import compiles

from sqlalchemy.sql.expression import ClauseElement

from sqlalchemy import literal

class Match(ClauseElement):

def __init__(self, columns, value):

self.columns = columns

self.value = literal(value)

@compiles(Match)

def _match(element, compiler, **kw):

return "MATCH (%s) AGAINST (%s)" % (

", ".join(compiler.process(c, **kw) for c in element.columns),

compiler.process(element.value)

)

query(Model).filter(Match([Model.x, Model.y], "some value")) #实施查询

所有条件一起用于查询（前面1个filter不能触发已有index）

data = ErrorLog.query\
    .filter(and_(ErrorLog.devId == thisMachine.devId, 
                 ErrorLog.dateTime.between(logStart, logEnd))) \
    .filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4], 
                  "distributed system")) \
    .order_by(ErrorLog.dateTime.desc()) \
    .offset(offset).limit(size).all()

1

2

3

4

5

6

7

data = ErrorLog.query\

.filter(and_(ErrorLog.devId == thisMachine.devId,

ErrorLog.dateTime.between(logStart, logEnd))) \

.filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4],

"distributed system")) \

.order_by(ErrorLog.dateTime.desc()) \

.offset(offset).limit(size).all()

先做普通字段查询，join后再做fulltext检索（subquery和query各自使用自己的index）

subq = db.session.query(ErrorLog.id.label('errorLogId'))\
    .filter(and_(ErrorLog.devId == thisMachine.devId,
                 ErrorLog.dateTime.between(logStart, logEnd))) \
    .order_by(ErrorLog.dateTime.desc()) \
    .subquery()

data = ErrorLog.query.join(subq, ErrorLog.id == subq.c.errorLogId)\
    .filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4],
                   "distributed system")) \
    .offset(offset).limit(size).all()

1

2

3

4

5

6

7

8

9

10

subq = db.session.query(ErrorLog.id.label('errorLogId'))\

.filter(and_(ErrorLog.devId == thisMachine.devId,

ErrorLog.dateTime.between(logStart, logEnd))) \

.order_by(ErrorLog.dateTime.desc()) \

.subquery()

data = ErrorLog.query.join(subq, ErrorLog.id == subq.c.errorLogId)\

.filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4],

"distributed system")) \

.offset(offset).limit(size).all()

参考自：https://stackoverflow.com/questions/14971619/proper-use-of-mysql-full-text-search-with-sqlalchemy

完整阅读本篇»

垃圾邮件的“进步” | Advance of Spam Mail

2017-07-07 作者： Fisherworks

#A seems-quite-tech-oriented spam mail, as precise strike, from fake addr geofferygreener@gmail.com, but really sent by geoffreygreener946@gmail.com.

收到这么一封邮件，大概瞟了一眼，随手删了

然后不依不饶又给我回了一封，引起了我兴趣

我心说“可以啊，够用心啊”，BOA高管这么瞧得起小弟。。。

不仅告诉我是Linkedin找到我，还是精准打击，不是脚本群发呀

更为关键的一点，这个email地址可信度很高，域名是原装gmail，名字后没有杂七杂八。

如果不是benefit both families而是both business的话，没准哥就着了道呢？

好吧，看看详情 –

完整阅读本篇»

Python Thread Pool传参只一个怎么破？

2017-06-09 作者： Fisherworks

作为批量化操作的method，map比apply要方便简洁一些，至少不用for循环一堆东西
【注1】apply现已不用，因为实际使用基本等价于单进程操作
【注2】至于map之于map_async，及apply之于apply_async，是另外一个话题，可以参考这里
回到之前的话题，apply传参 – 可以清晰的看到，apply可以随意带args，多少个都没关系

#格式: apply(func[, args[, kwds]])
#比如
pool.apply(func=f, args=(20,30,))
 而map传参 - 函数f只允许带一个参数，就是iterable里可以迭代的list

1

2

3

4

#格式: apply(func[, args[, kwds]])

#比如

pool.apply(func=f, args=(20,30,))

而map传参 - 函数f只允许带一个参数，就是iterable里可以迭代的list

#格式: map(func, iterable[, chunksize])
#比如
pool.map(func=f, iterable=[1,2,3])
 那么我们如何保留map这样的代码简洁性，同时也可以传多个参数呢？
 这就用到了partial，把函数的定参放在partial内去传，变参依然iterable - 至少不需要把定参做成全局变量直接传给insert_and_process函数了
 【注】对python2而言，partial只在2.7版本后支持 - 关于partial的说明在<a href="http://www.wklken.me/posts/2013/08/18/python-extra-functools.html#functoolspartial" target="_blank" rel="noopener noreferrer">这里</a>

1

2

3

4

5

6

#格式: map(func, iterable[, chunksize])

#比如

pool.map(func=f, iterable=[1,2,3])

那么我们如何保留map这样的代码简洁性，同时也可以传多个参数呢？

这就用到了partial，把函数的定参放在partial内去传，变参依然iterable - 至少不需要把定参做成全局变量直接传给insert_and_process函数了

【注】对python2而言，partial只在2.7版本后支持 - 关于partial的说明在<a href="http://www.wklken.me/posts/2013/08/18/python-extra-functools.html#functoolspartial" target="_blank" rel="noopener noreferrer">这里</a>

from multiprocessing.dummy import Pool
from functools import partial

def insert_and_process((file_to_process,db)):
    db.table.insert(**parse_file(file_to_process))
    return True

if __name__=="__main__":
    file_list=os.listdir(".")
    db = DAL("path_to_mysql" + db)
    P = Pool(processes=4)
    P.map(partial(insert_and_process, db=db), file_list) #定参放在partial内，变参按照map标准写法去传
    P.close()
    P.join()
    print 'Done.'

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

from multiprocessing.dummy import Pool

from functools import partial

def insert_and_process((file_to_process,db)):

db.table.insert(**parse_file(file_to_process))

return True

if __name__=="__main__":

file_list=os.listdir(".")

db = DAL("path_to_mysql" + db)

P = Pool(processes=4)

P.map(partial(insert_and_process, db=db), file_list) #定参放在partial内，变参按照map标准写法去传

P.close()

P.join()

print 'Done.'

有的同学可能要问 –
Q: 那如果两个（或多个）参数都是变参呢？
A: 开动一下脑筋吧 – 一起打进iterable里可好？
Q: 如果变参B与A不具备同样的iterable特性呢？
A: 擦的咧 – 那还map个毛啊。。。

完整阅读本篇»

论VT-d对虚拟化NAS之价值

基于阿里云API实现简单DDNS

PVE 5.3网卡直通 | PCI NIC Passthrough

Mysql full-text index query with SqlAlchemy

垃圾邮件的“进步” | Advance of Spam Mail

Python Thread Pool传参只一个怎么破？

关于Fisherworks

最近文章

功能

本站友链

实时天气

2024年十一月
一	二	三	四	五	六	日
« 10月
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30