渔人小径 · 唯逻辑不破
This is a post talking about using Aliyun Domain Control API (and python sdk as well) to script a simple, self-own ddns service, with only one assumption – a public ip over WAN port of your router.
原始状态：
光猫 <—> R7000主路由 <—> 需要出门的母鸡+小鸡们
设计思路：
网络拓扑：
【更新】代码已推至github，欢迎加星。
完整阅读本篇»服务号code两年没更新，最近花时间做了彻底重构，说白了差不多重新开发
填坑无数，信心上线后，点公号菜单跳页面时，遇到如下问题
redirect_uri域名与后台配置不一致，错误码:10003
OK，梳理一下，我的后台配置成啥了？（more）
完整阅读本篇»结论：
注册自己的Match子句
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
from sqlalchemy.ext.compiler import compiles from sqlalchemy.sql.expression import ClauseElement from sqlalchemy import literal class Match(ClauseElement): def __init__(self, columns, value): self.columns = columns self.value = literal(value) @compiles(Match) def _match(element, compiler, **kw): return "MATCH (%s) AGAINST (%s)" % ( ", ".join(compiler.process(c, **kw) for c in element.columns), compiler.process(element.value) ) query(Model).filter(Match([Model.x, Model.y], "some value")) #实施查询 |
所有条件一起用于查询（前面1个filter不能触发已有index）
|
1 2 3 4 5 6 7 |
data = ErrorLog.query\ .filter(and_(ErrorLog.devId == thisMachine.devId, ErrorLog.dateTime.between(logStart, logEnd))) \ .filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4], "distributed system")) \ .order_by(ErrorLog.dateTime.desc()) \ .offset(offset).limit(size).all() |
先做普通字段查询，join后再做fulltext检索（subquery和query各自使用自己的index）
|
1 2 3 4 5 6 7 8 9 10 |
subq = db.session.query(ErrorLog.id.label('errorLogId'))\ .filter(and_(ErrorLog.devId == thisMachine.devId, ErrorLog.dateTime.between(logStart, logEnd))) \ .order_by(ErrorLog.dateTime.desc()) \ .subquery() data = ErrorLog.query.join(subq, ErrorLog.id == subq.c.errorLogId)\ .filter(Match([ErrorLog.col1, ErrorLog.col2, ErrorLog.col3, ErrorLog.col4], "distributed system")) \ .offset(offset).limit(size).all() |
参考自：https://stackoverflow.com/questions/14971619/proper-use-of-mysql-full-text-search-with-sqlalchemy
完整阅读本篇»作为批量化操作的method，map比apply要方便简洁一些，至少不用for循环一堆东西
【注1】apply现已不用，因为实际使用基本等价于单进程操作
【注2】至于map之于map_async，及apply之于apply_async，是另外一个话题，可以参考这里
回到之前的话题，apply传参 – 可以清晰的看到，apply可以随意带args，多少个都没关系
|
1 2 3 4 |
#格式: apply(func[, args[, kwds]]) #比如 pool.apply(func=f, args=(20,30,)) 而map传参 - 函数f只允许带一个参数，就是iterable里可以迭代的list |
|
1 2 3 4 5 6 |
#格式: map(func, iterable[, chunksize]) #比如 pool.map(func=f, iterable=[1,2,3]) 那么我们如何保留map这样的代码简洁性，同时也可以传多个参数呢？ 这就用到了partial，把函数的定参放在partial内去传，变参依然iterable - 至少不需要把定参做成全局变量直接传给insert_and_process函数了 【注】对python2而言，partial只在2.7版本后支持 - 关于partial的说明在<a href="http://www.wklken.me/posts/2013/08/18/python-extra-functools.html#functoolspartial" target="_blank" rel="noopener noreferrer">这里</a> |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
from multiprocessing.dummy import Pool from functools import partial def insert_and_process((file_to_process,db)): db.table.insert(**parse_file(file_to_process)) return True if __name__=="__main__": file_list=os.listdir(".") db = DAL("path_to_mysql" + db) P = Pool(processes=4) P.map(partial(insert_and_process, db=db), file_list) #定参放在partial内，变参按照map标准写法去传 P.close() P.join() print 'Done.' |
有的同学可能要问 –
Q: 那如果两个（或多个）参数都是变参呢？
A: 开动一下脑筋吧 – 一起打进iterable里可好？
Q: 如果变参B与A不具备同样的iterable特性呢？
A: 擦的咧 – 那还map个毛啊。。。
最近弄了个公号测试号，尝试一下腾讯OAuth，用的还是习惯的nginx+uwsgi+flask
注意【开放平台】和【公众平台】的OAuth有差别，跳转的auth地址，及scope都是不同的；前者主要用于浏览器app（微信内置浏览器也可兼容），后者跟公众号绑定的更紧密（不关注不能auth）
这货调试蛮坑的 –
木有用域名的时候，我尝试直接用云主机ip接测试号，一共有3处配置，都配了IP（而非域名）
但实际在微信浏览器中访问时，页面无法正常展示，这个提示很关键（转换成手机预览模式）
于是在OAuth的过程中，uwsgi经常报如下错误（而且还是在auth成功之后）：
500ms的请求不算慢啊，为啥会broken pipe呢？
并且明显uwsgi返回了code 200，请求没啥问题噻？
|
1 2 3 4 |
<span style="color: #008000;">Wed Jan 25 16:54:43 2017 - SIGPIPE: writing to a closed pipe/socket/fd (probably the client disconnected) on request /qrScanToTemplateMsg/6?code=0515JtlQ11sLo61riTnQ15CxlQ15Jtl1&state=1 (ip 103.37.140.18) !!! Wed Jan 25 16:54:43 2017 - uwsgi_response_writev_headers_and_body_do(): Broken pipe [core/writer.c line 296] during GET /qrScanToTemplateMsg/6?code=0515JtlQ11sLo61riTnQ15CxlQ15Jtl1&state=1 (103.37.140.18) IOError: write error [pid: 24226|app: 0|req: 11/19] 103.37.140.18 () {38 vars in 892 bytes} [Wed Jan 25 16:54:42 2017] GET /qrScanToTemplateMsg/6?code=0515JtlQ11sLo61riTnQ15CxlQ15Jtl1&state=1 => generated 0 bytes in 468 msecs (HTTP/1.1 200) 3 headers in 0 bytes (0 switches on core 0)</span> |
开始时，丈二和尚摸不着头脑，鉴于uwsgi是nginx的upstream，那就找一下nginx看人家说啥呗
一看不要紧，同一个请求，nginx code是499；google后，表明499是“客户端主动关闭连接”，那么uwsgi送给nginx的200自然木有什么卵用了 – 客户端不要了
而且这一条log是在access.log而非error.log，说明nginx并木有怪罪uwsgi
|
1 |
<span style="color: #008000;">103.37.140.18 - - [25/Jan/2017:16:54:43 +0800] "GET /qrScanToTemplateMsg/6?code=0515JtlQ11sLo61riTnQ15CxlQ15Jtl1&state=1 HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 6P Build/MTC20L) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.9 TBS/036903 Safari/537.36 MicroMessenger/6.5.3.980 NetType/WIFI Language/zh_CN" "-"</span> |
who to blame right now?
我开始怀疑没有域名导致的转码，找了一个备案后没用过的域名，指向这个ip，不到一分钟就生效了
然后把测试号那三处配置都改成域名，再试。。。搞定了，同一个链接，uwsgi和nginx log都是code 200.
|
1 |
<span style="color: #008000;">123.151.38.94 - - [25/Jan/2017:21:17:02 +0800] "GET /qrScanToTemplateMsg/6?code=0011MCQf1s8UTv0ZMHTf1CcRQf11MCQ3&state=1 HTTP/1.1" 200 480 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 6P Build/MTC20L) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.9 TBS/036903 Safari/537.36 MicroMessenger/6.5.3.980 NetType/WIFI Language/zh_CN" "120.221.74.188"</span> |
同时网页访问也展示正常了，不需要什么“转换成手机预览模式”（截图就不贴了）。
究其本质，这个nginx code# 499（以及uwsgi的broken pipe），也即客户端主动断开连接，就是ip访问状态下，微信浏览器为了安全防护，拒绝直接渲染前端页面造成的。
完整阅读本篇»Powered by WordPress | 京ICP备17001541号-1 | 
京公网安备 11011502004657号
