好喜欢现在陶艺教室的open studio。绝大多数是女性,还有很少几个草食男。除了不同level和不同class的人会在一起练习于是可以被别人inspire(我超爱去逛放等待烧和烧好后的shelves)之外,是一个让我感觉很safe的练习夸人和接受被夸的space。
对于出生就浸泡在等级社会里的东亚人,称赞几乎是条件反射地勾起对权力地位的感知和确认:觉得自己不配得到“更好的人”的赞美、赞美别人总是下意识去“矮着身子”过度浮夸然后自我厌恶、表扬来自上位者就会格外雀跃……反而是不trigger任何无关dynamic、平等坦诚地表达admire和接受别人的admire是需要有意识地unlearn和learn的过程。而且想清楚称赞和被称赞跟"Who I am"没有关系是一回事,练习到能磨平几十年的条件反射、back to the natural way是另一回事。
想要达到那种像称赞今天天气很好一样称赞别人、像感觉到今天有一个很好天气一样被别人称赞的状态。
#LoRA :Low-Rank Adaptation of Large Language Models
昨天速学LoRA今天就要给友友们讲了!紧张!希望没讲错!顺便把拖了很久的 #DreamBooth 一并讲了。
要讲LoRA就要先讲模型finetune。模型的finetune指的是什么呢?其实就是当你有一个现成的,很厉害的大模型(pre-trained model),你想要让它学一些新知识,或者完成一些更面向具体应用的子任务,或者只是为了适配你的数据分布时,就需要拿你的小数据去对模型进行重新训练。这个训练不能训太久,否则模型就会过拟合到你的小样本数据上。
pre-train + finetune 是机器学习非常常见的组合,在应用上有很大价值。但是最常见的一个问题就是“遗忘”。模型会在finetune过程中不断忘记之前已经记住的内容。
常见的解决方案中,一个是replay,就是也把原始知识过一遍;第二个是正则化,通过正则项控制模型参数和原始参数尽量一致,不要变太多;还有一个是Parameter isolation(参数孤立化),这个是通过独立出一个模块来做finetune,原有的模型不再更新权重。
参数孤立化是最有效的一种方式,具体有好几种实现方式,例如Adaptor(P1)就是在原模型中增加一个子模块,固定原模型,只训练子模块。是不是听起来很熟悉?是的,ControlNet就是一种类似Adaptor的方法,同理还有T2I-Adapter,也是通过增加子模块来引入新的条件输入控制。
LoRA则是另一种参数孤立化策略。如P2,它利用低秩矩阵来替代原来全量参数进行训练,从而提升finetune的效率。
我们可以拿来和DreamBooth对比一下。P3是个很清晰的对比图。
对于DreamBooth来说,它是直接更新整个大模型的权重来让模型学习新概念的。虽然可以通过正则项避免遗忘,但是finetune后的模型依然非常大(和原模型一样大)。
而使用LoRA后,LoRA影响的只是其中一小部分(通过低秩矩阵叠加到大模型网络上)。所以finetune起来更快,更不吃资源,而且得到的finetune模型非常小,使用起来方便很多。
由于LoRA在结构上是独立于大模型的,所以它甚至有一个额外的好处是替换大模型可以得到不同的令人惊喜的结果。而且也非常方便进行模型融合。
在使用上来说,LoRA很像是模型的“插件”,你可以在基础模型上叠加你想要的效果,或者把各种你想要的效果加权组合叠在一起,可以产生很多令人惊喜的结果。
当然LoRA由于是finetune模型,所以画风会趋于单一,是好是坏见仁见智,在需要固定画风orID的时候能发挥令人惊喜的用处。
早上的噩梦
早上的噩梦梦见和一栋房子里的朋友约着出去玩,但是大家一瞬间都收拾好了我还是很累不想动,越是准备越发现要做的事情越多。我住在车库里,进出的门是很大的电动的卷帘门,但是好像坏了,变得不是很可控,梦里要出门的时候无论如何也锁不上,可以从外面被随意打开,我的私人物品和空间因此会被随意摆弄和进出。门外正巧有三个小孩在玩,一直不怀好意的样子盯着我修门,他们应该知道了我离开后这扇门很可能不会正常锁上,准备趁我离开进去玩。朋友给我的压力很大,责怪我为什么不快点,我不得不准备离开,于是只是把门从内部用塑料绳子绑上,再从另一个出口离开,期待这样能对我的空间稍作保护。我在门口观察了一会那三个小孩,果然他们在我离开之后马上就朝着那个门进攻,塑料绳子并未带来多少保护,他们在我所居住的车库进进出出,我本想录下他们破坏我的屋子的视频,去寻找他们的监护人弥补自己的损失,但是那时的我突然一点力气也没有,只能这样看着自己的空间被人破坏。这时那三位小孩的家教路过,我上前寻求帮助,也询问三位小孩的住处和家长,他答应帮我传递消息。梦就这样结束了,梦里和朋友的出行也没有后续。醒来之后想起梦里的故事几次,还是能感觉到梦里情绪在蔓延。在住所也无法得到的安全感,被陌生小孩霸凌,和朋友行事节奏的分歧,这些具体的事件当然是睡梦中的我的大脑所虚构的,但情绪上也许继承了清醒时的我内心所深埋的不安,当作故事写下来也许会轻松一点吧 ![]()
先简单写一写引文,最初我第一次写ai绘画的时候,放过图一展示ai绘画中img2img的效果。当时的原理是把左图加一些高斯噪声(撒撒黑胡椒)然后作为底图来基于它生成。所以基本上色块分布是接近的,但是很难控制更细节的了。
今年爆炸性的controlnet,则是可以通过任何的条件控制网络生成。其实就是换一种方式让模型听话。原来模型只能得到一个文本的生成引导,现在它可以听懂任何基于图片提取的信号了,只要你拿一组成对的图片去训练!
这个方式出来以后极大地扩展了可玩性,而且官方已经提供了非常多常用的训练好的控制网络。比如说图二由深度图控制,图三由人体姿态控制。只要你想,你可以自己训练,比如说就有人训练了手部骨骼控制器,解决了ai不会画手的问题。
这些控制结果还可以一起用,比如图4,我从图a拿人的姿态,图b拿景色的深度,合在一起就可以生成我想要的一个人站在这个街景中的图片。
原理上其实实现得比较简单,就是把整个网络复制了一份,固定原始网络和它的输入,但是另一个control网络的输入就是控制条件(深度、姿态等)然后把两个输入和输出加起来,用成对的数据集(输入是深度图输出是原图这种感觉)去训练控制网络,达到控制条件能够很好控制生成结果的程度,就训练好啦!
#论文导读 @mature
@gozmo
看日常演技:
老番-電腦線圈(看磯光雄)/給桃子的信、狼的孩子雨和雪(看井上俊之)/吉卜力系都很強
比較新的-向山進發(看野中正幸、松本憲生)/搖曳百合/不當哥哥了
看動作戲:
比較老的-攻殼(寫實)/星際牛仔:天國之扉(寫實)/異邦人:無皇刃譚(寫實巔峰)/摔跤的羅密歐與茱麗葉(大平晉也的流麗與崩壞)/光之美少女裡有很多馬越嘉彥他們東映系的動作戲
比較新的-鬼滅、我的英雄學院(雖然有點土但如果想研究作畫是不可能繞過這兩個的⋯中村豐、阿部望、前並武志等人貢獻了大量神作畫)/kill la kill、天元突破紅蓮螺旋(看すしお、吉成曜等當代金田系)/進擊的巨人(看今井有文華麗空間馬戲)/旋轉少女(看渡邊啟一郎)/一拳超人、路人100(不分類了動作戲全都很強)
看導演個人風格
比較老的-川尻善昭/押井守所有的(夾帶私貨了,主要是我個人喜歡😂⋯不過大家都看過了吧)
新的-近年比較喜歡的導演是松本理惠(京騷戲畫/血界戰線)和齋藤圭一郎,後者因為孤獨搖滾爆火了,但我是從漂流教室第八話開始關注他的,是非常年輕有才能、有獨特詩意視角的新銳導演。
平淡細膩風格的導演比較推山田尚子。
昨天激情码字写了一篇海外观鸟ABC。春天到了,正是观鸟好时节。
我为平静的生活做了很多。