(一) 憲法層次：通姦罪合憲，但是否除罪化，立法者仍有政策衡酌空間
根據司法院釋字第554號解釋，婚姻與家庭受憲法制度性保障。國家為確保婚姻制度之存續與圓滿，自得制定相關規範，約束夫妻雙方互負忠誠義務。性行為自由與個人人格有不可分離關係，固得自主決定是否及與何人發生性行為，惟依憲法第22條規定，於不妨害社會秩序公共利益之前提下，始受保障。婚姻關係存續中，配偶之一方與第三人間之性行為應為如何之限制，以及違反此項限制，應否以罪刑相加，各國國情不同，應由立法機關衡酌定之。刑法第239條通姦罪，固對人民之性行為自由有所限制，惟此為維護婚姻、家庭制度及社會生活秩序所必要。為免限制過嚴，同法第245條第1項規定通姦罪為告訴乃論，以及同條第2項經配偶縱容或宥恕者，不得告訴，對於通姦罪附加訴追條件，此乃立法者就婚姻、家庭制度之維護與性行為自由間所為價值判斷，並未逾越立法形成自由之空間，與憲法第23條比例原則之規定尚無違背。
上述解釋肯認刑法第239條之通姦罪合憲，認為限制人民之性行為自由，係為維護婚姻、家庭制度及社會生活秩序所必要，並認為通姦罪之附加追訴條件，係立法者就婚姻、家庭制度之維護與性行為自由間所為價值判斷，並未逾越立法形成自由之空間。但釋憲者亦明示，通姦行為應否以罪刑相加，各國國情不同，應由立法機關衡酌定之。因此，通姦罪是否除罪化，立法者仍有政策決定空間。
(二) 比較法例
各國的立法例對於通姦之處理，其方式可分為下列幾種：
1. 僅罰有夫之婦者：如日本1947年以前刑法第183條。
2. 分設夫婦處罰條件：有夫之婦與人通姦，其處罰條件較寬，夫於家中或他處公然蓄妾者，其處罰條件較嚴，如義大利刑法第559、560條、西班牙刑法第449條、第452條等。法國刑法第337條處罰犯通姦罪之妻，亦較第339處罰夫於夫妻所同居之住所蓄妾為重，但此項規定，已於1975年刪除。
3. 平等處罰者：配偶任何一方與人通姦，均同等處罰。如我國刑法239條、奧地利刑法第194條、韓國2015年前之刑法第241條等採之。有以通姦致離婚或分居為要件者，如德國舊刑法第172條、瑞士刑法第214條。
4. 不處罰者：德國1969年新刑法已將其第172條刪除，即自1970年4月1日起，通姦已非為犯罪行為；日本刑法1968年修正，已因有違日本憲法第14條而將第183條通姦罪予以廢止；韓國憲法法院亦於2015年裁定1953年開始實行的通姦罪違憲，完成通姦除罪化。韓國憲法法院指出，「『國家用法律來處罰通姦行為，是侵犯公民的基本權利』，因此，相關通姦罪法律即刻失效。」韓國憲法法院法官認為，即使道德上應予譴責，但通姦罪仍侵害公民的性自主權和隱私權；其他歐洲國家也陸續將通姦除罪化：義大利（1969）、盧森堡（1974）、法國（1975）、西班牙（1978）、葡萄牙（1982）、希臘（1983）、比利時（1987）、瑞士（1989）、奥地利（1997）、羅馬尼亞（2006）等。
無論對通姦罪是採取哪一種立法主義，「通姦除罪化」似乎是一種共同趨勢，包括德國、日本、韓國、新加坡以及歐洲多數國家，都已將通姦除罪化，在中國大陸亦已經不是一種犯罪；只剩台灣、印度、菲律賓，還有伊斯蘭各國家及美國若干州法仍針對通姦有輕重不等罰則。
在美國若干有規範通姦罪之州法中，大多數州規定通姦是輕微違法（misdemeanor），少數幾州規定是重罪（felony），例如麻省，密西根州和威斯康辛州等。然而這些古老法律是美國清教徒法律的遺跡，某種程度上這種情況的出現，與這些已經過時的成文法律，只確認婚內性行為才合法有密切關係。一些法學專家認為通姦罪之所以仍然存在這些州法的原因之一，是因為想要從州法中廢除必須要有政客主動提出，只是很少有人願意這樣做，並不代表這些法律還有存在和執行的價值。與其說通姦在美國是犯罪，不如說通姦只是一種存在於書本上的，不受刑事處罰，只受道德鞭撻的違法行為，更為準確。
(三) 實證研究（通姦罪及刑事訴訟法第239條但書可單獨對配偶撤回告訴等規定，產生實證法上對婦幼性別人權之不平等）
根據司法統計，通姦罪女性被起訴、定罪的人數高於男性，男性被撤告的比例則遠高於女性。從實務操作層面看來，由於社會對男性外遇容忍度較高，通姦罪的存在，實質造成了懲罰更多女性的效果，無論是懲罰女性第三者，還是外遇的太太。一條形式上看似平等的法律（通姦罪形式上可以「罰夫亦罰妻」），卻實質上產生了性別不平等的效應，係對於特定性別（特別是女性）不利的法律。
通姦罪的存在，也使得非婚生子女一出生即成為父母犯罪證據，嚴重傷害非婚生子女的人性尊嚴。有些第三者生下的非婚生子女，因為怕被元配知道不敢報戶口，導致這些孩子，一出生就被剝奪社會福利、健康保險與受教權。
此外，通姦罪還可能成為加害者及其配偶壓迫被害者之工具。例如，原本是被老師性騷擾、性侵害的受害女學生，竟反被師母提告通姦罪，最後通姦罪成功定罪，還得給付精神損害賠償金。由於性侵定罪困難，還可能被告通姦，有些被害女生，因而不敢提出性侵害之告訴。
(四) 配偶互負忠貞義務，此種義務之違反需否以刑罰處罰之論辯
1. 不需以刑罰處罰（即通姦罪除罪化）之理由略有：
（1） 刑罰的最後手段性
刑罰是最重的處罰手段，如果能以其他法律保護，刑法即無介入之必要（刑罰謙抑思想），始符合比例原則。通姦雖然違反道德，但由刑法「制裁」當事人之感情或性生活，有無必要？有無其他侵害較小之手段可達到相同目的？立法政策上非無考量空間。
（2） 難以確認通姦罪之保護法益
法益保護為刑罰之界線。因此，必須探討通姦罪之保護法益究為何？肯定婚姻價值（婚姻或家庭制度）、善良風俗的維護或確保忠誠義務？通姦罪之存在與訴追似乎無助於提升婚姻之品質與價值，更不利於婚姻繼續存續，蓋一方面對配偶進行刑事通姦罪之訴追，他方面還能維持家庭圓滿，殊難想像，恐怕只促使通姦之一方急於離婚。而所謂「善良風俗」是否足以獨立、具體化成為刑法保護法益？所有違反善良風俗或忠誠義務的行為，是否均適合以刑罰處罰？亦非無疑義。綜上所述，在刑法上，似難以找到通姦罪保護法益堅強的正當性基礎。
（3） 通姦罪之存在反而侵害性自主決定權及隱私權
性自主為刑法第16章之保護法益，通姦罪之存在本身侵害個人的性自主決定權，而通姦罪之訴追亦可能侵害隱私權。即使通姦罪之存在能保護所謂家庭與婚姻制度，但其重要性是否遠高於個人之性自主決定權及隱私權？兩者衡平性如何？利益衡量上能否通過比例原則之考驗？
（4） 通姦罪為告訴乃論，並無助於維持婚姻
告訴乃論之設計，提供被害者一個報復或貫徹金錢上損害賠償要求之手段，卻無助於婚姻的尊嚴及維護。
（5） 程序法觀點，造成司法、行政或私人資源濫用或浪費
為了追訴通姦罪，反而產生更多侵害其他法益之風險。實務上最常見的捉姦行為通常伴隨著侵入住宅、妨害秘密、傷害等罪行等。因為通姦罪使得國家與其他私人堂而皇之去窺視個人隱私，而勞師動眾，花費如此多訴訟成本所獲得之證據，進入法院認事用法的結果，通姦罪成立與否仍然繫諸於個別法官或檢察官之自由心證。例如：孤男寡女赤裸同床共枕，究竟是否成立通姦罪，個別法官的心證差異頗大。
（6） 刑責極輕，無法收到遏止或預防效果
我國刑法第239條規定之通姦罪，僅處1年以下有期徒刑，實務上又多僅判6個月以下有期徒刑，尚可易科罰金，在現行刑法中，是極為輕微之罪，難以發揮遏止或預防效果。德國在1969年廢除通姦罪之其一理由即是，實務上稀少有罪案件、異常輕微之刑罰（因大多數案件均處罰金刑，即使宣告自由刑，亦多同時宣告緩刑），在刑事政策上沒有規範通姦罪之必要。
（7） 依國際人權法，通姦罪違反隱私權，有檢討廢止之必要
按公民與政治權利國際公約第17條第1項規定：「一、任何人之私生活、家庭、住宅或通信，不得無理或非法侵擾，其名譽及信用，亦不得非法破壞。」2013年及2017年兩公約國際審查會議提出的兩公約國際審查結論性意見均明白指出通姦罪之處罰構成對私生活的任意干涉，建議政府應採取措施來從刑法中廢除這項規定。公民與政治權利國際公約及經濟社會文化權利國際公約施行法第8條規定：「各級政府機關應依兩公約規定之內容，檢討所主管之法令及行政措施，有不符兩公約規定者，應於本法施行後2年內，完成法令之制（訂）定、修正或廢止及行政措施之改進。」有鑑於通姦罪之存在與訴追侵害個人性自主決定權及隱私權甚鉅，有檢討廢止之必要。
2. 仍須保留刑罰之理由（即保留通姦罪）略有：
（1） 通姦罪並未違憲，婚姻與家庭為社會形成與發展的基礎，受憲法制度性保障；通姦罪雖然限制人民的性自由，但這是為維護婚姻、家庭制度及社會生活秩序，符合比例原則。
（2） 現行刑法上仍保留若干民事糾紛刑罰化之罪名，例如背信罪；不宜僅因婚姻是民事契約，通姦宜以民事損害賠償責任處理為由，就除罪化。
（3） 現行法律對已婚婦女缺乏保障，包括財產分配、子女教養權等，通姦罪是最後底線；在對已婚婦女的保障仍沒有完整的配套規劃下，不宜貿然將通姦除罪化，必須修改現有民法等相關法律，例如離婚原因、贍養費請求規定等，再進一步思考廢除刑法通姦罪。
（4） 就訴訟實務上言，家庭主婦多為經濟弱勢一方，一旦發生丈夫外遇，刑法的存在還可協助家庭主婦爭取更好的民事賠償，對弱勢的一方有雙重保障。
（5） 婚姻不單只是愛情，對家庭的責任才是婚姻核心，通姦罪是維持婚姻穩定的重要規範，讓人不敢越界。
（6） 外國民情、性觀念、家庭制度未必與我國可相比擬；廢除通姦罪讓民眾產生國家不保護家庭制度之誤解，間接鼓勵社會性自主、性開放之風氣。
(五) 修法建議
1. 通姦罪雖然合憲，卻不是「唯一」合憲的選擇，廢除通姦罪亦不會牴觸憲法，立法者有視國情不同採取不同立法政策之裁量空間。
2. 通姦罪之廢除，似為國際趨勢，但立法政策之選擇仍應順應民意，衡酌我國民眾之接受度（即司法院釋字第554號所稱之「各國國情不同」，有立法形成空間）；相關配套法律，如民法（離婚從有責到破綻主義、分居制度、精神上損害賠償、贍養費、夫妻剩餘財產分配、親子權利義務關係之行使負擔等）亦應併同檢視修正。
3. 刑事訴訟法第239條但書可單獨對配偶撤回告訴等規定，破壞（撤回）告訴不可分原則，立法上缺乏正當性，實際執行造成性別不平等之結果，應予刪除。即使在日本，1907年舊刑法第183條僅處罰有夫之婦通姦（不處罰夫通姦），其1922年刑事訴訟法仍規定夫對妻撤回告訴，對相姦人亦發生撤回告訴之結果，亦即，從比較法制看來，通姦罪可單獨對配偶撤回告訴，並非法理之必然。需補充說明者，由於我國社會對男性外遇容忍度較高，妻對夫與小三撤回告訴之比例可能仍然高於夫對外遇妻及小王撤回告訴之比例，縱使刪除可單獨對配偶撤回告訴之規定，未來必須同時對配偶及相姦者撤回告訴，但外遇妻被定罪機率仍可能比外遇夫高。
